Parallel implementation of the s-step conjugate gradient method

Abstract

The conjugate gradient (CG) method is one of the most widely used algorithms for solving large sparse systems of linear equations with symmetric positive definite matrices. In massively parallel computing, however, the efficiency of this method is often limited by high latency resulting from the need for global synchronization in every iteration. One approach to overcome this is the use of the so-called s-step variant of the CG method. Its core principle lies in restructuring the computation to group multiple iterations into a single block, thereby minimizing the number of synchronization points and overall network communication. This bachelor's thesis focuses on the design and efficient parallel implementation of the s-step conjugate gradient method. The performance, scaling limits, and numerical stability of the developed solver are subsequently experimentally verified on a selected set of matrices using the LUMI supercomputer.

Metoda sdružených gradientů (CG) patří k nejpoužívanějším algoritmům pro řešení rozsáhlých řídkých soustav lineárních rovnic se symetrickou pozitivně definitní maticí. Při masivně paralelním zpracování je však efektivita této metody často omezena vysokou latencí, která vzniká v důsledku nutnosti globální synchronizace v každé iteraci. Jedním ze způsobů, jak toto překonat, je použití takzvané s-step CG metody. Jejím hlavním principem je restrukturalizace výpočtu tak, aby se sdružilo několik iterací do jednoho bloku, čímž se minimalizuje počet synchronizačních bodů a celková síťová komunikace. Tato bakalářská práce se zabývá návrhem a efektivní paralelní implementací s-step metody sdružených gradientů. Výkonnost, limity škálování a numerická stabilita vyvinutého řešiče jsou následně experimentálně ověřeny na vybrané sadě matic s využitím superpočítače LUMI.