Bayesian approach to the identification of parameters of differential equations

Abstract

The Bayesian approach to the solution of inverse problems provides us with the posterior distribution of unknown parameters. The topic of the thesis is the use of Markov chain Monte Carlo (MCMC) methods based on the Metropolis-Hastings algorithm for generating samples from the posterior distribution. The work focuses on inverse problems governed by computationally expensive forward models, especially numerical solutions of partial differential equations. The key subject is the acceleration of MCMC algorithms using surrogate models that are constructed and further updated during the sampling process. The sampling process often produces sequences of linear systems, for their solution, the deflated conjugate gradient (CG) method is used. Proposed sampling procedures were implemented in Python with parallelization. The implemented package was used for the identification of material parameters in inverse problems from the field of geosciences.

From the perspective of the author, the main contribution of this thesis consists in connecting knowledge from several research fields (probability theory, geotechnics, parallel computing, iterative methods) into the design of a framework for posterior sampling and the implementation of the resulting software package. The contributions also include the use of polynomial and radial basis function surrogate models, the incorporation of the deflated CG method, and the comparison of various sampling methods. The application of the Bayesian approach to chosen model problems is also a contribution to the field of computational geosciences. The thesis also provides a comprehensive view of the basic MH algorithm and its delayed-acceptance version on general measurable spaces including the discussion on the irreducibility conditions.

Bayesovský přístup k řešení inverzních úloh poskytuje aposteriorní rozdělení neznámých parametrů. Tématem této dizertační práce je použití metod Markov chain Monte Carlo (MCMC) založených na algoritmu Metropolis-Hastings (MH) pro generování vzorků z aposteriorního rozdělení. Práce je zaměřena na inverzní úlohy popsané výpočetně náročnými dopřednými modely, především numerickým řešením parciálních diferenciálních rovnic. Hlavní náplní práce je zrychlení MCMC algoritmů pomocí zástupných modelů, které jsou zkonstruovány a dále zpřesňovány v průběhu generování vzorků. Během procesu generování vzorků často vznikají posloupnosti soustav lineárních rovnic, pro jejich řešení je použita metoda sdružených gradientů s deflací. Navržené metody byly implementovány v jazyce Python s využitím paralelizace. Výsledný balíček byl použit pro identifikaci materiálových parametrů v inverzních úlohách z oblasti geotechniky.

Z pohledu autorky spočívá hlavní přínos práce v propojení znalostí z několika oblastí výzkumu (teorie pravděpodobnosti, geotechnika, paralelní výpočty, iterační metody), navržení metod pro generování vzorků z aposteriorního rozdělení a v implementaci výsledného softwarového balíčku. Přínosy zahrnují také použití polynomiálního zástupného modelu a modelu využívajícího radiální bázové funkce, dále využití metody sdružených gradientů s deflací a porovnání různých metod generovaní vzorků. Aplikace Bayesovského přístupu na vybrané modelové úlohy je rovněž přínosná pro obor výpočetní geotechniky. Dizertační práce také poskytuje ucelený popis základního MH algoritmu a jeho varianty se zpožděným přijetím na obecném měřitelném prostoru včetně diskuze ohledně splnění podmínek ireducibility.