On variational approximations for frequentist and bayesian inference

Le approssimazioni variazionali sono tecniche di inferenza approssimata per modelli statisticicomplessi che si propongono come alternative, più rapide e di tipo deterministico,a metodi tradizionali che, sebbene accurati, necessitano di maggiori tempi per l'adattamento. Vengono qui sviluppati e valutati alcuni strumenti variazionali per l'inferenzabasata sulla verosimiglianza e per l'inferenza bayesiana, estendendo dei risultati recentiin letteratura sulle approssimazioni variazionali. In particolare, la prima parte dellatesi impiega una strategia basata su un'approssimazione variazionale gaussiana per la funzione di verosimiglianza di modelli lineari generalizzati misti con matrici di disegnodegli effetti casuali generiche, includenti, per esempio, funzioni di basi spline. Questometodo consiste nell'approssimare la distribuzione del vettore degli effetti casuali,condizionatamente alle risposte, con una densità gaussiana. Il secondo filone concerneinvece una particolare classe di approssimazioni variazionali nota come mean field variational Bayes, che impone un prodotto di densità come restrizione non parametrica sulla densità approssimante. Vengono sviluppati algoritmi per l'inferenza e l'adattamento dimodelli con risposte elaborate, adottando la prospettiva del variational message passing. La modularità del variational message passing è tale da consentire estensioni amodelli con strutture di verosimiglianza più complesse e scalabilità a insiemi di dati di grandi dimensioni con relativa semplicità. Vengono inoltre derivati in forma esplicitadegli algoritmi per modelli contenenti effetti casuali su più livelli e risposte non normali,introducendo semplicazioni atte a incrementare l'efficienza computazionale. Sonoinclusi studi numerici e illustrazioni, considerando come riferimento per un confronto il metodo Markov chain Monte Carlo.