Data-centric reinforcement learning in critical care: an engineering approach for robust decision support by state and reward structuring

Reinforcement learning (RL) offers a principled framework for sequential clinical decision-making, yet its translation to ICU practice remains limited: learned policies often exhibit unstable value estimates, limited interpretability, and degraded performance under covariate shift and out-of-distribution deployment. This thesis shows that these failures arise in part from deficiencies in the architectural formulation of the clinical Markov Decision Process (MDP), and that systematic redesign of state representation and reward specification yields substantial improvements in retrospective policy evaluation across multiple clinical domains without increasing algorithmic complexity. Geometric state-space reformulation: High-dimensional clinical feature spaces are susceptible to distance concentration, whereby standard distance metrics lose discriminative power as dimensionality increases. We reformulate the state space using k-medoids clustering with the Manhattan (L1) norm, improving the 95% confidence lower bound (95% LB) of off-policy value estimates in a sepsis management task from 86.01 to 88.67. Informational parsimony amplifies this gain: a six-variable cardiorespiratory state representation - heart rate, systolic and diastolic blood pressure, shock index, peripheral oxygen saturation (SpO2), and mechanical ventilation status - achieves a 95% LB of 97.48, substantially outperforming the 48-variable baseline (95% LB: 86.01). In a red blood cell (RBC) transfusion task, PCA-based dimensionality reduction retaining 80% of total variance improves estimated policy value by 66%. These results show that state representation quality depends primarily on the signal-to-noise ratio and temporal immediacy of included features, not on feature volume. Physiological reward shaping for temporal credit assignment: Sparse terminal rewards - such as mortality assessed at discharge - obscure the relationship between intermediate interventions and outcomes, degrading temporal credit assignment. We address this with dense, physiologically grounded reward functions that provide real-time evaluative feedback aligned with established clinical targets. In the sepsis domain, penalising hypotension (mean arterial pressure < 65 mmHg) in real time improves the 95% LB from 86.01 to 88.64. In the analgesia-sedation domain, a composite reward balancing analgesic efficacy against haemodynamic and respiratory safety constraints yields clinically interpretable, proactive treatment patterns: vasopressor-early, fluid-sparing resuscitation and autonomous safety responses that curtail interventions during physiological instability - patterns absent from the estimated clinician behaviour policy. This architectural modification redirects the learning signal from retrospective outcome assessment toward continuous physiological evaluation. Cross-domain and cross-institutional validation: We evaluate the MDP design framework across four clinical domains. In acute heart failure, the learned policy achieves a 95% LB of 74.45, compared with 47.37 for the estimated clinician behaviour policy, and avoids contradictory diuretic-vasopressor co-administration patterns observed in clinical practice. The framework extends to RBC transfusion optimisation, mechanical ventilation parameter titration, and analgesia-sedation management. Cross-institutional validation on the AmsterdamUMCdb European cohort - which differs from the US-based MIMIC database in clinical culture, treatment protocols, and documentation practices - identifies positive end-expiratory pressure (PEEP) optimisation strategies associated, under off-policy evaluation, with a predicted mortality reduction of 16.4%. This result provides evidence for the portability of the framework across healthcare systems with distinct institutional characteristics. Collectively, these findings show that MDP architectural design - geometric robustness in state-space partitioning, informational parsimony in feature selection, and physiologically grounded reward specification - substantially shapes the attainable performance of clinical RL in the retrospective setting studied here. This thesis delivers a reproducible, data-centric engineering protocol for RL-based decision support in acute care and defines a practical path toward safer and more interpretable clinical deployment.

L'apprendimento per rinforzo (RL) offre un framework rigoroso per il processo decisionale clinico sequenziale, tuttavia la sua traslazione nella pratica in Terapia Intensiva (UTI) rimane limitata: le policy apprese presentano spesso stime di valore instabili, interpretabilità limitata e prestazioni degradate in condizioni di covariate shift e di implementazione out-of-distribution. Questa tesi dimostra che tali fallimenti derivano in parte da carenze nella formulazione architettonica del Processo Decisionale di Markov (MDP) clinico, e che la riprogettazione sistematica della rappresentazione dello stato e della specificazione della funzione di reward produce miglioramenti sostanziali nella valutazione retrospettiva della policy in molteplici domini clinici, senza incrementare la complessità algoritmica. Riformulazione geometrica dello spazio degli stati: Spazi di feature cliniche ad alta dimensionalità sono soggetti alla distance concentration, un fenomeno per cui le metriche di distanza standard perdono potere discriminante all'aumentare della dimensionalità. Riformuliamo lo spazio degli stati utilizzando il clustering k-medoids con norma Manhattan (L1), migliorando il limite inferiore dell'intervallo di confidenza al 95% (95% LB) delle stime di valore off-policy in un task di gestione della sepsi da 86.01 a 88.67. La parsimonia informativa amplifica questo guadagno: una rappresentazione cardiorespiratoria parsimoniosa a sei variabili - frequenza cardiaca, pressione arteriosa sistolica e diastolica, shock index, saturazione periferica di ossigeno (SpO2) e stato di ventilazione meccanica - raggiunge un 95% LB di 97.48, superando nettamente la baseline a 48 variabili (95% LB: 86.01). In un task di trasfusione di globuli rossi (RBC), la riduzione della dimensionalità tramite PCA, trattenendo l'80% della varianza totale, migliora il valore stimato della policy del 66%. Questi risultati dimostrano che la qualità della rappresentazione dello stato dipende principalmente dal rapporto segnale-rumore e dall'immediatezza temporale delle feature incluse, non dal loro volume. Reward shaping fisiologico per l'assegnazione del credito temporale: Segnali di reward terminali sparsi - come la mortalità valutata alla dimissione - oscurano la relazione tra interventi intermedi ed esiti clinici, compromettendo l'assegnazione del credito temporale. Affrontiamo questo problema con funzioni di reward dense e fisiologicamente fondate, che forniscono un feedback valutativo in tempo reale allineato ai target clinici consolidati. Nel dominio della sepsi, la penalizzazione in tempo reale dell'ipotensione (pressione arteriosa media < 65 mmHg) migliora il 95% LB da 86.01 a 88.64. Nel dominio dell'analgesia e sedazione, una reward composita che bilancia l'efficacia analgesica con vincoli di sicurezza emodinamica e respiratoria produce pattern di trattamento proattivi e clinicamente interpretabili: rianimazione vasopressore-precoce e risparmio di fluidi (fluid-sparing), uniti a risposte di sicurezza autonome che interrompono gli interventi durante l'instabilità fisiologica - pattern assenti nella policy stimata del comportamento clinico. Questa modifica architettonica reindirizza il segnale di apprendimento dalla valutazione retrospettiva degli esiti verso una valutazione fisiologica continua. Validazione cross-dominio e cross-istituzionale: Valutiamo il framework di progettazione dell'MDP su quattro domini clinici. Nello scompenso cardiaco acuto, la policy appresa raggiunge un 95% LB di 74.45, rispetto a 47.37 per la policy clinica stimata, ed evita pattern contraddittori di co-somministrazione di diuretici e vasopressori osservati nella pratica clinica. Il framework si estende all'ottimizzazione delle trasfusioni di RBC, alla titolazione dei parametri di ventilazione meccanica e alla gestione di analgesia e sedazione. La validazione cross-istituzionale sulla coorte europea AmsterdamUMCdb - che differisce dal database statunitense MIMIC per cultura clinica, protocolli di trattamento e pratiche di documentazione - identifica strategie di ottimizzazione della pressione positiva a fine espirazione (PEEP) associate, in fase di valutazione off-policy, a una riduzione prevista della mortalità del 16.4%. Questo risultato fornisce evidenze sulla portabilità del framework tra sistemi sanitari con caratteristiche istituzionali distinte. Nel loro complesso, questi risultati dimostrano che il design architettonico dell'MDP - robustezza geometrica nel partizionamento dello spazio degli stati, parsimonia informativa nella selezione delle feature e specificazione della reward fisiologicamente fondata - determina in modo sostanziale le prestazioni ottenibili dall'RL clinico nel setting retrospettivo qui studiato. Questa tesi fornisce un protocollo ingegneristico riproducibile e data-centric per il supporto decisionale basato su RL nella medicina d'urgenza e terapia intensiva, tracciando un percorso pratico verso un'implementazione clinica più sicura e interpretabile.