From a real present to a binary future: algorithmic and system co-design for privacy-preserving Deep Learning training

In recent years, the widespread adoption of Deep Learning (DL) as-a-service has revealed a fundamental trade-off between the utility of advanced Artificial Intelligence (AI) solutions offered by third-party providers and the increasingly stringent requirements for data privacy. A promising approach to resolve this tension lies in Homomorphic Encryption (HE), a cryptographic technique that enables computations to be performed directly on encrypted data, thereby preserving the confidentiality of the underlying information throughout its entire lifecycle. However, integrating HE into DL poses significant challenges. Most HE schemes impose strict constraints on supported operations and computational depth, while the substantial processing and memory overhead make training deep Neural Networks (NNs) prohibitively expensive. Consequently, prior research has primarily focused on encrypted inference, leaving the end-to-end encrypted training of DL models as a major open research challenge. This thesis introduces ForgHE, a principled methodology for designing effective and efficient privacy-preserving solutions that enable the training of DL models directly on encrypted data while overcoming the technological limitations of HE. Rather than adapting cryptographic schemes to fit existing DL paradigms, ForgHE guides the systematic redesign of NN architectures and learning algorithms to be natively compatible with HE. The contributions of this thesis, structured around the proposed ForgHE methodology, address the core challenges from three complementary perspectives. First, the foundational feasibility of end-to-end encrypted training is established through an algorithmic-cryptographic co-design approach. By reformulating standard learning procedures, novel integer-based and real-valued training pipelines are proposed to operate with the TFHE and CKKS schemes, respectively. These pipelines demonstrate that ForgHE enables the construction of DL solutions inherently compliant with the operational and numerical constraints of specific HE schemes. Second, to mitigate the computational overhead of HE and minimize algorithmic-cryptographic mismatch from the outset, a paradigm shift toward binary-native learning is introduced. This approach aligns the training process with the most efficient Boolean primitives of the TFHE scheme. Specifically, a gradient-free learning rule and a fully binary error propagation mechanism are proposed, demonstrating that DL models can be trained effectively using only simple bitwise operations. Finally, ForgHE addresses system-level scalability through a novel form of intra-model parallelization. By designing distributed learning frameworks equipped with HE-compatible local learning algorithms, the training workload of a single NN can be partitioned across multiple computing units, each responsible for training only a portion of the entire model. This strategy mitigates the prohibitive resource demands of monolithic execution and enables practical deployment. The contributions of this thesis are validated through extensive experimental evaluations, demonstrating state-of-the-art performance and establishing a comprehensive, full-stack methodology for end-to-end privacy-preserving training of deep NNs on encrypted data. Collectively, these results pave the way for the development of advanced, privacy-by-design AI solutions in as-a-service settings, laying the foundation for a new generation of secure and trustworthy DL technologies.

Negli ultimi anni, la diffusione su larga scala del Deep Learning (DL) as-a-service ha evidenziato un compromesso fondamentale tra l'utilità delle soluzioni di Intelligenza Artificiale (AI) offerte da terzi e la necessità di tutelare la privacy dei dati. Un approccio promettente per superare tale dilemma è la Crittografia Omomorfica (Homomorphic Encryption, HE), una tecnica che consente di eseguire calcoli direttamente su dati cifrati, preservandone la riservatezza. Tuttavia, l'integrazione di HE nel DL presenta sfide notevoli. La maggior parte degli schemi HE impone vincoli stringenti sulle operazioni supportate e sulla profondità computazionale. Inoltre, l'elevato costo in termini di calcolo e memoria rende l'addestramento di reti neurali profonde estremamente oneroso. Di conseguenza, la ricerca si è finora concentrata sull'inferenza cifrata, lasciando l'addestramento criptato come una delle principali sfide ancora aperte. Questa tesi introduce ForgHE, una metodologia strutturata per la progettazione di soluzioni efficaci ed efficienti che consentano l'addestramento di modelli di DL direttamente su dati cifrati, preservando la privacy e affrontando al contempo le limitazioni tecnologiche degli schemi HE. Anziché adattare i meccanismi crittografici ai paradigmi di DL esistenti, ForgHE propone un approccio inverso: una riprogettazione sistematica delle architetture delle reti neurali e degli algoritmi di apprendimento per renderli nativamente compatibili con HE. I contributi della tesi, organizzati attorno a questa metodologia, affrontano le sfide principali da tre prospettive complementari. In primo luogo, la tesi dimostra la fattibilità di un addestramento completamente cifrato attraverso una co-progettazione algoritmico-crittografica. Ripensando algoritmi e architetture tradizionali, vengono introdotte nuove pipeline di addestramento basate su valori interi e reali, progettate appositamente per operare con gli schemi TFHE e CKKS. Tali pipeline dimostrano come ForgHE permetta di costruire modelli di DL intrinsecamente conformi ai vincoli numerici e operativi imposti dagli schemi HE. In secondo luogo, per ridurre l'overhead computazionale e superare il disallineamento tra algoritmi e crittografia, si propone un cambio di paradigma verso un apprendimento nativamente binario. Tale approccio allinea il processo di addestramento con le più efficienti primitive Booleane dello schema TFHE. Nello specifico, si introducono una regola di apprendimento priva di gradiente e un meccanismo di propagazione dell'errore completamente binario, dimostrando come i modelli di DL possono essere addestrati efficacemente usando esclusivamente operazioni su bit. Infine, ForgHE affronta il tema della scalabilità a livello di sistema introducendo una nuova forma di parallelizzazione intra-modello. Attraverso la progettazione di framework di apprendimento distribuito basati su algoritmi locali compatibili con HE, il carico computazionale di una singola rete neurale viene suddiviso tra più unità di calcolo, ciascuna responsabile dell'addestramento di una specifica porzione del modello. Questo approccio consente di mitigare le significative richieste di risorse tipiche di un'esecuzione monolitica, abilitando implementazioni praticabili su larga scala. I contributi della tesi sono validati da un'ampia valutazione sperimentale che evidenzia prestazioni allo stato dell'arte e delinea una metodologia completa per l'addestramento di reti neurali profonde su dati cifrati. Nel loro insieme, questi risultati aprono la strada allo sviluppo di soluzioni di AI ``privacy-by-design'' nel contesto as-a-service, ponendo le basi per una nuova generazione di tecnologie di DL sicure e affidabili.