Dual-camera variable-baseline sensing architecture for free-flying space manipulators operations: robust GNC techniques and simulation tools

The proliferation of artificial satellites and the growing accumulation of orbital debris pose a severe long-term threat to the sustainability of space activities. Active Debris Removal (ADR) and On-Orbit Servicing (OOS) missions are widely recognised as the only viable countermeasures, yet their autonomous execution remains an open technological challenge. Space Manipulator Systems (SMS) are a leading candidate for such missions, offering the versatility required to capture tumbling, passively cooperative targets without dedicated docking interfaces. Fully autonomous OOS with an SMS, however, demands solutions to tightly coupled problems: reliable relative pose estimation, possibly without highly power-demanding active sensors, and perception-aware guidance strategies that keep observability high throughout the approach. This thesis addresses these challenges through a unified architecture that exploits the peculiar geometry of an SMS equipped with two monocular cameras, one mounted on the spacecraft base and one on the manipulator end-effector. Additionally, a high-fidelity closed-loop simulation environment in which such guidance and navigation algorithms can be developed and validated is presented. The contribution to the navigation problem is a manifold-aware Unscented Kalman Filter (UKF) that jointly estimates the full kinematic state of a free-flying SMS (base pose, joint angles, and all velocities) from heterogeneous sensor streams. The two cameras form a variable-baseline sensing architecture: as the arm reconfigures, the continuously changing baseline provides geometrically diverse viewpoints from which the estimation filter recovers depth by combining multi-view 2D feature observations with the known target geometry, without requiring a fixed rigid mount or any active ranging sensor. Direct measurement of end-effector pose through the tip-mounted camera breaks the inherent base–joint observability degeneracy and attenuates kinematic error propagation. Sensor fusion is handled at multiple rates within a single filter instance, combining high-rate Inertial Measurement Unit (IMU) data and joint encoder measurements with lower-rate visual feature observations at pixel level, a formulation shown to outperform standard Perspective-n-Point (PnP) based approaches while also being more robust to unfavourable viewing geometries. A tunable flexibility-accommodation mode enables the filter to remain accurate under encoder bias, link compliance, or partial camera outages, verified through extensive Monte Carlo campaigns. The guidance contribution is a perception-aware trajectory optimisation framework, posed as a direct-collocation Optimal Control Problem (OCP), that jointly plans synchronised base and manipulator trajectories. Soft centering costs ensure both cameras maintain the target within their Field of View (FOV) throughout the approach, while explicit baseline-length and baseline-orthogonality terms encourage a stereo geometry that maximises measurement diversity. Collision avoidance, joint limits, and a progressive control ramp down, which enforces quasi-static terminal conditions suitable for safe grasping, are included as constraints and auxiliary costs. Preliminary results on a representative planar scenario demonstrate 100% in-FOV ratio for both cameras, sub-centimetre terminal end-effector position error, and smooth control profiles without hard FOV constraints. The necessity for high-fidelity simulation environments materialises in PROX-SIMA, an open, modular simulation platform that couples a Modelica-generated Functional Mock-up Unit (FMU) encoding high-fidelity multibody orbital and manipulator dynamics with an Unreal Engine photorealistic rendering front-end, exchanging sensor data and control commands with an external GNC module over a WebSocket interface. This architecture provides the physics fidelity required to reproduce realistic arm–base dynamic coupling and relative orbital motion, the visual fidelity needed to generate representative camera imagery for navigation algorithm development, and the real-time closed-loop capability required to validate guidance laws. The platform supports the inclusion of additional sensors model via a dedicated interface, engineering model software or flight software testing via Processor-in-the-Loop (PIL) connectivity, and a plug-and-play interface for custom GNC modules. Taken together, the three contributions form a self-consistent framework that advances the state of the art in autonomous proximity operations for OOS missions, providing validated algorithms and an open simulation environment on which future research can be built.

La proliferazione di satelliti artificiali e il crescente accumulo di detriti orbitali rappresentano una grave minaccia a lungo termine per la sostenibilità delle attività spaziali. Le missioni di Active Debris Removal (ADR) e On-Orbit Servicing (OOS) sono ampiamente riconosciute come le uniche contromisure praticabili, ma la loro esecuzione autonoma rimane una sfida tecnologica ancora aperta. Gli Space Manipulator Systems (SMS) costituiscono uno dei principali candidati per tali missioni, offrendo la versatilità necessaria per catturare bersagli in rotazione e passivamente cooperativi senza interfacce di attracco dedicate. Una missione OOS completamente autonoma con un SMS richiede tuttavia soluzioni a problemi strettamente accoppiati: una stima affidabile della posa relativa, possibilmente senza sensori attivi ad elevato consumo energetico, e strategie di guida perception-aware che mantengano elevata l’osservabilità durante tutta la fase di avvicinamento. Questa tesi affronta tali sfide attraverso un’architettura unificata che sfrutta la peculiare geometria di un SMS equipaggiato con due fotocamere monoculari, una montata sulla base del veicolo spaziale e una sull’end-effector del manipolatore. Inoltre, viene presentato un ambiente di simulazione closed-loop ad alta fedeltà nel quale tali algoritmi di guida e navigazione possono essere sviluppati e validati. Il contributo al problema della navigazione consiste in un filtro di Kalman Unscented (UKF) manifold-aware che stima congiuntamente l’intero stato cinematico di un SMS free-flying (posa della base, angoli articolari e tutte le velocità associate) a partire da flussi eterogenei di dati da diversi sensori. Le due telecamere formano un’architettura di sensing a baseline variabile: mentre il braccio si riconfigura, la baseline in continuo cambiamento fornisce punti di vista geometricamente diversificati dai quali il filtro di stima ricostruisce la profondità combinando osservazioni multi-view di feature 2D con la geometria nota del bersaglio, senza richiedere un montaggio rigido fisso né alcun sensore attivo di ranging. La misura diretta della posa dell’end-effector tramite la telecamera montata sulla punta elimina la degenerazione di osservabilità intrinseca base–giunti e attenua la propagazione degli errori cinematici. La sensor fusion è gestita a frequenze multiple all’interno di una singola istanza del filtro, combinando dati ad alta frequenza provenienti da un’Inertial Measurement Unit (IMU) e misure degli encoder dei giunti con osservazioni visuali di feature a livello di pixel a frequenza inferiore; una formulazione che si dimostra superiore agli approcci standard basati su Perspective-n-Point (PnP), risultando inoltre più robusta rispetto a geometrie di vista sfavorevoli. Una modalità configurabile di accomodamento della flessibilità consente al filtro di mantenere l’accuratezza in presenza di bias degli encoder, compliance dei link o guasti parziali delle telecamere, come verificato attraverso estese campagne Monte Carlo. Il contributo relativo alla guida consiste in un framework di ottimizzazione di traiettoria perception-aware, formulato come un Optimal Control Problem (OCP) a collocazione diretta, che pianifica congiuntamente traiettorie sincronizzate della base e del manipolatore. Costi di centraggio assicurano che entrambe le telecamere mantengano il target all’interno del proprio campo di vista (FOV) durante tutta la fase di avvicinamento, mentre termini espliciti sulla lunghezza della baseline e sulla sua ortogonalità favoriscono una geometria stereo che massimizza la diversità delle misure. L’evitamento delle collisioni, i limiti dei giunti e una progressiva riduzione del controllo, che impone condizioni terminali quasi statiche adatte a una sicura cattura del target, sono inclusi come vincoli e costi ausiliari. Risultati preliminari su uno scenario planare rappresentativo mostrano un rapporto in-FOV del 100% per entrambe le telecamere, un errore terminale di posizione dell’end-effector inferiore al centimetro e profili di controllo regolari senza vincoli hard sul FOV. La necessità di ambienti di simulazione ad alta fedeltà si concretizza in PROX-SIMA, una piattaforma di simulazione aperta e modulare che accoppia una Functional Mock-up Unit (FMU) generata in Modelica, contenente dinamiche multibody orbitali e del manipolatore ad alta fedeltà, con un front-end di rendering fotorealistico basato su Unreal Engine, scambiando dati dei sensori e comandi di controllo con un modulo GNC esterno tramite un’interfaccia WebSocket. Questa architettura fornisce la fedeltà fisica necessaria a riprodurre realisticamente il coupling dinamico braccio–base e il moto orbitale relativo, la fedeltà visiva necessaria a generare immagini rappresentative delle telecamere per lo sviluppo di algoritmi di navigazione, e la capacità closed-loop in tempo reale richiesta per validare le leggi di guida. La piattaforma supporta l’inclusione di modelli di sensori aggiuntivi tramite un’interfaccia dedicata, il testing di software engineering model o flight software tramite connettività Processor-in-the-Loop (PIL), e un’interfaccia plug-and-play per moduli GNC personalizzati. Nel loro insieme, i tre contributi formano un framework che avanza lo stato dell’arte nelle operazioni autonome di prossimità per missioni OOS, fornendo algoritmi validati e un ambiente di simulazione aperto sul quale future attività di ricerca potranno essere sviluppate.