Monitoraggio e valutazione nei progetti formativi erogati in modalità e-learning nella P.A. Un modello operativo di monitoraggio: l'esperienza MarchE-Learning

Questa tesi intende proporre un modello organizzativo ed operativo per la realizzazione dell’attivita di monitoraggio e valutazione delle iniziative di formazione del personale dipendente degli Enti Locali. A tale scopo, viene richiamata l’esperienza del progetto formativo MarchE-Learning, illustrandone i risultati e presentando il metodo seguito per lo svolgimento dell’attivita di monitoraggio dei percorsi formativi erogati in modalita e-learning (blended) nel periodo settembre 2008 – giugno 2009. Nel primo capitolo, di inquadramento teorico e metologico, l’esperienza MarchELearning viene collocata in riferimento alle principali linee e modelli metodologici elaborati in letteratura. In particolare, l’impianto del processo di monitoraggio di MarchE-Learning applica strumenti ibridi nel monitoraggio (Petrov et al., 2008). Esso si basa cioe su un modello user-centred (Bevan, 2009), che Nielsen declina in termini di “accettabilita” per l’utente (Nielsen & Loranger, 2006) ed Holmes inquadra come “Learner-Oriented e-Learning Quality”, (Holmes, 2006). Per i criteri di valutazione esso fa riferimento a Kirkpatrick (Kirkpatrick, 1994, 2005). In merito al ruolo di docente e tutor esso considera l’approccio di Marshall – Shriver (1994) (ISFOL, 2004, p. 223), e Van Slyke (1998) per la riflessione in merito a istituzioni e soggetti in formazione (Ibidem, p. 224). In riferimento a Ferrari e Garavaglia (Garavaglia & Ferrari, 2004) esso si focalizza sui processi, i bisogni degli attori della formazione e l’impatto tecnologico. Fa inoltre riferimento a Silverman per la distinzione che introduce tra aspetti quantitativi e qualitativi (Silverman, 2004). Nel caso di studio MarchE-Learning sono stati considerati aspetti qualitativi e quantitativi di ciascuna fase di realizzazione del progetto, con l’intento di promuovere la buona qualità dei percorsi di formazione, di rafforzare le conoscenze e competenze in possesso del personale della Pubblica Amministrazione Locale e, in ultimo, di migliorare la qualità del servizio reso ai cittadini. In tale modo il ciclo virtuoso _Analisi del fabbisogno _ Programmazione della formazione (piani annuali delle attivita formative) _Progettazione della formazione _Erogazione dei corsi di formazione _Monitoraggio e valutazione dei corsi _Migliore qualità e formazione del personale dipendente della P.A. _Migliore qualità del servizio ai cittadini assume una doppia valenza, strategica e operativa: da un lato esso rappresenta una buona pratica da replicare nell’ambito delle Pubbliche Amministrazioni che intendano promuovere la cultura della qualità del servizio e dall’altro esso contribuisce a realizzare un miglioramento dell’efficienza del servizio erogato ai cittadini [ISFOL, 2007; CNIPA, 2007]. A tale scopo e essenziale che tutte le attivita del processo formativo siano orientate al perseguimento degli obiettivi strategici dell’amministrazione. Solo così si potrà sviluppare una forte connessione tra organizzazione e formazione e solo l’esistenza di tale pre-condizione consentirà di fare della formazione un’attivita di sistema. Il primo capitolo prosegue con una disamina di esperienze di monitoraggio di eccellenza, soprattutto in riferimento al caso italiano. Anche se l’analisi fatta non ha la pretesa di essere esauriente, essa rappresenta comunque il terreno da cui ha preso le mosse il lavoro fatto nell’ambito del progetto MarchE-Learning. Basti citare un’esperienza tra tutte quelle prese in esame: il monitoraggio effettuato sulla formazione dei neoassunti 2008 nel mondo della scuola. Il secondo capitolo presenta i tratti salienti del progetto MarchE-Learning, introducendo qualche dato in grado di restituire le dimensioni e le caratteristiche dell’esperienza, qui brevemente ricordate: il progetto ha coinvolto nel complesso la Regione Marche, 37 Comuni, 5 Comunita Montane e 4 Province della regione; il partenariato ha visto il coinvolgimento di tutti gli Atenei marchigiani; il progetto ha complessivamente erogato 4 corsi, articolati a loro volta in 16 edizioni diverse; le ore di formazione erogate sono state 9960, gli iscritti ai corsi 465, i corsisti formati 169. Il capitolo intende presentare gli obiettivi progettuali, la cronologia con cui le attività si sono svolte e le principali milestones raggiunte/realizzate nell’implementazione del progetto. Esso prosegue con l’illustrazione dell’impianto del processo di monitoraggio, distinguendo l’attività in una fase di analisi preventiva (ex-ante), la cui finalità consisteva nell’individuazione del fabbisogno formativo degli Enti destinatari dell’attività di formazione, una fase di analisi in itinere, finalizzata al controllo di aspetti qualitativi e quantitativi della formazione in e-learning e in presenza e, infine, una fase di analisi e valutazione ex-post, volta all’individuazione degli aspetti qualificanti dei percorsi formativi realizzati e degli eventuali aspetti problematici riscontrati durante la realizzazione del percorso. In particolare, la strategia di monitoraggio viene illustrata a partire dal Piano di monitoraggio, sulla cui base l’intero processo e stato realizzato. Infine, ciascuno degli strumenti utilizzati per la raccolta dei dati e delle informazioni (questionario preliminare, questionario ex-post, focus group, questionario di customer satisfaction, etc.) viene presentato nel dettaglio, costituendo un repertorio di riferimento per altre iniziative similari. Il terzo capitolo introduce i risultati del monitoraggio distinguendo tra i risultati dell’analisi quantitativa, desunti prevalentemente dello strumento di monitoraggio della piattaforma attraverso cui la formazione in e-learning e stata erogata, e dell’analisi qualitativa, le cui rilevazioni si sono prevalentemente avvalse delle risposte date dai partecipanti attraverso i questionari sottoposti loro ed il focus group finale, che ha consentito di interpretare più chiaramente alcune risposte date dai corsisti. Sia l’analisi qualitativa, sia l’analisi quantitativa hanno consentito di mettere a fuoco problematiche e punti di forza del processo di formazione e di formulare orientamenti e suggerimenti la cui applicazione può rivelarsi utile in altri contesti organizzativi e progettuali. Il quarto capitolo si focalizza sull’esposizione del modello operativo di monitoraggio e valutazione sperimentato in MarchE-Learning, specificando come esso sia riferito in particolare alla dimensione della Pubblica Amministrazione Locale. Allo stesso tempo si chiarisce come il modello, per la sua flessibilità, possa essere utilizzato anche in riferimento ad altri contesti progettuali ed organizzativi. I tool testati e sperimentati in MarchE-Learning, si sono infatti dimostrati un valido supporto alla costruzione del sistema di dati che ha consentito di desumere i risultati dell’esperienza e di trarre alcune linee guida ed orientamenti sulla cui base evitare e/o risolvere preventivamente problematicità ricorrenti ed evidenziare aspetti di eccellenza da replicare nella costruzione di altre iniziative, in contesti organizzativi diversi. In particolare, tra le lezioni apprese sono da menzionare le seguenti: • la collaborazione tra i gestori della piattaforma informatica, l’Ente proponente, i partner che hanno svolto l’attività di docenza e tutoraggio e gli autori del monitoraggio ha consentito di ricostruire dati e valutare aspetti della formazione ri-utilizzabili in altri e similari progetti di formazione. - L’importanza di animare le attività di formazione e stimolare la collaborazione tra i corsisti, consentendo loro di sviluppare maggiormente le strategie di lavoro collaborativo e di problem-solving su casi concreti. - La necessità di strutturare un chiaro piano di lavoro per il monitoraggio, stabilendo obiettivi, ruoli, responsabilità ed una chiara tempistica. - La necessità di chiarire ruoli e compiti nell’ambito del partenariato, fissandoli chiaramente all’interno delle specifiche contrattuali relative all’attuazione delle attività di formazione. Occorre che la didattica sappia accompagnare, supportare ed assistere i corsisti nel processo di apprendimento; e fondamentale che siano attribuiti chiaramente ruoli e responsabilità tra le diverse figure docenti e non (tutor d’aula virtuale, tutor d’aula tradizionale, personale tecnico, etc.). La comunicazione tra docenti, tra docenti e corsisti, tra docenti e tutor, tra tutor e tra tutor e corsisti deve essere il più intensa possibile, sia nell’ambito della piattaforma sia nelle attività di formazione in aula tradizionale, se il modello formativo prescelto e blended. Offrire un supporto adeguato e fondamentale per la buona riuscita della formazione. - La facilità di accesso alla piattaforma e essenziale per la buona riuscita della formazione; essa deve consentire al gruppo in formazione di partecipare alle attività e di contribuire alla costruzione del dialogo pedagogico. - Il coinvolgimento dei livelli dirigenziali nel processo di formazione e essenziale per l’introduzione dell’innovazione nelle organizzazioni destinatarie. In ogni caso, perchè tali processi di innovazione vengano innestati all’interno delle organizzazioni, occorre certamente far leva sull’adeguamento e rafforzamento delle competenze del personale. Perchè non siano disperse le risorse (umane, finanziarie, strumentali), occorre programmare l’innovazione e la qualità nell’ambito di piani o programmi di formazione. Il modello proposto nell’ambito di MarchE-Learning ha cercato di proporre una soluzione organizzativa e programmatoria attraverso la creazione di figure specifiche denominate “Referenti della formazione” che, formati nella prima fase del progetto a cogliere e segnalare il fabbisogno formativo degli enti di appartenenza, dovevano essere attivate per la successiva fase di implementazione dei corsi di formazione. A testimonianza che l’introduzione di innovazioni di processo non e sempre facile, occorre evidenziare che queste figure non sono state successivamente attivate e che, in molti casi, sono stati gli stessi dirigenti o responsabili a indicare i partecipanti a ciascun corso per l’Ente di appartenenza. Proprio l’esperienza del progetto attesta che innovare non e facile, pur nei casi in cui sembrerebbero essere state poste tutte le condizioni necessarie al cambiamento. Il quinto capitolo riepiloga gli aspetti salienti del lavoro, evidenziando quanto sia importante rendere i processi di formazione del personale un’attività di sistema, in linea con la normativa in materia. Sempre più frequentemente vengono promosse iniziative per sviluppare nella P.A. la consapevolezza dei benefici derivanti dai processi di assicurazione della qualità e per introdurre o rafforzare l’uso di metodi e strumenti che aiutino a implementare sistemi di gestione della qualità. Quest’ultimo capitolo propone una riflessione su cosa si intenda per attività di sistema, ovvero un processo strutturale permanente in cui la qualità dipende dalla possibilità di produrre risultati coerenti con gli obiettivi previsti. Esso evidenzia inoltre come un’attività di sistema sia strettamente connessa alla qualità del processo programmatorio e del processo attuativo, asserendo che la formazione diverrà di qualità solo se riuscirà a superare lo stadio dell’episodicità. All’episodicità della formazione si associa spesso l’episodicità dell’indagine volta ad identificare il fabbisogno formativo e, alla fine del processo, della valutazione di impatto. Ciò rende evidente una criticità: il cambiamento prodotto dalla formazione sull’organizzazione e sulla qualità dei servizi erogati all’esterno non sempre viene misurato, con il risultato che il ciclo strategico della formazione non si chiude mai. L’organizzazione che non verifica i propri risultati e non si valuta e un’organizzazione che non apprende. L’organizzazione che apprende e quella che cerca di creare e utilizzare nuove competenze e conoscenze a tutti i livelli della propria struttura e che cerca di modificare le proprie prestazioni in forza di quanto acquisito, al fine di migliorare la qualità del servizio prestato.