Analisi di produzioni scritte. Valutazioni e misure automatizzate di elaborati scolastici

Esiste una forte contraddizione tra il ruolo destinato alla produzione scritta nella valutazione e la scarsa attenzione ad essa dedicata dalla ricerca, in particolare di natura quantitativa. Il presente lavoro di ricerca intende rilevare le competenze linguistiche attraverso l'analisi della produzione scritta negli studenti in ingresso nella Scuola Secondaria di II grado della città di Roma, avvalendosi di un campionamento di oltre 1500 studenti. Gli obiettivi potrebbero essere così riassunti: a) operare una descrizione degli aspetti linguistici rilevati, che consideri diverse variabili (circa 200 tra lessicali, morfologiche e sintattiche); b) verificare il legame tra le abilità linguistiche e altri fattori di sfondo (profilo socio-culturale e linguistico; aspetti territoriali; andamento scolastico) c) analizzare le correlazioni tra le caratteristiche del testo scritto e altre abilità linguistiche; e) individuare le correlazioni tra gli aspetti linguistici rilevati da diverse forme di misurazione della produzione scritta (punteggi di valutazione e misure automatizzate-computazionali); Al campione stratificato per indirizzo è stato chiesto di produrre un testo scritto che è stato misurato secondo due modalità: con dei punteggi secondo i criteri e la metodologia dell'indagine internazionale IEA-IPS e da due sistemi automatizzati (Eulogos e Istituto di Linguistica Computazionale del CNR di Pisa). Il metodo IEA IPS prevede la valutazione olistica dell'elaborato di otto tratti principali, sia strutturali sia formali. Il modello GulPease integrato in ambiente Eulogos fornisce dati sulla leggibilità, e su variabili lessicali. L’analisi computazionale dell’ILC-CNR fornisce dati su circa 200 variabili lessicali, morfologiche e sintattiche. La prova di produzione è stata la prova 9-lettera di consigli dell'indagine IEA-IPS. Al campione sono stati anche sottoposti una batteria di prove strutturate- comprensione del testo, conoscenze semantiche e competenze grammaticali- e un questionario, attraverso cui rilevare le variabili di sfondo. Le analisi delle variabili sono state descrittive, multivariate, per correlazioni di Pearson e di regressione lineare. Tante variabili hanno prodotto un numero consistente di dati, di legami e di correlazioni spesso significativi da un punto di vista statistico, di cui si riporta qualche esempio di seguito. Circa il 90% del lessico adoperato dagli studenti appartiene al Vocabolario di base (7000 parole) e la maggioranza di esso al Vocabolario Fondamentale, riducendo il lessico per lo più adoperato a circa 2000 parole e si è riscontrata difficoltà nel riconoscere l’uso di verbi diversi dal tempo presente. Di contro le strutture sintattiche adoperate nei testi non sono affatto semplici e presentano un livello di subordinazione molto complesso; le proposizioni invece sono di solito brevi. Le variabili di sfondo agiscono sulla maggioranza delle variabili linguistiche. Esistono delle parti del discorso usate prevalentemente da particolari profili socio-linguistici: ad esempio l’avverbio da alti e l’interiezione da bassi profili. Le valutazioni dei tratti strutturali, rispetto a quelle dei tratti formali, presentano correlazioni più alte e significative con la valutazione olistica e con i risultati dei test strutturali di comprensione del testo, conoscenze lessicali e competenze morfologiche. Tra tutte le variabili individuate, quelle legate alla lunghezza della produzione hanno maggior potere predittivo sull’attribuzione dei punteggi. La ricerca ha molti possibili sviluppi, tra cui: -studi sulle variabili predittrici dei tratti di valutazione e costruzione di un algoritmo, raffinando le analisi di regressione; -analisi della codifiche dei contenuti del testo scritto Prova 9 IEA_IPS, già operata su circa 1000 testi, che permette di avviare una riflessione sulla percezione della didattica della scrittura.