Linee guida IMS per lo sviluppo
di applicazioni accessibili per la formazione

Versione 1.0 del Libro bianco

| WGBH | NCAM | PROGETTO SALT | CONSORZIO IMS GLOBAL LEARNING |

9. Linee guida per prove e valutazioni

Le linee guida in questa sezione intendono promuovere l'accesso alle valutazioni e agli esami alle persone con disabilità. Utilizziamo i termini "valutazione" e "test" come parole virtualmente interscambiabili benché la parola "valutazione" spesso sia considerata un termine più generale che include le prove. Mentre la formazione a distanza presenta nuove importanti opportunità per la diffusione delle prove e di valutazioni, gran parte di questa sezione riguarda sistemi di diffusione sia basati su computer che non basati su computer.

Poiché le prove o le valutazioni in linea avvengono in un contesto dove si presenta in ambito mediatico, anche se si utilizza esclusivamente il testo, la maggior parte dei principi e delle linee guida relative ai contenuti descritte in altre sezioni del documento sono anch'esse applicabili qui. Questa sezione descrive alcune delle differenze tra le necessità di divulgazione delle prove e delle valutazioni e le necessità di divulgazione dei soli contenuti.

A livello mondiale è stato fatto molto lavoro, inclusa questa stessa guida di riferimento, per rendere i media accessibili a tutti. Le prove e le valutazioni non sono limitati ai media perché sono azioni molto integrate nei processi, nelle attività e nell'organizzazione. Molti dei principali problemi nella realizzazione della diffusione dell'accessibilità nei sistemi di valutazione in linea sono, in questa fase, problemi che necessitano della ricerca per chiarire le richieste ed identificare le soluzioni tecnologiche adatte. Questa sezione presenta lo stato delle richieste attuali e alcuni principi che possono essere identificati per indicare la strada per progetti futuri.

Questo documento è indirizzato a coloro che operano nella valutazione, inclusi coloro che si occupano della creazione delle valutazioni, i gestori dei contenuti, i valutatori, le organizzazioni che forniscono i servizi di valutazione, e così via. I diversi soggetti possono partecipare a differenti fasi del processo e occuparsi di diversi tipi di valutazione con diversi vincoli. Ad esempio, un test sviluppato per determinare la dislessia in bambini di giovane età e un test di autoverifica di Scienze dell'Informazione per gli studenti laureandi in informatica per misurare le proprie abilità di programmazione possono necessitare diversi approcci per l'accessibilità.

Come discusso in seguito di grande considerazione sono senz'ombra di dubbio le prove di alto profilo, dove le conseguenze per gli individui sono notevoli, e in queste deve esserci una considerazione molto attenta sugli effetti potenziali delle disposizioni di accessibilità che possono influire sulla validità della prova.

Ci sono due vaste categorie di tipi di valutazione con differenti requisiti di accessibilità.

Valutazioni di basso profilo

La valutazione di basso profilo è una forma di valutazione compresa nel processo formativo, spesso tramite una serie di risposte molto brevi, quali esercitazioni o i quiz. Alcune volte sono chiamate valutazioni "formative" o solamente "reazioni". Le caratteristiche essenziali sono l'immediatezza e la mancanza di serie conseguenze legate alla prestazione.

Rendere accessibili le valutazioni di basso profilo significa fornire degli accessi e modalità equivalenti ove possibile. Per esempio, i tasti in un modulo o in altri controlli interattivi non dovrebbero essere identificati solo tramite immagini e senza un testo di accompagnamento. Una buona soluzione sarebbe fornire le informazioni in una forma che consenta la generazione in fase di esecuzione delle versioni equivalenti o alternative. I comandi devono anche essere accessibili tramite la tastiera così come tramite il mouse. L'obiettivo generale è di rendere i sistemi ed i contenuti il quanto più possibile flessibili ed adattabili. Tutte le soluzioni spiegate in altre parti di questa guida si applicano ai media di questo livello. Gli obiettivi di questi tipi di valutazione sono legati essenzialmente alla modalità di formazione. In generale, i requisiti di accessibilità possono essere in conflitto con la necessità di accertamento della validità delle valutazioni, ma in questo caso ci si preoccupa principalmente di imparare e così questo non è un problema serio.

Valutazioni di alto profilo

Le valutazioni di alto profilo hanno conseguenze che possono avere seri effetti sulla vita formativa del partecipante. Un esempio potrebbe essere l'esame di accesso dell'università.

E' importante che le valutazioni di alto profilo siano eguali per tutti i candidati e non offrano quindi vantaggi per un gruppo rispetto ad un altro. L'obiettivo è di rendere i sistemi e i contenuti il più accessibili possibile mentre allo stesso tempo è necessario rispettare i requisiti di validità. Idealmente, per esempio, un candidato all'esame non dovrebbe essere escluso da un esame o avere degli svantaggi sulle prestazioni dove la disabilità del candidato non è in relazione alle abilità o alla conoscenza che sono oggetto di esame.

I fornitori di valutazioni devono poter controllare, in modo flessibile, quali alternative siano disponibili per proteggere la validità delle deduzioni sui punteggi ottenuti nelle prove. Può essere che consentire una serie di alternative non abbia conseguenze di l'imparzialità per i candidati particolari per quella valutazione, cosa che accade invece se tali alternative si concedono anche agli altri. Quel che è necessario è un buon controllo e rigore nell'utilizzo delle alternative e integrare questo tipo di controllo può influenzare le scelte di sviluppo sia per i contenuti che per i sistemi di diffusione che degli strumenti di sviluppo. Prendendo le immagini e i problemi delle alternative descritti precedentemente come esempio, un sistema di fornitura può prevedere il controllo dell'abilitazione o della disabilitazione di particolari alternative da parte del sistema durante l'esecuzione mentre altri possono non farlo. Per un certo gruppo di candidati e di valutazioni questo può essere o meno importante, ma la riutilizzazione di materiale di valutazione accessibile per le valutazioni di alto profilo può essere ottenuto soltanto configurando adeguatamente questo meccanismo.

Gli sviluppatori e gli educatori dovrebbero fare buon uso dei media e delle tecnologie di diffusione accessibili quando progettano testi, sistemi e strumenti di valutazione. Probabilmente dovranno concedere ai gestori delle valutazioni un maggiore controllo per le alternative così come un uso migliore delle ottimizzazioni e della facilità di integrazione per gli utenti con disabilità. Le ottimizzazioni si riferiscono ai cambiamenti nel contenuto, nel formato e/o nelle procedure gestionali per gli individui che non possono procedere con le valutazioni in condizioni standard (o predefinite).

9.1 Le sfide per le prove e le valutazioni

Ci sono parecchie sfide nello sviluppo e nella fornitura delle prove e delle valutazioni che possono essere utilizzate dagli utenti con disabilità, che includono:

9.2 Principi per l'accessibilità delle prove e delle valutazioni

I seguenti quattro principi aiutano a guidare l'implementazione di soluzioni che accertano l'accesso alle prove e alle valutazioni agli utenti con disabilità. Gli sviluppatori dovrebbero:

L'enfasi relativa fra questi principi è differente per le valutazioni di basso profilo da quelle di alto profilo.

9.2.1 Considerare gli standard di accessibilità già dalle fasi iniziali di sviluppo

Sino dalle primissime fasi di progettazione, gli sviluppatori di prove dovrebbero considerare gli standard di accessibilità. per esempio, devono considerare l'inclusione di testo per accompagnare le immagini così come i titoli e le descrizioni uditive che accompagnano i video. Tali contenuti alternativi sono solitamente creati al meglio dagli individui che sono maggiormente informati sul contenuto originale. Sviluppare contenuti alternativi quanto prima nel processo di sviluppo può aiutare ad eliminare costose riconversioni. Dettagli sugli standard di accessibilità si possono trovare all'interno di altre parti di queste linee guida.

9.2.2 Seguire gli standard per le prove e le valutazione che promuovono la validità delle prove

La validità è una preoccupazione preponderante nelle prove e nelle valutazioni. Gli Standard per i test formativi e psicologici, (di seguito chiamati Standards), pubblicati dall'American Educational Research Association (AERA), American Psychological Association (APA), e dal National Council on Measurement in Education (NCME) definiscono la validità come:

La misura in cui le prove accumulate e la teoria sostengono le specifiche interpretazioni dei risultati relativi agli usi previsti di un test. (Standards, 1999)

Secondo Willingham e Cole (1997):

La validità è la norma tecnica omnicomprensiva per giudicare la qualità del processo di valutazione. La validità include, per esempio, l'esattezza con cui una prova misura, cosa pretende di misurare, come fornisce la sua funzionalità, altre conseguenze di utilizzo della prova e la compatibilità del processo di valutazione per i differenti esaminandi (pag. 228).

La validità è il tema più importante nel capitolo do degli Standards, ed è focalizzato sulle prove svolte da soggetti con disabilità. Lo standard 10.1 (il primo di 12 standard relativi alle disabililtà) è essenzialmente basato sulla validità. Dichiara: "Durante le prove effettuate con soggetti con disabilità, gli sviluppatori della prova, i coordinatori della prova e gli utenti della prova dovrebbero prendere le misure per accertarsi che il risultato della prova rifletta esattamente la costruzione progettata piuttosto che qualsiasi disabilità con le relative caratteristiche che non riguardano la finalità della prova" (Standards, 1999, pag. 106).

Mentre le caratteristiche di accessibilità sono essenziali per superare i problemi di validità, alcune caratteristiche di accessibilità possono realmente causare dei problemi di validità. Sovente, la natura del problema e la soluzione adeguata possono essere accertati attraverso una semplice analisi logica. Per esempio, se una disabilità fisica impedisse ad una persona di registrare le proprie risposte in una prova di matematica se gestita tramite risposte predefinite, allora l'incompatibilità tra la loro disabilità e il sistema di risposta predefinita costituisce una minaccia importante alla validità. E' ragionevolmente evidente che fornire un metodo alternativo di risposta utilizzando una metodologia di risposta con il supporto ad esempio di una tecnologia assistiva o uno scrivano umano che registra le risposte sarebbe probabilmente una soluzione adeguata. Fornire una tale soluzione può migliorare la validità.

Ma a volte una caratteristica di accessibilità può diminuire la validità. Si supponga, ad esempio, che una prova di arte è volta a misurare la capacità dell'allievo nel descrivere delle opere d'arte (ad esempio i dipinti), e che le domande presentano visualizzandole delle immagini pittoriche delle opere d'arte con richiesta di interazione. Gli standard per l'accessibilità potrebbero richiedere che le descrizioni testuali delle opere d'arte siano rese disponibili agli esaminanti. Tuttavia, in questo modo si renderebbe virtualmente impossibile rilevare la competenza dell'allievo nella produzione di descrizioni testuali, ponendo quindi dei problemi di validità. Per un allievo non vedente, un metodo migliore potrebbe essere dato dalla fornitura di una immagine tattile dell'opera piuttosto che fornire una descrizione testuale. Oppure in alternativa, se le domande con le immagini pittoriche costituiscono solo una piccola parte sul totale della prova di arte, si potrebbe considerare di non assegnare queste domande agli utenti non vedenti. Quindi, per ogni prova e per ogni alunno, non tutte le caratteristiche di accessibilità portano anche la validità della prova. Le caratteristiche di accessibilità devono essere esaminate per il loro impatto sulla validità.

Un altro esempio interessa l'utilizzo della soluzione tramite lettura a voce alta in una prova di comprensione della lettura. La prestazione della prova di una persona non vedente trae beneficio dalla lettura ad alta voce dei contenuti attraverso sintetizzatore vocale o tramite voce umana pre-registrata o in tempo reale. Tuttavia, supponiamo che questo test di comprensione della lettura include la decodifica di parole da lettere come componente della struttura (intensità della misura). In questo caso, la soluzione di lettura a voce alta impedirebbe la visione delle reali prestazioni dell'allievo mettendo in evidenza la sua abilità di decodifica poiché sentire le parole parlate non richiederebbe la decodificazione per poter rispondere correttamente alle domande. Questo scenario dovrebbe suggerire che fornendo soluzioni tramite lettura ad alta voce si può rendere non valido il test e che, quindi, la soluzione tramite lettura ad alta voce non dovrebbe essere concessa. Tuttavia, la decisione circa se si debba realmente permettere la soluzione tramite lettura a voce alta deve portare a considerazioni supplementari. Per esempio, si potrebbe fare le domande supplementari:

La necessità di esaminare molti fattori nel prendere decisioni relative agli utenti con disabilità che svolgono le prove pone la necessità, quando richiesto, di poter invitare degli esperti. Come suggerito prima, il rigore richiesto per le decisioni sulla soluzione da adottare tenderà ad essere più grande per le valutazioni ad alto livello rispetto a quelle di basso livello. Quindi, in molti casi, la base dell'analisi logica di quanto la prova intende misurare farà chiaramente comprendere che tipi di soluzioni possano promuovere la validità; in altri casi un'analisi ed una consultazione più attente con gli esperti possono risultare essenziali.

9.2.3 Sviluppare una spiegazione razionale e coerente per la valutazione

Nella misura possibile, si dovrebbe cercare di sviluppare una spiegazione razionale e coerenti per le dichiarazioni effettuate riguardo le competenze (ad esempio, conoscenza, competenze e abilità) di coloro che effettuano le prove, inclusi i soggetti con disabilità. Lo sviluppo di valutazioni focalizzate sulle prove (Mislevy, Steinber & Almond, in stampa; Hansen, Mislevy, & Steinberg, in stampa), un metodo di progettazione che da risalto alla discussione probatoria esplicita, può contribuire a rafforzare la qualità tecnica di una prova o di una valutazione. Nel caso di soggetti con disabilità, questa discussione deve comprendere non soltanto le dichiarazioni circa la competenza dell'allievo, ma anche circa la compatibilità dei punteggi basati su differenti formati o condizioni della gestione per gli utenti con disabilità. Lo sviluppo focalizzato sulle prove pone l'attenzione sullo sviluppo di una argomentazione coerente che coinvolge:

(a) le specifiche dichiarano cosa si desidera fare per le competenze degli utenti che effettuano la prova,

(b) i comportamenti dell'utente che effettua la prova e che rilevano quelle competenze,

(c) le operazioni che saranno soggette a questi comportamenti, e

(d) le disposizioni che richiamano le spiegazioni alternative.

Si consideri, per esempio, una persona che risponde costantemente in modo errato alle domande della prova. Generalmente, si sosterrebbe che colui che effettua il test difetta della competenza designata. Tuttavia, una spiegazione alternativa per una prestazione poco soddisfacente potrebbe essere che chi effettua il test ha una disabilità (ad esempio, non vedente) che gli impedisce di manifestare il proprio livello reale di competenza nelle condizioni predefinite del test (testo visibile e di dimensioni normali). L'indirizzo dato da una spiegazione alternativa potrebbe richiedere di accertarsi che (a) i canditati fossero informati come possono chiedere del supporto alle prove, (b) le richieste di supporto sono esaminate da un gruppo di esperti qualificati e (c) se le richieste di supporto vengono approvate, colui che esegue il test ha la possibilità adeguata di familiarizzare con le soluzioni prima di utilizzarle nella prova reale. Ovviamente, la necessità di fornire spiegazioni alternative è molto più importante nelle valutazioni ad alto livello. Si noti che le attività di indirizzamento alle spiegazioni alternative sono varie e si presentano spesso nella fase di pre-valutazione della prova, prima che il candidato abbia risposto a tutte le domande.

Lo sviluppo di valutazioni basate sulle prove, specialmente nella fase di sviluppo, può fornire un metodo sistematico per le soluzioni di esame e per la loro convenienza. La misurazione di soluzioni appropriate si intreccia con la ricerca di collegamento dalle caratteristiche di base dell'utente che esegue la prova (per esempio, utente non vedente, la conoscenza del Braille) alle caratteristiche di operatività (per esempio, la lettura a voce alta o versioni Braille) intese per superare i problemi di accesso senza entrare in conflitto con le dichiarazioni che si desidera fare circa le competenze dell'utente che esegue la prova. L'adattamento esplicito delle competenze (sia quelle designate per la valutazione che quelle non designate) può aiutare nell'identificazione delle caratteristiche delle prestazioni per la prova che possono richiedere la misurazione acustica.

Lo sviluppo incentrato sulla prova può anche rendere espliciti i vincoli sulla segnalazione dei punteggi delle prove. Le politiche di considerazione sociale, per esempio, possono essere vincoli importanti sulla segnalazione dei risultati delle prove. La segnalazione delle informazioni sulle soluzioni disponibili possono aiutare un utente dei punteggi delle prove ad interpretare tali risultati (Lewis, Patz, Sheinker, & Barton, 2002; Standard 10.11 degli Standards, 1999). Tuttavia le leggi e i regolamenti sviluppati per indicare la possibilità di discriminazione riguardo gli utenti di prove con disabilità possono limitare l'inclusione di determinate informazioni nei rapporti. Il sostegno dello sviluppo incentrato sulla prova per analizzare, adattare e rappresentare le politiche sociali, legali e altri vincoli che per la promozione della coesione di varie parti in discussione sulle valutazioni.

Come tutto il processo di sviluppo, la qualità del risultato dello sviluppo incentrato sulla valutazione dipende dalla qualità dei dati inseriti. Alcune informazioni che sarebbero utili come incentivo ai processi di sviluppo, quali gli studi sull'effetto delle soluzioni offerte sulle prestazioni e la validità possono essere difficili da ottenere a seguito di fattori come dimensioni ridotte degli esempi, diversità tra gli esaminandi e la varietà delle soluzioni offerte (NRC, 1997; Standards, 1999; Pitoniak & Royer, 2001). Mentre una metodologia incentrata sulla prova non può sostituire la generazione di nuova conoscenza tramite la ricerca e lo sviluppo, può contribuire a far crescere il valore della conoscenza attuale attraverso la condivisione e il riutilizzo tra gli sviluppatori di prove e i destinatari delle prove ed attraverso delle relative applicazioni di test.

9.2.4 Sviluppare una strategia di sviluppo e riutilizzo che includa i contenuti delle prove, lo sviluppo ed altro ancora

La riutilizzazione dei progetti di valutazione e del contenuto delle prove è una strategia fondamentale per promuovere delle valutazioni efficienti e valide. Sforzandosi al riutilizzo ci si costringe ad identificare le regole comuni attraverso le quali vengono impostate le valutazioni, i destinatari e le modalità di consegna.

Un'importante tipologia di riutilizzo che merita la dovuta attenzione è il riutilizzo dei contenuti delle prove. Per esempio, uno degli obiettivi nello sviluppo di una prova "accessibile" potrebbe essere che la parte del testo nel contenuto testuale potrebbe essere riutilizzata attraverso diversi formati di presentazione quali (a) testo visualizzato per utenti della prova non udenti o senza disabilità, (b) sintesi vocale per gli utenti della prova non vedenti, e (c) Braille per gli utenti della prova sordo-ciechi o non vedenti. Nel migliore dei casi, non ci sarebbe niente di particolare nell'uso di uno specifico formato di presentazione che può richiedere un testo originale differente per ogni formato della presentazione. Mentre il riutilizzo completo dei contenuti di una prova può essere un buon obiettivo di sviluppo, è altresì possibile che sia necessario che il contenuto -- in questo esempio contenuto testuale -- potrebbe non essere completamente riutilizzabile attraverso i diversi formati della prova. Ad esempio, gli acronimi che potrebbero avere un senso nella versione stampata possono essere vocalmente sintetizzati in modo non corretto ad un utente della prova con disabilità visive. Accertare l'accesso adeguato per le persone non vedenti e che ricevono i contenuti tramite audio potrebbe richiedere, per esempio, che le lettere siano separate da spazi per facilitare la corretta lettura. In alcune aree del contenuto, differenti formati possono richiedere dei diversi strumenti come ad esempio le illustrazioni tattili (con linee rialzate) o delle figure matematiche e il contenuto a video può aver bisogno di avvertire l'utente circa la disponibilità di tali possibilità. Per differenti formati possono essere necessari differenti sensi. Queste differenze tra i formati possono ridurre certi tipi di riutilizzo dei contenuti delle prove.

Ne consegue che una strategia ragionevole per il riutilizzo dovrebbe includere i contenuti delle prove ma dovrebbe anche estendersi ulteriormente, ad esempio, per includere la riutilizzazione dello sviluppo delle valutazioni. Come suggerito in precedenza, lo sviluppo di valutazioni che contiene degli argomenti specifici ne può promuovere un maggiore riutilizzo. Ancora, le strategie per il riutilizzo non dovrebbero trascurare la riutilizzazione del personale e di altre risorse di sviluppo e fornitura della prova.

9.3 Principi dei sistemi di distribuzione e sviluppo per le prove e le valutazioni

I sistemi di distribuzione e sviluppo devono supportare le azioni per creare, archiviare e utilizzare contenuti accessibili per le valutazioni. Molti di questi meccanismi sono identici a quelli descritti in precedenza in questo documento, ma alcune indicazioni sono specifiche dello sviluppo e della distribuzione delle valutazioni.

Annotazione: Questo sarà oggetto di una futura versione, ma è previsto che includa:

9.4 Principi di sviluppo dei contenuti per le prove e le valutazioni

Consentire contenuti flessibili e accessibili per le valutazioni richiede di codificare informazioni addizionali nei meta-dati a proposito di ogni argomento della valutazione e delle sue alternative. Altre argomentazioni sono specifiche allo sviluppo delle valutazioni.

9.4.1 Fornire informazioni sugli scopi

Annotazione: Questo sarà oggetto di una futura versione, ma è previsto che includa le necessarie informazioni sugli scopi a diversi livelli includendo:

9.4.2 Fornire le informazioni sull'accessibilità del contenuto nei diversi livelli

Annotazione: questo sarà oggetto di una futura versione.

Risorse:

AERA, APA, & NCME. [Standards] (1999). Standards for Educational and Psychological Testing. Washington DC: American Educational Research Association, American Psychological Association, National Council on Measurement in Education.

BSI BS 7988 A Code of Practice for the use of information technology for the delivery of assessments. Il documento è ordinabile dal British Standards Institution (BSI).

Lewis, D. M., Patz, R. J., Sheinker, A., Barton, K. (2002). Reconciling standardization and accommodation: Inclusive norms and reporting using a taxonomy for testing accommodations. Documento presentato al meeting annuale della American Educational Research Association, New Orleans, Louisiana.

Mislevy, R.J., Steinberg, L.S., & Almond, R.G. (in press). On the structure of educational assessments. Measurement: Interdisciplinary Research and Commentary.

National Research Council [NRC] (1997). Educating one and all: Students with disabilities and standards-based reform. National Academy Press.

Pitoniak, M. J., & Royer, J. M. Testing accommodations for examinees with disabilities: A review of psychometric, legal, and social policy issues. Review of Educational Research, 71 (1), 53-104.

Willingham, W. W., & Cole, N. S. (1997). Gender and fair assessment. Mahwah, New Jersey: Lawrence Erlbaum Associates.

Willingham, W. W., Ragosta, M., Bennett, R. E., Braun, H., Rock, D. A., Powers, D. E. (1988). Testing handicapped people. Needham Heights, Mass.: Allyn and Bacon.