CAPIETTO A. - Bando CRT I tornata 2020 - "Matematica a voce: l'accessibilità agli studi scientifici con il riconoscimento vocale, in presenza e a distanza, inizia in Piemonte"

L'obiettivo del progetto è quello di ridurre le barriere che le persone con disabilità motorie, uditive, visive o DSA incontrano negli studi scientifici. Sono stati individuati due bisogni principali: le persone con disabilità motorie hanno bisogno di strumenti per scrivere ed elaborare autonomamente le espressioni matematiche, mentre le persone con disabilità visive, uditive e DSA necessitano di strumenti per fruire pienamente delle lezioni scientifiche. Infatti, in particolare le persone con disabilità o disordini motori agli arti superiori (ad es. diplegia, tetraplegia, disprassia) hanno numerose difficoltà nella scrittura della matematica sia su carta sia al computer. Ciò impedisce l'elaborazione autonoma di espressioni matematiche, abilità indispensabile negli studi scientifici. Le persone con disabilità e con DSA inoltre incontrano ostacoli nella fruizione delle lezioni. Le persone sorde non riescono a fruire dell'esposizione verbale senza sottotitoli adeguati, le persone cieche o ipovedenti non riescono a leggere le notazioni matematiche inserite come immagini nelle presentazioni e le persone con disabilità motorie e DSA hanno difficoltà a prendere appunti. Le azioni per rispondere ai bisogni individuati verranno svolte presso il Laboratorio per la Ricerca e la Sperimentazione di Nuove Tecnologie Assistive per le STEM - S. Polin, del Dipartimento di Matematica G. Peano. Per le persone con disabilità motorie verrà sviluppata un'applicazione per scrivere ed elaborare espressioni matematiche mediante interazione vocale. La persona con disabilità potrà dettare l'espressione matematica in lingua italiana, potrà navigare e modificare l'espressione mediante comandi vocali e sarà in grado di utilizzare attraverso la voce un Computer Algebra System per svolgere elaborazioni simboliche e numeriche e per generare rappresentazioni grafiche (ad es. grafici di funzione). Per permettere la piena fruizione delle lezioni di discipline scientifiche a persone con disabilità uditive, visive e DSA verrà realizzato un sistema che, a partire dalle videoregistrazioni delle lezioni e dalle presentazioni contenenti espressioni matematiche, genera automaticamente un documento pienamente accessibile da browser con le tecnologie assistive. In particolare, il sistema genera sottotitoli trasformando automaticamente l'audio in testo, trasforma le immagini delle espressioni matematiche citate dal docente in un formato fruibile con il lettore vocale o in Braille (LaTeX o MathML) e sincronizza il flusso audio-video con sottotitoli ed espressioni matematiche. A valle di questo processo, le persone sorde potranno seguire la lezione leggendo i sottotitoli e le espressioni matematiche in notazione ordinaria, le persone con disabilità visive potranno ascoltare l'audio della lezione e leggere le espressioni matematiche in un formato accessibile con lettore vocale o display Braille e le persone DSA potranno estrarre gli appunti dal testo della trascrizione della lezione. Per sviluppare questi strumenti verranno impiegate le più recenti tecniche di riconoscimento vocale e di immagini e per l'elaborazione del linguaggio naturale.