Il progetto prevede lo sviluppo di una soluzione software per dettatura e modifica di formule matematiche basata su funzionalità di interazione vocale con riscontro visivo e vocale dei contenuti dettati, utile a persone con disabilità motorie, visive o DSA, nella scrittura, nell’elaborazione e nella risoluzione di espressioni matematiche. Le persone con disabilità o disordini motori agli arti superiori o disabilità visive incontrano difficoltà nella scrittura della matematica e l’esecuzione di semplificazioni numeriche o simboliche di espressioni matematiche è complessa per persone con DSA. Attualmente non sono disponibili software con funzionalità di dettatura e modifica di formule in lingua italiana, esistono solo alcune parziali soluzioni in lingua inglese. Il Laboratorio ha sviluppato un prototipo del software partendo dall’esperienza di SpeechMatE 0.1, un software con interazione multimodale stabile, con funzioni di dettatura anche di matematica avanzata, di navigazione e modifica delle formule.
Cristian Bernareggi, Mattia Ducci, Alessandro Mazzei, Dragan Ahmetovic, Tiziana Armano, Anna Capietto, Sandro Coriasco, Nadir Murru (2020) SpeechMatE: A Speech-driven Maths Editor for Motor-Impaired People, ICCHP open access compendium “Future Perspectives of AT, eAccessibility and eInclusion”, 2020.