Visionauta: KI-App erweitert Sprach- und Assistenzfunktionen

Blinder Softwareentwickler baut Barrierefreiheit aus

Ein Softwareentwickler aus Brasilien hat die Barrierefreiheits-App „Visionauta“ um zusätzliche KI-Funktionen erweitert. Die kostenlose Anwendung für iOS und Android unterstützt nun elf Sprachen, darunter auch Deutsch, und soll blinden sowie sehbehinderten Menschen bei Orientierung, Informationsbeschaffung und alltäglichen Aufgaben helfen.

Entwickelt wurde die App von Jonathan Santos, einem blinden Programmierer mit beruflichen Stationen bei Google und Samsung. Die neue Funktion „Echtzeit-Gespräch“ ermöglicht nach seinen Angaben einen kontinuierlichen sprachbasierten Austausch mit einer KI, die Kamerabilder analysiert und unmittelbar beschreibt.

Visionauta kann dabei unter anderem Umgebungen erläutern, Standorte bestimmen, Informationen aus dem Internet abrufen, gedruckte Noten erkennen und wiedergeben sowie beim Fotografieren unterstützen. „Das Echtzeit-Gespräch hat verändert, was Visionauta ist. Es ist keine App mehr, in der man ein Foto macht und auf eine Antwort wartet: Es ist ein fortlaufendes Gespräch mit jemandem, der für dich sieht und immer da ist – ob um die Straße zu beschreiben, die nächste Apotheke zu finden oder die Noten vorzulesen, die du gleich spielst“, beschreibt Jonathan Santos die Neuerung.

Unterstützung bei Orientierung und Alltag

Zu den weiteren Funktionen zählen eine Offline-Texterkennung, die Unterscheidung verschiedener Währungen, eine Objektsuche sowie eine elektronische Lupe für sehbehinderte Nutzer. Darüber hinaus bietet die Anwendung sprachgestützte Hilfen zur Nutzung des Smartphones.

Drei Smartphones zeigen die App Visionauta bei unterschiedlichen Anwendungen, darunter das Erkennen von Straßenschildern, das Vorlesen von Texten und die Identifikation von Geldscheinen. — Die App unterstützt blinde und sehbehinderte Menschen mit KI-gestützten Sprach- und Assistenzfunktionen. Quelle: Visionauta

Für Android-Nutzer steht zusätzlich „Visionauta Magic“ zur Verfügung. Die Funktion beschreibt laut Entwickler unbeschriftete Bildinhalte in Apps und kann nach Bestätigung des Nutzers bestimmte Aufgaben auf dem Smartphone ausführen.

Visionauta entstand während des Masterstudiums von Santos an der Universidade Presbiteriana Mackenzie in São Paulo. Der Entwickler forscht dort im Bereich Künstliche Intelligenz und Computertechnik. Das aktuelle Update erweitert die App auf insgesamt elf Sprachen: Deutsch, Englisch, Französisch, Italienisch, Spanisch, Portugiesisch, Koreanisch, Japanisch, Arabisch, Russisch und vereinfachtes Chinesisch.