KI-gestütztes Navi für Sehbehinderte entwickelt
Von Forschenden der Johns Hopkins University
Forschende aus zwei Abteilungen der Johns Hopkins University haben gemeinsam ein Navigationssystem entwickelt, das es blinden oder sehbehinderten Nutzern ermöglichen soll, sich in ihrer Umgebung mit größerer Sicherheit und Genauigkeit zurechtzufinden.
Das System nutzt Künstliche Intelligenz (KI), um Umgebungen abzubilden, den Standort des Nutzers zu verfolgen und ihn in Echtzeit zu führen. Es verarbeitet auch Informationen von Tiefenbildsensoren und RGB – den Rot-, Grün- und Blaukanälen, die in Bildsensoren zur Erfassung visueller Informationen verwendet werden –, um detaillierte semantische Karten der Umgebung zu erstellen. Dadurch könne das Navigationssystem nicht nur Hindernisse erkennen, sondern auch bestimmte Objekte und ihre Eigenschaften identifizieren. Mit dieser Fähigkeit sollen die Nutzer das System nach Hinweisen auf bestimmte Objekte oder Merkmale in ihrer Umgebung befragen können, was die Navigation intuitiver und effektiver mache.
„Mensch-Computer-Interaktionen auf hohem Niveau“
„Was dieses System besonders innovativ macht, ist seine Fähigkeit, die Interpretierbarkeit der Umgebung für die Nutzer deutlich zu verbessern“, erklärte der leitende Forscher Nicolas Norena Acosta, ein Software-Ingenieur für Robotikforschung bei APL. „Herkömmliche Navigationssysteme für Sehbehinderte stützen sich oft auf eine einfache sensorgestützte Kartierung, die nur zwischen belegten und unbelegten Räumen unterscheiden kann“, führt er aus. „Der neue semantische Mapping-Ansatz bietet jedoch ein viel umfassenderes Verständnis der Umgebung und ermöglicht Mensch-Computer-Interaktionen auf hohem Niveau.“
Derzeitige Sehprothesen könnten nur einen kleinen Bereich des Sehvermögens stimulieren und würden nur ein minimales visuelles Feedback bieten, das für die Benutzer nicht robust genug sei, um sicher und unabhängig in ihrer Umgebung zu navigieren. Norena Acosta und sein Team haben dieses grundlegende visuelle Feedback durch zusätzliche haptische, visuelle und auditive Sinneseindrücke ergänzt, um ein umfassenderes Navigationssystem zu schaffen.
Stirnband als zentrales Element des Navigationssystems
Die haptische Rückmeldung erfolgt über ein von APL entwickeltes Stirnband, das an verschiedenen Stellen vibriert, um die Richtung von Hindernissen oder den Weg anzuzeigen, dem der Benutzer folgen soll. Wenn der Weg zum Beispiel nach rechts führt, vibriert die rechte Seite des Stirnbands. Das auditive Feedback verwendet Sprachansagen und räumliche Geräusche, um verbale Hinweise und Warnungen über die Umgebung zu geben.
Die kombinierten sensorischen Eingaben an das System werden auch in visuelles Feedback umgesetzt, was die Fähigkeit des Benutzers verbessere, Hindernisse wahrzunehmen und effektiv zu navigieren. Das System biete zudem eine klare, vereinfachte Sicht auf die Umgebung und würde nur die wichtigsten Informationen hervorheben, die zur Vermeidung von Hindernissen und zur sicheren Fortbewegung benötigt werden.
Klinische Studie läuft
Die Forschungsergebnisse wurden im April auf der SPIE Defense + Commercial Sensing 2024 vorgestellt. Das System wird derzeit in einer klinischen Studie getestet, deren Ergebnisse für diesen Sommer erwartet werden.
Quelle: Johns Hopkins University
