BVA: KI-Systeme enttäuschen beim Netzhaut-Screening
Studie stellt Treffsicherheit bei der Beurteilung von Diabetes mellitus mäßiges Zeugnis aus
Computer-gestützte Diagnosesysteme können beim Erkennen einer diabetischen Netzhauterkrankung (diabetische Retinopathie) nicht durchgehend überzeugen – dies stellten Aaron Y Lee und Mitarbeiter in einer Studie fest, die kürzlich in der Zeitschrift „Diabetes Care“ veröffentlicht und vom BVA (Berufsverband der Augenärzte Deutschlands) interpretiert und zusammengefasst wurde.
In der Studie wurde die Treffsicherheit von Bilderkennungssystemen bei der Beurteilung alltagstypischer Netzhautfotos von Patienten mit Diabetes mellitus mit der Leistung von menschlichen Gutachtern verglichen. Die Fotos des Augenhintergrundes stammten von Patienten amerikanischer „Veterans Affairs“-Krankenhäuser.
Starke Variationen bei der Bilderkennung durch die KI
Die Sensitivität, also die Sicherheit, keine Befunde zu übersehen, variierte demnach bei den Bilderkennungsgeräten sehr stark: Sie lag zwischen 51% und 86%. Die Bilderkennung basiert letztlich auf Systemen, die mit neuronalen Netzen, also sogenannter künstlicher Intelligenz (KI), trainiert wurden.
Die mäßigen Ergebnisse dieses Belastungstests müssten ernst genommen werden, zumal die Anzahl der Patienten mit 23.724 groß sei und ihnen im Schnitt 3,5 Bilder mit einem Bildausschnitt von mindestens 45° präsentiert wurden. Grundsätzlich sei bei der Bewertung der Methoden zu beachten, dass sich bei der augenärztlichen stereoskopischen Untersuchung ein dreidimensionales Bild ergibt und so Veränderungen erkannt und eingestuft werden können, die auf einem Foto nivelliert sind.
Variierende Bildqualität als mögliche Ursache
Dr. Georg Spital, Generalsekretär der interdisziplinären Initiativgruppe „Früherkennung diabetischer Augenerkrankungen“ (IFDA), weist auf mögliche Gründe für die übersehenen Veränderungen hin: „Während die KI-basierten Verfahren für sehr frühe Veränderungen der Diabeteserkrankung des Auges wie kleine Punktblutungen und Mikroaneurysmen sogar etwas empfindlicher waren, dürften die Probleme ganz wesentlich mit der unterschiedlichen Qualität der verwendeten Fotografien zusammenhängen.“
Professor Dr. Focke Ziemssen (Universitätsaugenklinik Leipzig), der 1. Vorsitzende der IFDA, weist darauf hin, dass eine Zulassung durch die FDA nicht für die bedenkenlose Anwendung im deutschen Versorgungskontext ausreicht: „Die Spezifität der KI-Systeme hat sich in den letzten Jahren zwar kontinuierlich verbessert, bevor sie klinisch angewandt werden, müssen aber alle Algorithmen dieser Bilderkennungsgeräte gründlich an realen Daten getestet werden.“ Weiterhin stellt er fest: „Die automatisierten Systeme sind besser darin geworden, Überdiagnostik und somit unnötige Verunsicherung zu vermeiden, dennoch bleiben für den Patienten bei einem Computerbefund viele Fragen unbeantwortet, die ausschließlich im Gespräch mit dem Augenarzt geklärt werden können.“
Beide Experten sind sich einig: „Bei der Erhebung von Computerbefunden des Augenhintergrundes von Menschen mit Diabetes mellitus muss gewährleistet sein, dass die Patienten im Zweifelsfall zum Augenarzt überwiesen und von diesem weiterbetreut werden.“
Quelle: Lee A Y et al (2021) Multicenter, head-to-head, real-world validation study of seven automated Artificial Intelligence Diabetic Retinopathy Screening Systems. Diabetes Care 44: 1168–1175 | https://doi.org/10.2337/dc20-1877
