SERSIO: Spracherkennung und -steuerung im intelligenten Operationssaal

Teilprojekt Output Sprachsystem, Test Validierung Prototypen, UI Entwicklung Adaptierbarkeit, Klinische und finale Erprobung im Test-OP

Das Projekt SERSIO erforscht ein KI-gestütztes Spracherkennungs- und -steuerungssystem für den Einsatz im Operationssaal. Heutige OP-Säle sind hochgradig technisiert, doch die Interaktion des chirurgischen Teams mit Medizingeräten und Softwaresystemen erfordert nach wie vor Sterilbrüche, manuelles Eingreifen durch Assistenzpersonal und zeitintensive postoperative Dokumentation. SERSIO entwickelt eine domänenspezifische Spracherkennung, die als „KI-Teammitglied“ im OP fungiert: Chirurginnen und Chirurgen steuern Geräte per intuitivem Sprachbefehl, während relevante Informationen automatisiert für den OP-Bericht extrahiert werden. Das Forschungszentrum Computer Assisted Medicine (CaMed) der Hochschule Reutlingen verantwortet im Verbundprojekt insbesondere die Erforschung der sprachbasierten Gerätesteuerung über interoperable Standards (IEEE 11073 SDC), die Prototypenvalidierung im Lehr- und Forschungs-OP, die Erforschung adaptierbarer Benutzerschnittstellen sowie die prä-klinische Evaluierung des Gesamtsystems.

Forschungsfrage

Wie lässt sich ein kontextsensitives, KI-basiertes Sprachsystem realisieren, das (1) intraoperative Sprachbefehle zuverlässig von Hintergrundkommunikation unterscheidet und in standardisierte Steuerkommandos (IEEE 11073 SDC) übersetzt, (2) durch die Kopplung mit chirurgischen Prozessmodellen und medizinischen Ontologien eine klinische Plausibilitätsprüfung der erkannten Befehle ermöglicht und (3) durch modulare Output-Schnittstellen und adaptive Interaktionsmuster herstellerunabhängig auf unterschiedliche Eingriffe und Fachdisziplinen skalierbar ist?

Angestrebter Erkenntnisgewinn / Neuartigkeit und Ungewissheit der zu erwartenden Ergebnisse

Neuartig ist die Kombination fortschrittlicher KI-basierter Spracherkennung mit chirurgischer Prozessmodellierung und standardisierter Medizingerätevernetzung in einem integrierten System. Im Gegensatz zu bisherigen Einzellösungen, die Sprachsteuerung gerätespezifisch und proprietär implementieren, verfolgt SERSIO erstmals einen generischen Ansatz: Über den IEEE 11073 SDC-Standard wird eine einzige Sprachschnittstelle geschaffen, die sämtliche vernetzten Geräte im OP-Saal herstellerunabhängig ansteuern kann. Durch die Integration von Surgical Process Models (SPM) und SNOMED-CT-Terminologien entsteht eine semantische Sicherheitsebene, die erkannte Befehle im Kontext des aktuellen OP-Schrittes validiert. Ungewissheiten betreffen die Robustheit der Spracherkennung unter realen intraoperativen Bedingungen (Hintergrundgeräusche, domänenspezifischer Fachjargon, überlappende Gespräche), die Echtzeitfähigkeit der Kontextinterpretation, die regulatorischen Anforderungen an sprachgesteuerte Medizingeräteinteraktionen unterschiedlicher Risikoklassen sowie die Übertragbarkeit des am Beispiel der Cochlea-Implantation entwickelten Systems auf weitere chirurgische Fachdisziplinen

Forschungsmethodik

Das Projekt folgt einem iterativ-inkrementellen Forschungsansatz in drei aufeinander aufbauenden Zyklen: Inkrement I erforscht die grundlegenden Funktionalitäten der Spracherkennung, der Kontextinterpretation mittels chirurgischer Prozessmodelle und erster Output-Module zur Gerätesteuerung über SDC-Schnittstellen. Inkrement II erweitert das System auf die vollständige Cochlea-Implantation und integriert die automatisierte OP-Bericht-Generierung sowie kontinuierlich verbesserte Gerätesteuerungsmodule. Inkrement III untersucht die Adaptierbarkeit des Systems an weitere Eingriffe und Fachdisziplinen durch ein generalisiertes Vorgehensmodell für Output-Module und Prozessmodell-Anpassung. Jedes Inkrement wird im Lehr- und Forschungs-OP der HSRT unter realitätsnahen Bedingungen validiert, bevor das Gesamtsystem abschließend in einer klinischen Vor-Studie an realen Cochlea-Implantationen am Universitätsklinikum Düsseldorf erprobt wird. Die Forschungsgruppe CaMed übernimmt dabei die Leitung der Arbeitspakete zur Gerätesteuerung, zur Test- und Prototypenvalidierung, zur UI-Entwicklung sowie zur Systemintegration und prä-klinischen Erprobung.

Dokumentation und Verbreitung der Ergebnisse

Die Forschungsergebnisse werden durch wissenschaftliche Publikationen in einschlägigen Fachzeitschriften und Konferenzbeiträgen (u. a. CURAC, CARS, IPCAI) dokumentiert und der Fachgemeinschaft zugänglich gemacht. Die technische Systemarchitektur, Schnittstellenspezifikationen und Adaptionsleitfäden werden in einer umfassenden technischen Dokumentation aufbereitet, die als Grundlage für spätere Zulassungsprozesse und den Transfer in weitere klinische Anwendungsszenarien dient. Durch die konsequente Nutzung offener Standards (IEEE 11073 SDC, SNOMED CT, SPM-Ontologien) und die modulare Systemarchitektur werden Impulse in einschlägige Standardisierungsgremien eingebracht. Die Ergebnisse der klinischen Evaluation werden als Best-Practice-Empfehlungen für die Integration von Sprachsteuerungssystemen in den OP-Betrieb veröffentlicht. Zielgruppen sind neben der wissenschaftlichen Fachgemeinschaft insbesondere klinische Anwender:innen, Medizintechnikhersteller, Klinik-IT-Abteilungen sowie das Standardisierungsumfeld der IEEE 11073 SDC-Community.