SenseCare: Eine Bibliothek voller Emotionen

Im Projekt haben Prof. Dr. Matthias Hemmje (Lehrgebiet Multimedia und Internetanwendungen) und die zwei wissenschaftlichen Mitarbeiter Dr. Felix Engel und Dr. Binh Vu von der FernUniversität erst einmal Grundlagen erforscht. „Es ging darum, Algorithmen zu entwickeln, um Emotionen aus Fotos und Videos zuverlässig zu analysieren und klassifizieren“, erklärt Prof. Hemmje. Das Lehrgebiet arbeitete für „SenseCare“ eng mit verschiedenen Partnerinnen und Partnern zusammen. Dazu gehörten unter anderem das CIT – Cork Institute of Technology (Irland), University of Ulster (Irland) und Inmark Europa (Spanien).

Emotionen aus Sensordaten analysieren

Um die Sensordaten, wie Foto- und Videoaufnahmen analysieren zu können, haben die Forschenden ein cloudbasiertes Computersystem entwickelt. Die multimedialen Dateien werden in der Cloud gespeichert und ergeben eine Datenbank. Mehr über das Wohlbefinden von Patientinnen und Patienten herauszufinden, könnte vor allem bei geistigen Erkrankungen wie Demenz oder Depression weiterhelfen. „Gespräche mit Universitätskliniken, die über eine psychosomatische Abteilung verfügen, haben ergeben, dass Videoaufnahmen für die Diagnose nützlich sein könnten. Die Betroffenen müssen natürlich zustimmen, dass ihre Behandlung aufgezeichnet wird“, sagt Hemmje.

Die Patientinnen und Patienten würden hier zum Beispiel in einer Gesprächstherapie gefilmt werden. Danach hätten Ärztinnen und Ärzte die Möglichkeit die Cloud nach bestimmten Daten zu durchforsten. „Zum Beispiel könnten diese eingeben, dass ihnen alle Momente herausgesucht werden sollen, in denen die Patientin XY glücklich oder traurig war. Das könnte medizinischem Personal dabei helfen, eine effektivere Behandlung zu finden oder eine gezieltere Diagnose zu stellen“, erklärt Binh Vu, der an der Klassifikation von Emotionen forschte. Felix Engel arbeitete daran, die Gegebenheiten der sensorischen Aufnahme formal, für Computer interpretierbar zu beschreiben und automatisch zu erfassen. Diese Beschreibungen werden automatisch den Sensordaten hinzugefügt, um eine gezielte Suche zu ermöglichen.

Ein weiteres Projektziel war es zu untersuchen, wie die steigenden Kosten für die Behandlung von Demenzkranken verringert werden könnten. Die Kosten in diesem Bereich werden bis 2030 auf über 250 Milliarden Euro geschätzt. Um die Kosten für Pflegeheimplätze zu verringern oder zu vermeiden, soll den Betroffenen, solange es geht, ein Leben zu Hause ermöglicht werden. Das soll bei Patientinnen und Patienten zur einer höheren Lebensqualität führen. „Um deren Emotionen zu Hause verlässlich erkennen zu kennen, müsste die Wohnung mit mehreren Kameras aus verschiedenen Winkeln ausgestattet werden. Das ist ein enormer Aufwand“, erklärt Engel. Dafür muss das cloudbasierte System die Daten erfassen und gleichzeitig auswerten. Wenn das System dann auf Grundlage des Gesichtsausdrucks erkennt, dass die Person zum Beispiel desorientiert ist oder es ihr nicht gut geht, könnte eine weitere Person – etwa eine Angehörige – oder der Pflegedienst benachrichtigt werden.

Experimentelles Projekt

„SenseCare“ ist ein experimentelles Projekt, dass noch keine Anwendung in der Praxis findet. Das liegt an verschiedenen Faktoren: Es gibt ethische Diskussionen und Hürden, da eine Fernüberwachung mit Videokameras stark in die Persönlichkeitsrechte eingreift. Zudem bildet die Zustimmung der Patientinnen und Patienten eine weitere Hürde. Personen, die unter Demenz leiden, sind im fortgeschrittenen Krankheitsverlauf oft nicht in Lage, ihr Einverständnis zu geben, dass sie an einer Forschung teilnehmen.

„Bei einem Projekt wie „SenseCare“ fehlen oft die Daten. Daher haben wir sie selber erzeugt oder haben auf Daten eines Projektpartners aus Spanien zurückgegriffen. Das waren Videoaufzeichnungen von Seminaren, in denen es emotional zuging. So konnten verschiedene Emotionen in den Gesichtern der Personen analysiert werden“, erzählt Engel. An dem Projekt möchte Hemmje mit seinen wissenschaftlichen Mitarbeitern Engel und Vu zukünftig weiterforschen, wenn sie dafür eine Genehmigung erhalten. Die Universität in Ulster (Irland), die auch an „SenseCare“ forschte, verfügt über ein experimentelles Labor, indem eine Wohnung nachgebildet werden kann. Hier könnten sie Alltagssituationen aufzeichnen. Zudem soll weiter daran geforscht werden, wie das System Emotionen zuverlässiger erkennen kann. Emotionen können nämlich auch fehlgedeutet werden: zum Beispiel, wenn eine Person lächelt, obwohl sie traurig ist. Daher möchten sie weiterforschen, um weitere Indikatoren wie zum Beispiel Audiodateien, den Puls mit den Foto- und Videoaufnahmen zu verbinden. Mit der Zusammenführung von verschiedenen Indikatoren kann ein konstantes und verlässlicheres Bild der Gefühlslage abgebildet werden.

Vier Jahre Forschung

Insgesamt vier Jahre forschten Prof. Matthias Hemmje und die zwei wissenschaftlichen Mitarbeiter Dr. Felix Engel und Dr. Binh Vu mit den Partnerinnen und Partnern am Projekt „SenseCare“. Das Forschungsprojekt wurde mit Mitteln aus dem EU-Programm Marie Skłodowska-Curie RISE Action gefördert, es ist seit 2020 abgeschlossen.