Themen rund um den sozialen Roboter Navel

Navel ist ein sozialer humanoider Roboter, der mit Menschen über Sprache und Mimik kommuniziert. Eingesetzt wird Navel in der Pflege, als empathischer Dialogpartner “navel care” für ältere Menschen. Der Roboter integriert zahlreiche Sensoren, Aktoren und ein Sprachmodell (ChatGPT). Die Sprachverarbeitung erfolgt durch eine Sequenz von Prozessen: Aufnahme der Sprache über Mikrofone, Umwandlung der Sprache in Text, Erkennung der Absicht, Auswahl einer geeigneten Antwort, Umwandlung in Audiosignale, Ausgabe über Lautsprecher. Navel verfügt außerdem über eine Bildverarbeitung, die Menschen (wieder)erkennt und Gesichtsausdrücke erkennen kann.

Die Entwicklungsvariante von Navel (navel research) bietet ein Python-SDK mit Funktionalitäten zur Steuerung des Roboters (Kopf, Basis, Arme) und zur Verarbeitung der Wahrnehmung (sehen und sprechen).

Im Rahmen von Abschlussarbeiten sollen interessante Usecases umgesetzt werden. Diese sollten einen Bezug zu Pflege oder allgemeiner Ambient Assisted Living haben, ansonsten sind keine Grenzen gesetzt.

Beispiele für Sprachinteraktion (die englischsprachigen wurden gefunden auf auf der Navel-Webseite unter “future extensions”):

• Dialoge führen mit (leicht) demenzkranken Menschen – Erinnerungen aktivieren und das Gespräch vorantreiben (analog der Pflegeapplikation von navel care)
• Gesprächshistorie merken: Einen Dialogpartner anhand dessen Gesicht wiedererkennen (analog navel care) und ein früheres Gespräch fortsetzen (dazu ist navel care nicht in der Lage).
• Dialoge mit mehreren Personen führen: Die Gesprächspartner sitzen in einem Stuhlkreis um Navel herum und Navel reagiert auf die Personen, bzw. spricht diese gezielt an
• Kognitiver Zeitvertreib: Wortspiele, einfache Quizzes zu Allgemeinwissen oder zu Aktuellem
• Answer standard questions (weather, meal plan)
• Running Errands (“Tell everyone that church service is coming up”; “Find Mrs. Meier and tell her…”)
• Interventions in positive psychology
• Support with translating for care staff and residents who speak little German

Für die soziale Interaktion ist ein LLM zu verwenden, in Zusammenhang mit der Mimik / Kopfmotorik des Roboters.

Beispiele für Robotik – hier sollte die Roboter-Mensch-Interaktion im Vordergrund stehen:

• “Zeige mir…” verknüpft Bildverarbeitung und Arm-Motorik
• “Wo ist…” integriert ein Umgebungsmodell mit dem LLM
• Eine “follow me”-Anwendung integriert die Personenerkennung und das Fahren
• “Fahre zum…” integriert Motoren und Sensorik, benötigt ein Umgebungsmodell und Planung
• Anregungen erhalten Sie auch bei Robocup@Home. 

Voraussetzungen

• Spaß am Programmieren, KI-Interesse und gewisse KI-Grundlagen

Betreuer / Ansprechpartner