German Research Foundation (Deutsche Forschungsgemeinschaft, DFG).
Verbales Instruieren von sensorbasierten Robotersystemen (VerbBot)
Abstract
Eine intuitive und natürliche Art des Informationsaustauschs stellt für den Menschen die Kommunikation durch Sprache dar. Mit diesem Werkzeug sind wir in der Lage, unsere Umgebung, Gefühle oder Aktionen zu formulieren. Ein wesentlicher Teil der Information steckt hierbei in den verwendeten Verben. Diese spezifizieren beispielsweise, welche Aufgaben durchgeführt werden sollen. Andere Sprachkomponenten dienen zur genaueren Spezifikation der Aufgabe, um etwa den Akteur, den Zeitpunkt oder den Ort der Aktion festzulegen bzw. einzugrenzen. Der Mensch ist aufgrund seines Sprachverständnisses und seiner kognitiven Fähigkeiten in der Lage, die meist unscharf formulierten Anweisungen korrekt zu interpretieren und präzise umzusetzen. Vergleicht man im Gegensatz die "natürliche" Art des Informationsaustauschs für ein Robotersystem, so ist dieses ausschließlich in der Lage, wohldefinierte Befehle mit scharf spezifizierten Parameterwerten zu interpretieren und präzise umzusetzen.
Die Vision der Forschung in diesem Bereich stellt ein Robotersystem dar, welches über ein menschenähnliches Sprachverständnis verfügt und die typischerweise unscharf formulierten Anweisungen erfolgreich ausführen kann. In diesem Forschungsprojekt sollen Methoden entwickelt werden, welche beschreiben, wie einem Robotersystem verschiedene Tätigkeiten aus dem Bereich der Objektmanipulation, dargestellt durch Verben, bekannt gemacht werden können. Ein weiterer Forschungsgegenstand stellt die Frage dar, in wie weit ein Robotersystem aus der unscharf formulierten Sprache die zur Robotersteuerung benötigten konkreten Parameterwerte extrahieren kann. Diese Transformation stellt eine besondere Herausforderung dar, denn hierzu ist die Sprachinformation allein nicht ausreichend. Es muss untersucht werden, welche Komponenten ein Robotersystem zusätzlich benötigt, um einen Schritt hinzu der angestrebten Vision zu gelangen, einem Robotersystem mit menschenähnlichen Sprachverständnis.
Contact
Bilder
Wanted
Publications
- Sascha Sucker; Dominik Henrich; Michael Neubauer; (2024)
Robot Tasks with Fuzzy Time Requirements from Natural Language Instructions
(IRC 2024)
Accepted for presentation at 2024 IEEE International Conference on Robotic Computing (IRC). Link to preprint - Sascha Sucker; Dominik Henrich; (2023)
A layered Pipeline for Natural Language Robot Programming with Control Structures
(Annals of Scientific Society for Assembly, Handling and Industrial Robotics (to appear)) - Kim Wölfel; Jörg Müller; (2021)
ToolBot: Robotically Reproducing Handicraft
(IFIP Conference on Human-Computer Interaction – INTERACT 2021)
Link to publication - Kim Wölfel; (2021)
SpIRo Sprachbasierte Instruktion kraftbasierter Roboterbewegungen
(Dissertation)
Link to publication - Kim Wölfel; Dominik Henrich; (2020)
Simulation-Based Validation of Robot Commands for Force-Based Robot Motions
(KI 2020: Advances in Artificial Intelligence)
Link to publication - Kim Wölfel; Dominik Henrich; (2020)
Affordance Based Disambiguation and Validation in Human-Robot Dialogue
(Annals of Scientific Society for Assembly, Handling and Industrial Robotics)
Link to publication - Kim Wölfel; Dominik Henrich; (2020)
Wizard of Botz: A Novel Setup for Wizard of Oz Experiments
( Advances in Service and Industrial Robotics)
Link to publication - Kim Wölfel; Dominik Henrich; (2019)
Grounding of Uncertain Force Parameters in Spoken Robot Commands
(28th International Conference on Robotics in Alpe-Adria-Danube Region)
Link to publication - Kim Wölfel; Dominik Henrich; (2019)
Gesagt, (gefragt,) getan
(handling 06/2019)
www.handling.de - Kim Wölfel; Dominik Henrich; (2018)
Grounding Verbs for Tool-Dependent, Sensor-Based Robot Tasks
(IEEE 27th International Symposium on Robot and Human Interactive Communication (RO-MAN))
Link to publication - Michael Spangenberg; Dominik Henrich; (2016)
Symbolic Robot Commanding utilizing Physical Properties - System Overview
(39th German Conference on Artificial Intelligence (KI))
http://dx.doi.org/10.1007/978-3-319-46073-4_19 - Michael Spangenberg; Dominik Henrich; (2016)
Symbol Grounding for symbolic robot commands based on physical properties
(IEEE International Conference on Information and Automation (ICIA))
https://doi.org/10.1109/ICInfA.2016.7831798 - Michael Spangenberg; Dominik Henrich; (2016)
Towards a domain specific language for sensor-based actions
(Applied Mechanics and Materials Vol. 840 - Robotics and Automated Production Lines)
http://www.scientific.net/AMM.840.42 - Michael Spangenberg; Dominik Henrich; (2015)
Grounding of actions based on verbalized physical effects and manipulation primitives
(IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS))
http://dx.doi.org/10.1109/IROS.2015.7353470 - Michael Spangenberg; Dominik Henrich; (2014)
Towards an intuitive interface for instructing robots handling tasks based on verbalized physical effects
(IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN))
http://dx.doi.org/10.1109/ROMAN.2014.6926234
Videos
- Kim, Wölfel; Dominik, Henrich; Jörg, Müller;
ToolBot : Robotically Reproducing Handicraft
2020, September - Kim, Wölfel; Dominik, Henrich;
Wizard of Botz: A Novel Setup for Wizard of Oz Experiments
2020, September - Kim, Wölfel; Dominik, Henrich;
Grounding of Uncertain Force Parameters in Spoken Robot Commands
2020, September - Kim, Wölfel; Dominik, Henrich;
Simulation-Based Validation of Robot Commands for Force-Based Robot Motions
2020, July - Kim, Wölfel; Dominik, Henrich;
Grounding Verbs for Tool-Dependent, Sensor-Based Robot Tasks
2018, September