Publikationsdatenbank
Publication
Wissens- und sensorbasierte geometrische RekonstruktionStefan Kuhn
Abstract (deutsch)
Möchte man herausfinden, wo sich bestimmte Objekte innerhalb eines gegebenen Raumes aufhalten könnten, so bleibt einem zunächst nur die Antwort "Irgendwo im gegebenen Raum". Erst mit Hilfe zusätzlicher Informationen, wie beispielsweise Sensordaten oder Eigenschaften der bestimmten Objekte oder der Umwelt im gegebenen Raum, lassen sich die möglichen Aufenthaltsorte einschränken, indem man solche Bereiche des Raumes ausschließt, in denen sich keines der bestimmten Objekte aufhalten kann. Sind beispielsweise Menschen die bestimmten Objekte und deren mögliche Aufenthaltsorte innerhalb einer Roboter-Arbeitszelle von Interesse, dann muss man ohne weitere Informationen in der gesamten Roboter-Arbeitszelle Menschen vermuten. Unter der Voraussetzung, dass sich ein Mensch nicht in soliden Objekten der Umwelt aufhalten kann, reduzieren sich die möglichen Aufenthaltsorte innerhalb des gegebenen Raumes. Sensoren können verwendet werden, um freie Bereiche innerhalb der Roboter-Arbeitszelle zu erfassen, um damit die möglichen Aufenthaltsorte weiter einzugrenzen. Ein anderer Aspekt könnte das Minimalvolumen der bestimmten Objekte berücksichtigen, um so Regionen bei Unterschreitung dieses Minimalvolumens zu verwerfen, in denen zuvor Menschen vermutet werden mussten. Weitere Aspekte zur Eingrenzung möglicher Aufenthaltsorte stellen beispielsweise die Berücksichtigung von Farben, Distanzen, Geschwindigkeiten, Gewichten etc. dar. Ziel dieser Arbeit ist die automatisierte, computerbasierte Lösung des obigen Problems, nämlich die Bestimmung und geometrische Beschreibung möglicher Aufenthaltsorte bestimmter Objekte innerhalb eines gegebenen Raumes unter Nutzung von Wissen und Sensoren. Es wird dabei gefordert, dass die geometrische Beschreibung - im Folgenden als geometrische Rekonstruktion bezeichnet - konservativ sein muss, d.h. die bestimmten Objekte innerhalb des gegebenen Raumes dürfen nicht aus der Rekonstruktion herausragen. Das Problem wird zunächst allgemein im n-dimensionalen euklidischen Raum modelliert. Dieses Modell kann als Rahmenwerk angesehen werden, welches die konsistente Integration von Wissen und Sensoren erlaubt, um eine geometrische Rekonstruktion zu bestimmen. Unterschiedliches Wissen und unterschiedliche Sensoren werden exemplarisch integriert und diskutiert. Basierend auf dem allgemein eingeführten Modell wird eine Implementierung für einen dreidimensionalen Voxelraum abgeleitet. Besondere Aufmerksamkeit ist bei der Verwendung diskreter Datenstrukturen erforderlich, um die Konservativität der resultierenden geometrischen Rekonstruktion zu gewährleisten. Ein Prototyp wurde versuchsweise im industriellen Umfeld in einem Mensch/Roboter-Koexistenz-Szenario in Zusammenarbeit mit einem deutschen Automobilhersteller eingesetzt. Das Robotersystem nutzt die berechneten geometrischen Rekonstruktionen, um die Geschwindigkeit des Roboterarms bei Annäherung an einen Menschen zu reduzieren. Ein weiteres Experiment diente der quantitativen Untersuchung der resultierenden geometrischen Rekonstruktionen in einem vergleichbaren Aufbau. Die verbleibende Anzahl an Voxeln der geometrischen Rekonstruktionen beläuft sich im Durchschnitt über alle Zeitpunkte der im Experiment betrachteten Sequenz auf etwa 1,22% bezüglich aller Voxel innerhalb des gegebenen Raumes. Im direkten Vergleich dazu verbleiben bei einer einfachen Multi-Kamera-Rekonstruktion, welche "Occlusion Masks" zur Behandlung von sichtverdeckenden Hindernissen nutzt, durchschnittlich etwa 9,62% der Gesamtanzahl an Voxeln innerhalb des gegebenen Raumes. Die wissens- und sensorbasierte geometrische Rekonstruktion besteht also durchschnittlich aus etwa 12,7% der Voxel gegenüber dem einfachen Ansatz, welcher "Occlusion Masks" nutzt und beschreibt damit die bestimmten Objekte wesentlich exakter.
Abstract (english)
If we want to know where given objects could be located inside a given space, the answer must be "anywhere within the given space". But if we have additional information like sensory data or properties of these objects or the given space, we can delimit the possible locations by excluding parts of the space which cannot contain these objects. For example, consider humans to be the given objects inside a robot work cell which represents the given space. If we do not have any information, we must assume the humans to be located anywhere inside this robot work cell. Provided that a human cannot reside inside a solid object of the environment, possible locations of humans are reduced in the given space. Sensors could be used to detect free parts of the robot work cell which also delimit the possible locations of the given objects. Another piece of information might be the minimum volume of the given objects so that regions which formerly had to be assumed containing given objects can be rejected due to a too low volume. Information about colors, distances, speeds, weights et cetera can be utilized, too. This work aims the automatic, computer based solution of the described problem namely the determination and geometric description of possible locations of given objects within a given space, based on knowledge and sensory data. The geometric description -- referred to as geometric reconstruction -- is required to be conservative which means that the given objects must be completely covered by it within the given space. The problem is generally modelled for the n-dimensional Euclidean space. This model can also be seen as framework which allows the consistently integration of knowledge and sensors to determine a geometric reconstruction. Different knowledge and sensors are exemplary integrated and discussed. Based on the introduced general model an implementation using a three-dimensional voxel space is derived. Special attention must be paid when using discrete data structures in order to guarantee that the resulting geometric reconstruction actually is conservative. A prototype was experimentally applied to an industrial human/robot coexistence setting in collaboration with a german automotive manufacturer. The robot system uses the calculated geometric reconstructions in order to reduce the motion speed of the robot arm when approaching a human. Another experiment in a similar setting was used to quantitatively analyze the resulting geometric reconstructions. The average resulting number of voxels of all geometric reconstructions within the analyzed sequence of the experiment is about 1,22% in relation to the number of all voxels within the given space. In comparison, the average number of voxels resulting from a simple multi view reconstruction approach which uses "occlusion masks" to cope with occluders within the scene is about 9,62% in relation to the number of all voxels within the given space. Hence, the knowledge and sensor based geometric reconstruction contains about 12,7% of voxels in relation to the simple approach which uses "occlusion masks" and thus describes the given objects much more exactly.
Publication data
| Year: | 2012 |
| Publication date: | 19. December 2012 |
| Place: | Universität Bayreuth |
| Project: | SIMERO |
| Keywords (deutsch): | Kollisionserkennung , Mensch-Roboter-Koexistenz , Robotik , Sicherheit |
| Keywords (english): | collision detection , Human-Robot-Coexistence , Industrial robots , multi-view reconstruction , multisensor systems , occlusion , sensor fusion , vision |
| Referrer: | https://www.ai3.uni-bayreuth.de/de/publikationen/resypub/index.php?mode=pub_show&pub_ref=kuhn2012a |
| Free text: | https://epub.uni-bayreuth.de/id/eprint/190 |
BibTeX
@PHDTHESIS{kuhn2012a,
TITLE = "Wissens- und sensorbasierte geometrische Rekonstruktion",
AUTHOR = "Kuhn, Stefan",
YEAR = "2012",
HOWPUBLISHED = "\url{https://www.ai3.uni-bayreuth.de/de/publikationen/resypub/index.php?mode=pub_show&pub_ref=kuhn2012a}",
NOTE = "<a href="https://epub.uni-bayreuth.de/id/eprint/190">https://epub.uni-bayreuth.de/id/eprint/190</a>",
}