This project is partially funded by the
German Research Foundation (Deutsche Forschungsgemeinschaft, DFG).

Online CAD reconstruction with hand-held depth cameras (HandCAD-2)

Abstract (deutsch)

FlexFiber Vision Dreidimensionale, geometrische Computermodelle (CAD-Modelle) werden in vielen technischen Anwendungsgebieten verwendet, wie beispielsweise in Konstruktion, Produktion, Simulation und in Computerspielen. Diese Modelle dienen sehr unterschiedlichen Zwecken, haben jedoch gemeinsam, dass sie eine Nachahmung von starren Körpern der realen Welt darstellen. Ein CAD-Modell wird entweder manuell, in mehreren aufwändigen Schritten von einem Konstrukteur oder einem Designer in einem kreativen Prozess am Computer erstellt. Alternativ dazu kann ein existierendes Objekt oder eine existierende Umwelt sensorisch erfasst und dann automatisch ein geometrisches Modell aus den Messungen generiert werden (CAD-Rekonstruktion). Für die CAD-Rekonstruktion stehen inzwischen kostengünstige Tiefenkameras zur Verfügung. Neben den damit erfassten geometrischen Daten, sind zusätzlich abstrakte Informationen der erfassten Objekte wünschenswert, wie beispielsweise deren Eigenschaften, Symmetrien oder Funktionen. Außerdem sollte die CAD-Rekonstruktion auch ohne Fachwissen schnell und einfach durchführbar sein. In diesem Forschungsprojekt werden Verfahren für die automatische Erstellung von CAD-Modellen aus Sensordaten von handgehaltenen Tiefenkameras entwickelt und untersucht. Hierbei wird die online berechenbare Rekonstruktion von einzelnen Objekten und von vollständigen Innenraum- bzw. Außenraum-Szenen in Form abstrakten Modellen mit unterschiedlichen Auflösungsstufen betrachtet. Die Rekonstruktion soll auch mit leistungsschwacher Rechen-Hardware erzeugbar sein, sodass die Ergebnisse schon während der Erfassung darstellbar sind. Besondere Herausforderungen sind mögliche Löcher in der Rekonstruktion und dynamische Objekte, wie beispielsweise Menschen, die sich durch das Bild bewegen. Langfristig wäre es wünschenswert, zusätzliche semantische Schlussfolgerungen über die rekonstruierten Objekte ziehen zu können, wie beispielsweise: Um welches Objekt handelt es sich? Ist das Objekt fixiert oder beweglich? Welche Bewegungsmöglichkeiten besitzt das Objekt (z.B. eine Tür)?
Keywords: Geometrische Modellierung, Computer-aided Design, Automatisierung, Mensch-Computer-Interaktion, 3D-Scanner

Abstract (english)

Three-dimensional geometric computer models (CAD models) are used in many technical applications, such as in construction, manufacturing, simulation and in computer games. These models serve very different purposes, but have in common that they represent an imitation of rigid bodies in the real world. A CAD model is created either manually in several complex steps of a designer in a creative process on the computer. Alternatively, an existing object or an existing environment is detected by sensors and then a geometric model is automatically generated from the measurements (CAD reconstruction). Today, low-cost depth cameras are available for CAD reconstruction. In addition to the geometric data thus collected, additional abstract information of the detected objects, such as their properties, symmetries or features are desirable. Furthermore, the CAD reconstruction should be quick and easy to perform even without expert knowledge. In this research project methods for the automatic generation of CAD models from sensor data from hand-held cameras depth are developed and investigated. Here, the online computable reconstruction of individual objects and of complete interior or exterior scenes in the form of abstract models is considered with different resolution levels. The reconstruction should be generated with low performance computing hardware, so that the results can be displayed already during the acquisition. Specific challenges are possible holes in the reconstruction and dynamic objects, such as people moving through the shot. In the long run, it would be desirable to draw additional conclusions on the reconstructed objects, such as: Which object it is? Is the object fixed or movable? What are the possible movements of the object (e.g. a door)?
Keywords: geometric modelling, computer-aided design, automation, human-computer interaction, 3D scanner