Ende 2020 nahmen wir uns der Herausforderung an, und erweiterten eine bestehende Montage APP mit der Funktionalität eines optischen Messsystems. Ziel war es, beliebige Sollmaße mit Augmented Reality zu erfassen und diese zu protokollieren. Ziel dieses Blogeintrages ist es, Sie bei einem ähnlichen Vorhaben zu unterstützen und Ihnen die technologischen Möglichkeiten gefiltert näher zu bringen.

Vorab gab es zu bestimmen, welche Technologie im breiten Spektrum der optischen AR Erkennung am besten geeignet wäre. Nachfolgend stellen wir Ihnen die unterschiedlichen Ansätze vor und erläutern die Vor- und Nachteile der einzelnen Möglichkeiten.

Image Target basierendes Messverfahren (Marker)
Model Target basierendes Messverfahren (3d Model)
Spatial Mapping basierendes Messverfahren (HoloLens)

1.Image Target basierendes Messverfahren (Marker)

Das Marker basierende Messsystem hat den großen Vorteil, dass dieses sehr flexibel und objektunabhängig einsetzbar ist. Die Marker lassen sich leicht auf Oberflächen anbringen und sind bei Verschmutzung leicht austauschbar. Größter Vorteil dieser Tracking-Methode liegt aber in der guten Erkennungsrate und dem damit verbundenen genauem Messergebnis.

Diese Messergebnisse sind jedoch stark von der angebrachten Markergröße und den vorherrschenden Lichtverhältnissen abhängig. Des Weiteren tritt bei Messungen mit Image Targets gelegentlich ein „Out of Range“ Anfälligkeit auf. Dieses Problem entsteht dann, wenn beide Marker physikalisch zu weit voneinander entfernt angebracht sind.

Aufgrund dieses Abstands ist es der Kamera dann nicht mehr möglich, beide Marker gleichzeitig zu tracken und deren Position zueinander zu bestimmen. Um dieses Problem zu kompensieren, trackt die Engine jedoch die Position der Kamera relativ zu den Bildmarkern. Dadurch ist es möglich, die Messung vorzusetzen, sobald der Tracker wieder in das Sichtfeld der Kamera gelangt. Durch diese Methode ist es möglich, Messungen mit Bildmarkern zu tätigen, die nicht simultan im Sichtfeld der Kamera sind.

Image Tracking von 2 Bildmarker

Deswegen ist es bei der Erstellung der Bildmarker wichtig, dass diese an den jeweiligen Verwendungszweck angepasst sind und gewisse Kriterien erfüllen.

Die Komplexität des Musters spielt hierbei eine entscheidende Rolle. Je komplexer und asymmetrischer das Muster bei der Erstellung gewählt wurde, desto besser funktionierte das optische Tracking im Nahbereich. Erhöht man jedoch die Distanz zum Bildmarker reicht die Auflösung der Kamera meistens nicht mehr aus, um diese sinnerfassend zu tracken.

Konträr dazu ist die Verwendung von großen, stark abgegrenzten Symbolen. Diese weisen im Fernbereich eine gute Verfolgbarkeit auf. Im Nahbereich ist die Erkennung mangels vorhandener Details jedoch nur schwer erkennbar. Aus diesem Grund wurde der komplexe Marker mit einem simplen Symbol (Buchstabe) vermischt.

Somit ist es möglich, den Marker im Nah und Fernbereich sicher zu tracken und die Vorteile aus beiden Bereichen zu seinen Gunsten zu nutzen.

In der nachfolgenden Grafik sehen Sie einen Auszug der getesteten Marker und deren Bewertung.

Optimale Bildmarker sind mit 5 Sternen gekennzeichnet und wiesen im Schnitt eine Kantenlänge von 5cm auf.

Fazit:

Die Messung mittels Image Targets sind zu präferieren, wenn Flächen des zu messenden Objektes beklebbar und dessen Oberfläche keinen starken Verschmutzungen ausgesetzt sind.

Des Weiteren setzt diese Messmethode eine minimale Marker-Größe von 3 cm voraus.

2. Model Target basierendes Messverfahren (3d Model)

Beim Model Target basierendem Messverfahren werden vorab definierte 3d Objekte erkannt und getrackt. Diese 3D-Modelle sind “Digital Twins” bestehender realer Objekte. Wird ein 3D Model in der Software hinterlegt, und dieses dann erkannt, startet das Tracking automatisch. Großer Vorteil dieser Trackingmethode ist der, dass keine Marker extern am zu messenden Objekt angebracht werden müssen. Wie Eingangs erwähnt, ist es bei dieser Methode essentiell, dass ein 3D Model des zu trackenden Objektes vorhanden ist.

Die Tracking Qualität ist stark vom Zustand und der Form des Real Objektes abhängig. Verschmutzungen, schlechte Lichtverhältnisse, nicht formstabil und symmetrische Objekte können beim Objekt Tracking Probleme aufweisen.

Ein Beispiel für ein gut trackbares Objekt wäre zum Beispiel nachstehendes:

Das oben angeführte Beispiel weist gute Kanten auf und ist durch den hohen Kontrast der Texturen für die Software gut lesbar. Des Weiteren hat es eine eindeutige Silhouette.

Fazit

Model Targets arbeiten mit den vorhandenen Formen und Farben, und sind daher vom Grundprinzip die optimale Lösung. Leider kommen in der Realität jedoch oft Formen vor, die Kriterien eines stabilen Trackings nicht erfüllen. Im konkreten Fall, umgelegt auf den Stromabnehmer, erwiesen sich die starken Abnützungserscheinungen des Schleifstückes als “Show Stopper” für diese Art des Trackings.

3. HoloLens2 Spatial Mapping

Beim Spatial Mapping scannt die HoloLens 2 automatisch ihre Umgebung ab und erstellt ein grobes Abbild dieser. Dadurch wird ein sehr stabiles Tracking ohne jegliche Marker oder Digital Twins ermöglicht. Jedoch ist die Tracking-Qualität aufgrund der Auflösung der 3D Umgebung stark von der Objekt Größe abhängig. Kleine Objekte lassen sich somit schwer im Raum erfassen, und sind infolgedessen auch nicht für eine genaue Messung geeignet. Des Weiteren kommt es durch die Eingabe mit den Händen zu Schwankungen in der Messpräzision.

Fazit

Die HoloLens 2 scannt die Umgebung rasch mit ihrem verbauten Tiefensensor ab und erstellt ein grobes 3D Modell von dieser.
Großer Vorteil dieser Methode ist, dass beliebige Objekte mit unterschiedlichen Distanzen zur Kamera ohne Marker bzw. hinterlegtem 3D Model gemessen werden können.

Die Genauigkeit der Messung ist abhängig von der Auflösung/Feinheit des zugrundeliegenden, generierten Netzes aus dem „Spatial Mapping“.

Gesamtes Fazit der Messungen

Basierend auf den oben angeführten Test-Szenarien, konnten die einzelnen Messgenauigkeiten sehr gut im Vergleich zueinander erhoben werden.

Die folgende Bewertung ergibt sich aus den Einzelbewertungen der Tests:

Bei den einzelnen Tests wurden Genauigkeiten bis unter 1mm erreicht.

Die Messung mittels Marker Tracking ist aus heutiger Sicht die effizienteste Messoption. Daher viel unsere Wahl bei der Umsetzung dieses Projektes auf eine Marker basierende Tracking Methode.

Wie die Applikation im Detail aussieht, erfahren Sie in dem nächsten Blog-Eintrag.

Messen in einer industriellen Umgebung mit der Hilfe von Augmented Reality Teil 1