21. Mai 2023

Optische 3D-Erfassungsmethoden: Ein umfassender Leitfaden [Teil 2]

Mitwirkende
Francisco Pereira
Machine Learning Engineer
Keine Artikel gefunden.
Newsletter abonnieren
Diesen Beitrag teilen

Dieser Blogbeitrag ist der zweite Teil unserer fortlaufenden Blogserie √ľber 3D-Computersehen. Falls Sie den ersten Blogbeitrag noch nicht gelesen haben, k√∂nnen Sie ihn hier nachlesen. Dieser zweite Artikel (Teil 2) gibt einen √úberblick √ľber optische 3D-Erfassungsmethoden. Wir befassen uns mit den Unterschieden zwischen den verschiedenen Sensortypen und deren Nutzen f√ľr bestimmte Anwendungsf√§lle. Wir gehen auch auf verschiedene 3D-Datenformate und Speicheroptionen ein.

‚Äć

Einf√ľhrung

‚Äć

Im ersten Blogbeitrag dieser Serie haben wir gesehen, wie die F√§higkeit, die dreidimensionale Struktur der umgebenden Welt wahrzunehmen und zu interpretieren, in einer Vielzahl von Branchen immer wichtiger wird. Aber wie k√∂nnen Maschinen diese zus√§tzliche Informationsebene erhalten? Es gibt eine Vielzahl von optischen 3D-Erfassungsmethoden, mit denen sie Tiefen- und Rauminformationen √ľber ihre Umgebung erfassen (oder sch√§tzen) k√∂nnen.

Abbildung 1 zeigt verschiedene Erfassungstechniken, die in aktive und passive Methoden unterteilt sind. Aktive Methoden erfordern eine externe Lichtquelle, die ein Signal aussendet und das reflektierte oder zur√ľckgesendete Signal misst, w√§hrend passive Methoden dies nicht tun.

Abbildung 1: Taxonomie der optischen 3D-Erfassungsmethoden.

‚Äć

In Anlehnung an die Struktur der Pipeline, die im vorherigen Beitrag vorgestellt wurde (siehe auch Abbildung 2), werden wir uns in diesem zweiten Teil auf die Erfassung und Speicherung von 3D-Daten konzentrieren. Wir werden uns insbesondere auf vier bekannte Methoden konzentrieren, n√§mlich Stereo Vision, Structured Light, Time of Flight und LiDAR. F√ľr jede Methode werden wir das Funktionsprinzip, die Vor- und Nachteile sowie reale Anwendungsf√§lle, in denen sich die Technik auszeichnet, untersuchen. Abschlie√üend geben wir Ihnen eine Entscheidungshilfe an die Hand, die Sie bei der Auswahl der am besten geeigneten Methode auf der Grundlage verschiedener Faktoren unterst√ľtzt, sowie eine kurze Diskussion √ľber zuk√ľnftige Trends in der optischen 3D-Erfassung.

Abbildung 2: Die Pipeline f√ľr maschinelles Lernen. In dieser Blogbeitragsreihe gehen wir auf die einzelnen Schritte der 3D-Computer-Vision ein. In diesem zweiten Teil der Serie konzentrieren wir uns auf das Erfassen und Speichern von 3D-Daten.

‚Äć

Durch die Vermittlung eines umfassenden Verst√§ndnisses dieser optischen 3D-Erfassungsmethoden m√∂chten wir den Lesern das n√∂tige Wissen vermitteln, um fundierte Entscheidungen bei der Auswahl der richtigen Technik f√ľr eine bestimmte Anwendung oder Branche zu treffen.

TLDR: F√ľr alle, die wenig Zeit haben oder einfach zu faul sind, den ganzen Blogbeitrag zu lesen, stellen wir am Ende eine Entscheidungskarte zur Verf√ľgung, die zeigt, wann die einzelnen Sensortypen auf der Grundlage verschiedener Anwendungsanforderungen und externer Faktoren eingesetzt werden sollten. Sie fasst den Artikel auf kurze, kompakte und visuelle Weise zusammen.

‚Äć

Stereo Vision

Funktionsprinzip

Stereo Vision, auch bekannt als stereoskopisches Sehen, ist eine passive 3D-Erfassungsmethode, die die menschliche Tiefenwahrnehmung nachahmt. Dabei werden zwei oder mehr Kameras verwendet, die in einem bestimmten Abstand voneinander (der so genannten Grundlinie) positioniert sind, um Bilder derselben Szene aus leicht unterschiedlichen Blickwinkeln aufzunehmen. Diese Bilder, die so genannten Stereopaare, werden dann von einem Stereo-Matching-Algorithmus verarbeitet, um entsprechende Punkte (Merkmale) in beiden Bildern zu identifizieren. Die Disparit√§t zwischen diesen Punkten wird berechnet, d. h. die Differenz ihrer horizontalen Positionen im linken und rechten Bild.¬Ļ

Mit Hilfe der Geometrie der Kameraeinstellung und der Triangulation kann die Tiefe (oder die 3D-Koordinaten) jedes Punktes in der Szene bestimmt werden. Die Einzelheiten der Tiefensch√§tzung sind nicht Gegenstand dieses Blogbeitrags. Wer sich jedoch f√ľr eine mathematischere Behandlung des Themas interessiert, sollte sich das folgende Material ansehen.

Abbildung 3: Veranschaulichung des Funktionsprinzips von Stereo Vision. Der Grundlinienabstand zwischen den Kameras und den beiden unterschiedlichen Blickwinkeln f√ľhrt dazu, dass die Objekte an unterschiedlichen Positionen entlang der horizontalen Achse erscheinen. Aus dieser Verschiebung l√§sst sich die Tiefe der Objekte anhand von intrinsischen und extrinsischen Parametern absch√§tzen.

Stereobildsensoren erzeugen in erster Linie zwei Arten von Daten: Stereopaare (linke und rechte Bilder) und Tiefenkarten (Disparit√§tskarten). Durch die Kombination der Tiefeninformationen aus der Tiefenkarte mit den urspr√ľnglichen 2D-Bildern kann eine 3D-Darstellung der Szene rekonstruiert werden.

‚Äć

Vorteile

Wertvolle Eigenschaften von Stereo Vision Systemen sind:

  • Flexibilit√§t: Stereobildsysteme sind relativ einfach einzurichten und k√∂nnen bei einer Vielzahl von Lichtverh√§ltnissen gut funktionieren.
  • Echtzeit-F√§higkeiten: Sie k√∂nnen Tiefeninformationen in Echtzeit verarbeiten, was f√ľr Anwendungen n√ľtzlich ist, die ein sofortiges Feedback oder eine schnelle Entscheidungsfindung erfordern.
  • Kosteneffizienz: Im Vergleich zu aktiven Methoden wie LiDAR oder strukturiertem Licht sind Stereo-Vision-Systeme in der Regel kosteng√ľnstiger, was sie zu einer attraktiven Option f√ľr budgetbewusste Projekte macht.

‚Äć

Benachteiligungen

Auf der anderen Seite leiden diese in der Regel unter:

  • Abh√§ngigkeit von der Textur: Stereosehen beruht auf der Identifizierung korrespondierender Merkmale in mehreren Bildern. In Szenen mit wenig Textur oder sich wiederholenden Mustern kann dies eine Herausforderung sein, die zu ungenauen oder fehlenden Tiefeninformationen f√ľhrt. Dieses Problem ist als Stereokorrespondenzproblem bekannt.
  • Empfindlichkeit gegen√ľber Lichtver√§nderungen und schlechten Lichtverh√§ltnissen: Diese Methode beruht auf der Identifizierung entsprechender Merkmale in mehreren Bildern. Wenn die Bilder aufgrund schneller oder signifikanter Beleuchtungs√§nderungen oder allgemeiner schlechter Lichtverh√§ltnisse nicht klar sind, wird die Genauigkeit der Tiefensch√§tzung beeintr√§chtigt.
  • Begrenzte Reichweite: H√§ngt von der Basisentfernung (zwischen den Kameras), der Aufl√∂sung der Kameras und den Algorithmen zur Tiefensch√§tzung ab, aber die Reichweite ist in der Regel auf einige Meter begrenzt. Diese Sensoren k√∂nnen in der Regel Objekte bis zu einer Entfernung von 5 Metern genau scannen, aber die Genauigkeit der Messungen nimmt mit der Reichweite deutlich ab.

Während sich die zuvor beschriebenen Nachteile auf die passive Stereosicht beziehen, wird bei der aktiven Stereosicht eine Lichtquelle, z. B. ein Laser oder strukturiertes Licht, verwendet, um die zu erfassende Szene zu beleuchten. Dieser Ansatz verbessert den Stereoabgleich und ermöglicht es der Methode, auch bei schlechten Lichtverhältnissen gute Ergebnisse zu erzielen. Sie ist jedoch mit höheren Kosten verbunden, da eine zusätzliche Komponente benötigt wird - der Projektor.

‚Äć

Beispiele aus der Praxis

Stereoskopisches Sehen ist eine beliebte Erfassungsmethode, vor allem wegen ihrer Flexibilität und geringen Kosten. In der realen Welt gibt es zahlreiche Anwendungen des stereoskopischen Sehens, wie z. B:

  • Autonome Navigation: Stereobildverarbeitung erm√∂glicht es Robotern und autonomen Fahrzeugen, mit ihrer Umgebung zu interagieren und Hindernisse zu erkennen und zu vermeiden, dank ihrer Echtzeitf√§higkeiten und ihrer Eignung f√ľr Au√üenbereiche.¬≤
  • R√§umliche Analyse: Diese Sensoren k√∂nnen zur √úberwachung von R√§umen mit einem h√∂heren Grad an r√§umlichem Bewusstsein eingesetzt werden (im Vergleich zur herk√∂mmlichen 2D-Computer-Vision) und erm√∂glichen L√∂sungen, die r√§umliche Beziehungen zwischen Menschen, Orten und Objekten effektiv modellieren.¬≥

Zusammenfassend l√§sst sich sagen, dass Stereo Vision eine vielseitige und kosteng√ľnstige 3D-Erfassungsmethode ist, die sich f√ľr eine Reihe von Anwendungen eignet, insbesondere wenn Tiefeninformationen in Echtzeit erforderlich sind. Die Abh√§ngigkeit von der Textur und die Empfindlichkeit gegen√ľber Lichtver√§nderungen k√∂nnen jedoch in bestimmten Szenarien eine Herausforderung darstellen.

‚Äć

Strukturiertes Licht

Funktionsprinzip

Strukturiertes Licht ist eine aktive optische 3D-Erfassungsmethode, bei der ein bekanntes Muster (h√§ufig eine Reihe von Streifen oder ein Gitter) auf die Szene oder das zu scannende Objekt projiziert wird. Die Verformung des projizierten Musters auf der Oberfl√§che des Objekts wird von einer Kamera erfasst, die sich in einer bekannten Position und Ausrichtung relativ zum Projektor befindet. Die Beziehung zwischen dem Projektor, der Kamera und der Verformung des Musters erm√∂glicht die Gewinnung von Tiefeninformationen.‚Āī

Zu den von Systemen mit strukturiertem Licht erzeugten Daten gehören das aufgenommene 2D-Bild mit dem deformierten Muster und die daraus resultierende 3D-Punktwolke oder Tiefenkarte, die die 3D-Struktur des gescannten Objekts oder der Szene darstellen. Je nach den Eigenschaften des projizierten/kodierten Musters können verschiedene Algorithmen zur Dekodierung des verformten Musters und zur Berechnung der Tiefeninformationen verwendet werden.

Abbildung 4: Illustration des Funktionsprinzips von strukturiertem Licht. Ein bestimmtes Muster wird auf die Szene/das Objekt projiziert. Die Oberfläche der zu erfassenden Szene/des zu erfassenden Objekts verursacht Verformungen des Lichtmusters, die von der/den Kamera(s) erfasst und interpretiert werden, um eine detaillierte 3D-Darstellung der Szene/des Objekts zu erstellen.[Bildreferenz]

‚Äć

Vorteile

Strukturierte Beleuchtungsanlagen profitieren davon:

  • Hohe Genauigkeit und Aufl√∂sung: Strukturierte Lichtsysteme k√∂nnen hochpr√§zise und detaillierte 3D-Punktwolken oder Tiefenkarten erzeugen und eignen sich daher f√ľr Anwendungen, die pr√§zise Messungen erfordern.
  • Robustheit gegen√ľber unterschiedlichen Lichtverh√§ltnissen: Als aktive Methode kann strukturiertes Licht unter verschiedenen Beleuchtungsbedingungen gut funktionieren, da es sich auf seine eigene Lichtquelle st√ľtzt. Direktes Sonnenlicht oder helles indirektes Sonnenlicht kann jedoch die Lichtquelle st√∂ren, weshalb diese Sensoren in der Regel am besten in Innenr√§umen funktionieren.

‚Äć

Benachteiligungen

Zu den Problemen, die mit diesen Konfigurationen verbunden sind, gehören:

  • Begrenzte Reichweite: Strukturierte Lichtsysteme haben in der Regel eine begrenzte Reichweite und eignen sich eher f√ľr die Erfassung von Objekten im Nahbereich oder kleinen Objekten. Der optimale Arbeitsabstand liegt in der Regel zwischen 0,5 und 1,5 Metern, einige Sensoren k√∂nnen jedoch bis zu 3 Meter weit reichen.
  • Empfindlichkeit gegen√ľber Oberfl√§cheneigenschaften: Die Leistung von Systemen mit strukturiertem Licht kann durch die Oberfl√§cheneigenschaften des gescannten Objekts, wie z. B. Reflektivit√§t oder Transparenz, beeintr√§chtigt werden, die das projizierte Muster verzerren und Rauschen oder Artefakte in den rekonstruierten 3D-Daten verursachen k√∂nnen.
  • Verdeckungen und Schatten: Da der Projektor und die Kamera an unterschiedlichen Orten platziert sind, k√∂nnen strukturierte Lichtsysteme mit Verdeckungen und Schatten zu k√§mpfen haben, was zu unvollst√§ndigen oder ungenauen 3D-Darstellungen f√ľhrt.
  • Kalibrierung: Strukturierte Lichtsensoren erfordern in der Regel eine sorgf√§ltige Kalibrierung und Ausrichtung.

‚Äć

Beispiele aus der Praxis

In der realen Welt gibt es viele Situationen, in denen diese Akquisitionsmethode erfolgreich ist:

  • Qualit√§tskontrolle und Inspektion: Strukturiertes Licht wird in der Fertigung und in der Industrie h√§ufig f√ľr die Qualit√§tskontrolle und Inspektion von Komponenten verwendet, um genaue Messungen zu gew√§hrleisten und Defekte zu erkennen.
  • 3D-Scannen f√ľr digitale Kunst und Animation: Strukturierte Lichtsysteme werden auch bei der Erstellung von detaillierten 3D-Modellen f√ľr digitale Kunst, Animation und visuelle Effekte eingesetzt.
  • Zahnmedizinische und medizinische Anwendungen: In der Zahnmedizin werden strukturierte Lichtscanner zur Erstellung pr√§ziser 3D-Modelle von Z√§hnen und Kieferstrukturen verwendet, w√§hrend sie in der Medizin zum Scannen des K√∂rpers und zur Herstellung ma√ügeschneiderter Prothesen eingesetzt werden k√∂nnen.‚Ā∂

‚Äć

Flugzeit (Time of Flight, ToF)

‚Äć

Funktionsprinzip

ToF-Sensoren (Time of Flight) sind eine aktive optische 3D-Erfassungsmethode, die die Zeit misst, die das ausgesendete Licht, in der Regel Infrarotlicht (IR), ben√∂tigt, um vom Sensor zum Objekt und zur√ľck zu gelangen. Der ToF-Sensor sendet Lichtimpulse (direkte ToF-Sensoren) oder kontinuierliche Wellen (indirekte ToF-Sensoren) aus, die von der Oberfl√§che des Objekts reflektiert und dann vom Sensor erfasst werden. Die Abbildungslinse des Sensors sammelt das von der Szene reflektierte Licht und wandelt es in Tiefendaten auf jedem Pixel des Arrays um. Die Tiefe (bzw. die Entfernung zum Objekt) wird durch Kenntnis der Lichtgeschwindigkeit und Messung der Umlaufzeit des Lichts berechnet. Diese Tiefenkarte ist eine 2D-Darstellung der 3D-Struktur der Szene und kann mit zus√§tzlichen Daten, z. B. RGB-Bildern von einer separaten Kamera, kombiniert werden, um eine vollst√§ndigere 3D-Darstellung zu erhalten.‚Ā∑

Abbildung 5: Funktionsprinzip von direkten und indirekten Flugzeitsensoren. [Bildreferenz]

‚Äć

Vorteile

Gute Eigenschaften von ToF-Sensoren sind:

  • Leistung in Echtzeit: ToF-Sensoren k√∂nnen Tiefeninformationen in Echtzeit liefern und eignen sich daher f√ľr Anwendungen, die eine schnelle und dynamische 3D-Datenerfassung erfordern, wie z. B. Robotik oder Augmented Reality. Einige ToF-Sensoren k√∂nnen mit bis zu 60 fps arbeiten.
  • Gr√∂√üere Reichweite: ToF-Methoden haben im Vergleich zu strukturiertem Licht oder Stereosichtger√§ten in der Regel eine gr√∂√üere Reichweite, was sie f√ľr die Navigation und Objekterkennung n√ľtzlich macht. In der Regel k√∂nnen diese Sensoren Entfernungen von bis zu 20 Metern erfassen.
  • Robustheit gegen√ľber Umgebungsbedingungen: Als aktive Methode k√∂nnen ToF-Sensoren unter verschiedenen Beleuchtungsbedingungen gut arbeiten, da sie auf ihre eigene Lichtquelle angewiesen sind.
  • Einfachheit: ToF-Systeme sind im Vergleich zu anderen 3D-Erfassungsmethoden im Allgemeinen einfacher zu konzipieren und zu implementieren, da sie keine komplexen Anpassungsalgorithmen oder mehrere Kameras erfordern.

‚Äć

Benachteiligungen

Die Kehrseite dieser Sensoren ist Folgendes:

  • Begrenzte Genauigkeit und Aufl√∂sung: ToF-Sensoren haben in der Regel eine geringere Genauigkeit und Aufl√∂sung als andere 3D-Erfassungsmethoden, wie strukturiertes Licht oder Stereosehen, was f√ľr Anwendungen, die hochdetaillierte 3D-Modelle erfordern, ungeeignet sein kann.
  • Empfindlichkeit gegen√ľber Oberfl√§cheneigenschaften: Die Leistung von ToF-Sensoren kann durch die Oberfl√§cheneigenschaften des Objekts, wie Reflexionsverm√∂gen, Farbe oder Transparenz, beeintr√§chtigt werden, was zu ungenauen Tiefenmessungen f√ľhrt.

‚Äć

Beispiele aus der Praxis

Flugzeitsensoren sind häufig in folgenden Bereichen zu finden:

  • Robotik und Automatisierung: Wird in Systemen f√ľr Aufgaben wie Hinderniserkennung, Navigation und Kollisionsvermeidung verwendet.‚Āł
  • Gestenerkennung und Mensch-Computer-Interaktion: ToF-Sensoren werden in Ger√§ten wie Spielkonsolen und Smartphones zur Gestenerkennung und f√ľr interaktive Erlebnisse eingesetzt.
  • Erweiterte und virtuelle Realit√§t: ToF-Sensoren werden in Augmented- und Virtual-Reality-Systemen eingesetzt, um die Verfolgung von Objekten und Umgebungen in Echtzeit zu erm√∂glichen und so das Nutzererlebnis zu verbessern.‚ĀĻ

‚Äć

Abbildung 6: Atlas, der humanoide Roboter von Boston Dynamics - er nutzt Flugzeitsensoren, um die Welt um ihn herum zu verstehen.[Bildreferenz]

‚Äć

LiDAR

Funktionsprinzip

LiDAR (Light Detection and Ranging) arbeitet nach dem Prinzip der Laufzeitmessung (ToF), √§hnlich wie ToF-Sensoren. Das bedeutet, dass es die Entfernung durch Berechnung der Umlaufzeit des Lichts und der Lichtgeschwindigkeit bestimmt. LiDAR verwendet jedoch in der Regel mehrere Laserstrahlen (Hochleistungslichtquellen) und einen rotierenden oder oszillierenden Mechanismus, um einen gr√∂√üeren Bereich abzudecken oder eine vollst√§ndige 360-Grad-Sicht auf die Umgebung zu erhalten. Die Laserstrahlen werden in der Regel auf eine bestimmte Richtung und einen bestimmten Winkel ausgerichtet, und die Entfernung wird f√ľr diese Koordinaten gemessen. Daher handelt es sich bei den resultierenden Daten um eine Punktwolke (und nicht um eine Tiefenkarte) und um eine direkte Darstellung der Umgebung, die genaue r√§umliche Informationen liefert.

Abbildung 7: Funktionsprinzip von LiDAR-Sensoren (Draufsicht).

Die von LiDAR-Sensoren erzeugten Daten umfassen die rohen Zeit- und Intensit√§tsinformationen f√ľr jeden Laserimpuls und die resultierende 3D-Punktwolke, die die 3D-Struktur der gescannten Umgebung darstellt. Die Punktwolke enth√§lt die X-, Y- und Z-Koordinaten jedes Punktes im 3D-Raum, und in einigen F√§llen k√∂nnen auch zus√§tzliche Informationen wie Intensit√§t oder Farbe enthalten sein.

Vorteile

Zu den Vorteilen von LiDAR gehören:

  • Hohe Genauigkeit und Aufl√∂sung: LiDAR-Sensoren k√∂nnen hochgenaue und detaillierte 3D-Punktwolken erzeugen und eignen sich daher f√ľr Anwendungen, die pr√§zise Messungen erfordern.
  • Langstreckenf√§higkeiten: LiDAR-Sensoren k√∂nnen auch bei gr√∂√üeren Entfernungen effektiv arbeiten, manchmal bis zu einem Kilometer, je nach dem spezifischen Sensor und seiner Konfiguration.
  • Robustheit gegen√ľber Umweltbedingungen: Als aktive Methode kann LiDAR unter verschiedenen Beleuchtungsbedingungen gut funktionieren und wird im Vergleich zu anderen 3D-Erfassungsmethoden im Allgemeinen weniger durch Umweltfaktoren wie Nebel, Regen oder Staub beeintr√§chtigt.

Benachteiligungen

Weniger w√ľnschenswerte Eigenschaften dieser Sensoren sind:

  • Kosten und Komplexit√§t: LiDAR-Systeme k√∂nnen im Vergleich zu anderen 3D-Erfassungsmethoden teurer und komplexer sein, insbesondere wenn sie rotierende oder oszillierende Mechanismen zum Scannen verwenden.
  • Begrenztes vertikales Sichtfeld: Einige LiDAR-Sensoren k√∂nnen ein begrenztes vertikales Sichtfeld haben, was in bestimmten Szenarien zu unvollst√§ndigen oder ungenauen 3D-Rekonstruktionen f√ľhren kann.
Abbildung 8: LiDAR-Sensoren auf dem Dach eines autonom fahrenden Autos. [Bildreferenz]

Beispiele aus der Praxis

  • Autonome Fahrzeuge: LiDAR-Sensoren werden in autonomen Fahrzeugen h√§ufig f√ľr Aufgaben wie Kartierung, Hinderniserkennung und Navigation eingesetzt.¬Ļ¬Ļ
  • 3D-Kartierung und Vermessung: LiDAR-Sensoren werden in luftgest√ľtzten, terrestrischen und mobilen Kartierungssystemen f√ľr die Vermessung und Erstellung genauer 3D-Modelle gro√üer Gebiete, z. B. st√§dtischer Umgebungen, W√§lder oder Infrastruktur, eingesetzt.
  • Land- und Forstwirtschaft: LiDAR-Sensoren werden in der Pr√§zisionslandwirtschaft und in der Forstwirtschaft eingesetzt, um die Gesundheit der Pflanzen zu √ľberwachen, die Biomasse zu sch√§tzen und die Waldressourcen zu beurteilen.¬Ļ¬≤

Nachdem wir uns nun mit den verschiedenen Arten von 3D-Erfassungsmethoden besch√§ftigt haben. Es ist auch wichtig, dar√ľber nachzudenken, welche Art von Daten diese Sensoren erzeugen und wie man sie am besten speichert.

‚Äć

3D-Daten und Speicherung

Die von diesen Sensoren erfassten Daten liegen in der Regel in einer der folgenden Formen vor: Tiefenkarten oder Punktwolken.

  • Tiefenkarten: werden in der Regel von Stereobild-, Strukturlicht- und ToF-Sensoren erzeugt. Da sie Entfernungsinformationen in einem 2D-Gitter speichern, kann dies zu Einschr√§nkungen bei der Darstellung und Analyse von Daten f√ľhren.
  • Punktwolken: stellen 3D-Daten als eine Sammlung einzelner Punkte mit x-, y- und z-Koordinaten dar, was eine gr√∂√üere Flexibilit√§t bei der Visualisierung und Bearbeitung erm√∂glicht.

Von Tiefenkarten zu Punktwolken

Um eine Punktwolke aus einer 2D-Tiefenkarte zu erzeugen, werden die Tiefeninformationen (Z-Koordinaten) jedes Pixels in der Tiefenkarte mit den entsprechenden r√§umlichen Informationen (X- und Y-Koordinaten) des Pixels im Sichtfeld des Sensors kombiniert. Dieser Vorgang wird als "R√ľckprojektion" oder "Unprojektion" bezeichnet.

Bei der R√ľckprojektion werden die intrinsischen und extrinsischen Parameter des Sensors, wie z. B. Brennweite, Sensoraufl√∂sung und Sensorposition, verwendet, um die 2D-Tiefenkarteninformationen in 3D-Koordinaten umzuwandeln. Dieser Prozess wird normalerweise in Software implementiert und ist in verschiedenen Open-Source-Bibliotheken wie Point Cloud Library (PCL), Open3D und OpenCV verf√ľgbar.

Punktwolken-Speicherformate

Es gibt zwei Hauptkategorien von Formaten f√ľr die Speicherung von Punktwolkendaten: ASCII und LAS/LAZ.¬Ļ¬≥

Bei ASCII-Formaten werden einfache Textdateien verwendet, in denen die X-, Y- und Z-Koordinaten jedes Punktes durch ein Zeichen, z. B. ein Leerzeichen oder ein Komma, getrennt sind. Diese Dateien k√∂nnen auch einen Tabellenkopf mit Metadaten und zus√§tzlichen Informationen f√ľr jeden Punkt, wie Intensit√§t oder Amplitude, enthalten. √úbliche Dateierweiterungen f√ľr ASCII-Dateien sind TXT, XYZ, PTS und PTX. OBJ-Dateien k√∂nnen auch zum Speichern von Punktwolkendaten verwendet werden, obwohl diese Methode f√ľr gro√üe Datens√§tze ineffizient sein kann (OBJ ist f√ľr die Speicherung geometrischer Eigenschaften von Objekten gedacht und enth√§lt unn√∂tige Mengen an Informationen f√ľr Punktwolkendaten).

Im Gegensatz dazu sind die LAS/LAZ-Formate bin√§re Dateiformate, die speziell f√ľr die Speicherung und den Austausch von Lidar-Daten entwickelt wurden.

Da diese Daten unstrukturiert sind, ist es √ľblich, sie in einem Data Lake zu speichern, entweder in der Cloud oder vor Ort, je nachdem, wie Sie eingerichtet sind. Cloud-basierte Speicherdienste wie Google Cloud Storage, Amazon S3 und Azure Blob Storage k√∂nnen zur Speicherung und Verwaltung gro√üer Punktwolkendatens√§tze verwendet werden.

Fazit

In diesem Blogbeitrag haben wir uns mit verschiedenen optischen 3D-Erfassungsmethoden besch√§ftigt, darunter Stereo Vision, strukturiertes Licht, Time of Flight und LiDAR. Jede Technik hat ihre eigenen Funktionsprinzipien, Vor- und Nachteile und eignet sich daher f√ľr unterschiedliche Anwendungen und Szenarien. Die unten stehende Entscheidungs√ľbersicht (Abbildung 9) bietet eine einfache M√∂glichkeit, den am besten geeigneten Sensor f√ľr eine Reihe von allgemeinen gesch√§ftlichen oder praktischen Anforderungen auszuw√§hlen. Beachten Sie, dass es sich bei dieser Entscheidungs√ľbersicht um einen allgemeinen Leitfaden handelt und die beste Wahl f√ľr eine bestimmte Anwendung von verschiedenen anderen Faktoren abh√§ngen kann.

Abbildung 9: Einfache Entscheidungskarte, die Ihnen helfen kann, ein besseres Gef√ľhl f√ľr die geeignete optische 3D-Erfassungsmethode auf der Grundlage allgemeiner Anwendungsfallanforderungen/Entscheidungsfaktoren zu bekommen.

Neben den er√∂rterten Methoden ist auch das Aufkommen hybrider Systeme erw√§hnenswert, die mehrere 3D-Erfassungstechniken kombinieren, um Einschr√§nkungen zu √ľberwinden und die Gesamtleistung zu verbessern. Fortschritte bei der Hardware und Software werden die Echtzeitverarbeitung von 3D-Daten verbessern und eine schnellere und effizientere Analyse von Szenen erm√∂glichen. Die Integration von 3D-Sensortechnologie und Computer Vision mit anderen Technologien wie Augmented Reality, Virtual Reality und Robotik wird neue M√∂glichkeiten f√ľr Interaktion und Automatisierung schaffen. Und nat√ľrlich k√∂nnen wir mit der weiteren Verbesserung der Techniken des maschinellen Lernens genauere und robustere Algorithmen erwarten, die die 3D-Rekonstruktion komplexer Umgebungen sowie die Erkennung und Verfolgung von Objekten mit gr√∂√üerem r√§umlichen Bewusstsein erleichtern werden.

Wir hoffen, dass dieser Blog-Beitrag Ihnen wertvolle Einblicke in die Welt der optischen 3D-Erfassungsmethoden gegeben hat und Ihnen hilft, fundierte Entscheidungen bei der Auswahl der geeigneten Technik f√ľr Ihre Bed√ľrfnisse zu treffen.

‚Äć

Referenzen

[1] - Sanja Fidler. Einf√ľhrung in das Bildverstehen: Tiefe aus Stereo. Universit√§t von Toronto - CSC420, 2021.

[2] - Toyota Forschungsinstitut. Klares Sehen: Fortschrittliches robotisches Stereosehen.

[3] - Stereo Labs. Spatial Analytics Lösung.

[4] - D. Scharstein und R. Szeliski, "High-accuracy stereo depth maps using structured light," 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings, Madison, WI, USA, 2003, S. I-I, doi: 10.1109/CVPR.2003.1211354.

[5] - Zivid-Anwendungen. Industrielle Wartungsinspektion.

[6] - "Zahnärztliche 3D-Scanner-Technologie im Labor: Strukturiertes Licht oder Laserlicht-Scanning?". BIZ Dental.

[7] - Larry Li. "Time-of-Flight-Kamera - Eine Einf√ľhrung". Texas Instruments.

[8] - Pat Marion. "Umdrehen des Drehbuchs mit Atlas". Boston Dynamics.

[9] - Magic Leap 2ein immersives Headset mit 3D Time-of-Flight.

[10] - Liu, Shan. 3D-Punktwolkenanalyse: Traditionelle, Deep Learning- und erklärbare maschinelle Lernmethoden. Cham: Springer International Publishing AG, 2022.

[11] - "Intelligente Lidar-L√∂sungen f√ľr die Zukunft". Waymo, September 21, 2022.

[12] - "3 Wege, wie LiDAR die moderne Landwirtschaft verändern kann". ACI Corporation.

[13] - "Ein √úberblick √ľber die Optionen f√ľr die Speicherung und den Zugriff auf Punktwolkendaten in der Cloud". NASA ESDIS Standards Coordination Office, Februar 2022.

‚Äć

‚Äć

Verwandte Beiträge

Alle anzeigen
Keine Ergebnisse gefunden.
Es gibt keine Ergebnisse mit diesen Kriterien. Versuchen Sie, Ihre Suche zu ändern.
Großes Sprachmodell
Stiftung Modelle
Unternehmen
Unser Team
Strukturierte Daten
Chat GPT
Nachhaltigkeit
Stimme und Ton
Front-End-Entwicklung
Schutz und Sicherheit von Daten
Verantwortungsvolle/ethische KI
Infrastruktur
Hardware und Sensoren
MLOps
Generative KI
Verarbeitung nat√ľrlicher Sprache
Computer Vision