De resultaten van de systeemprecisie en lokale nauwkeurigheidstest suggereren dat de puntenwolken van de Elios 3, bij verwerking met GeoSLAM Connect, goed te vergelijken zijn met de ZEB Revo en ZEB Horizon, de toonaangevende mobiele mappingsystemen op de markt.
In dit artikel focussen we op de systeemprecisie en lokale nauwkeurigheid, zoals getest in een kantoorruimte. Je ontdekt hier de resultaten van testen die we deden voor globale nauwkeurigheid en georeferentie in een groot magazijn.
Testresultaten in een notendop
- Wat werd getest?
Systeemprecisie en lokale nauwkeurigheid van 3D-modellen gemaakt met LiDAR-gegevens, verzameld door Flyability’s Elios 3 en verwerkt met GeoSLAM Connect. - Wie deed de test?
GeoSLAM 3D mapping-experten en het productteam van Flyability. - Welke testen werden uitgevoerd?
Een vlak-tot-vlak-analyse voor lokale nauwkeurigheid en een Range Noise Analysis voor precisie. - Referentiemodel
Het voor de tests gebruikte referentiemodel werd gemaakt met een TLS (Terrestrial Laser Scans) Riegl VZ-400. Het registratieproces werd uitgevoerd met RiScan Pro V2.14.1. - Testresultaten lokale nauwkeurigheid
Alle vergelijkingen vielen binnen +/- 16 mm, en de gemiddelde absolute normale afstand tussen de Elios 3 en het referentiemodel bedroeg 8 mm. - Testresultaten nauwkeurigheidsanalyse
De standaardafwijking van alle vlakken viel binnen 15 mm en de gemiddelde standaardafwijking tussen de Elios 3 en het referentiemodel was 8 mm tot 1-sigma.
De afgelopen jaren zijn LiDAR-gegevens snel uitgegroeid tot een van de meest betrouwbare grondslagen voor het maken van nauwkeurige en precieze 3D-modellen.
Sectoren als mijnbouw, bouw en infrastructuur gebruiken deze modellen om routine-inspecties uit te voeren, veiligheidsbeslissingen te nemen, de veranderingen van activa in de tijd te volgen en de projectplanning te ondersteunen.
De resultaten die professionals in deze sectoren halen uit 3D-modellen gemaakt met LiDAR-gegevens omvatten:
- Gedetailleerde digitale tweelingen
- Nauwkeurige 2D- en 3D-metingen
- De mogelijkheid om de locatie van defecten in actie te bepalen
- De mogelijkheid om gegevens te exporteren naar gangbare 3D-puntenwolkbestandsextensies zoals *.e57, *.las, *.laz en *.ply
- De mogelijkheid om meerdere 3D-modellen met georeferentie samen te voegen om veranderingen in activa in de loop der tijd te volgen.
Ongeachte de sector of de output is de kwaliteit van het model essentieel voor het nut ervan. Als de gegevens niet nauwkeurig en accuraat zijn, dan is het mogelijk dat ze de realiteit niet goed genoeg weergeven om waardevolle inzichten te bieden.
Dit artikel behandelt de bevindingen van tests uitgevoerd door deskundigen van GeoSLAM die de bevindingen van 3D-modellen die zijn gemaakt met behulp van de Elios 3 met GeoSLAM Connect te identificeren:
- Precisie van het systeem
- Lokale nauwkeurigheid
Waarom we de precisie en nauwkeurigheid van de Elios 3 getest hebben?
De Elios 3 van Flyability wordt geleverd met Ouster’s OSO-32 LiDAR-sensor en de mogelijkheid om SLAM (simultaneous localization and mapping) uit te voeren. Hierdoor kan het tijdens de vlucht 3D-modellen in real-time creëren.
Na de vlucht kunnen Elios 3-gebruikers de verzamelde LiDAR-gegevens verwerken met GeoSLAM Connect. En dus precieze en nauwkeurige 3D-modellen maken. Deze nieuwe mogelijkheden voegen nauwkeurige 3D-mapping toe aan Flyability’s beproefde ‘collision tolerance-technologie’ voor werk in kleine ruimtes. Zo kunnen ook ontoegankelijke omgevingen effectief in kaart gebracht worden én krijgen gebruikers meer informatie over de omstandigheden in industriële activa.
LiDAR-scanners kunnen echter gevoelig zijn. Veranderingen in de manier waarop ze bijvoorbeeld gedragen worden, kunnen de kwaliteit van de gegevens die ze verzamelen veranderen. Het is dan ook logisch dat potentiële gebruikers van de Elios 3 vragen hebben over wat er gebeurt als die uitgerust wordt met een LiDAR payload.
- Zullen de trillingen van de drone of omgevingsfactoren zoals stof of vocht de precisie van de resulterende 3D-modellen beïnvloeden?
- Hoe zien de resulterende 3D-modellen eruit en hoe bruikbaar zijn ze?
Om deze vragen te beantwoorden, voerden we een grondige analyse uit van de precisie en lokale nauwkeurigheid van 3D-modellen die met de Elios 3 vastgelegd zijn en met GeoSLAM Connect verwerkt werden. Alle tests zijn uitgevoerd op een manier die zowel representatief als herhaalbaar is.
Onze begrippen definiëren: lokale nauwkeurigheid en precisie bij 3D-mapping
Bij het bespreken van 3D-modellen gemaakt met LiDAR-gegevens hebben de termen precisie en nauwkeurigheid specifieke definities.
Nauwkeurigheid wordt meestal gedefinieerd als de mate van overeenstemming van een gemeten grootheid met haar werkelijke (referentie)waarde. Als je bijvoorbeeld de afstand van 100 mm (3,9 inch) meet in jouw puntenwolk, maar de werkelijke of bekende afstand is 500 mm (19,7 inch) … dan is jouw meting niet nauwkeurig.
Precisie – of ruis of herhaalbaarheid – wordt dan weer gedefinieerd als de mate waarin verdere metingen hetzelfde resultaat opleveren. Als je bijvoorbeeld de afstand tussen twee punten op een 3D-model vijf keer meet en telkens 100 mm krijgt … dan zijn jouw metingen op het model precies.
De precisievereisten voor een 3D-model worden doorgaans bepaald door de bedrijfstak in kwestie. Voor voorraadmetingen in de mijnbouw kan een precisie van enkele centimeters voldoende zijn omdat de statistische fout zichzelf uitvlakt. Andere toepassingen zoals de bouw kunnen een nog grotere precisie vereisen. We moeten er wel op wijzen dat de precisie een ondergrens stelt aan de nauwkeurigheid van sommige metingen. In het bijzonder wanneer metingen verricht worden door kenmerken op de puntenwolk te kiezen. Hoe lager de precisie, hoe hoger de ruis in de puntenwolk en hoe moeilijker het is om het punt te kiezen dat precies met het juiste kenmerk overeenkomt.
Nauwkeurigheid daarentegen is belangrijk in een 3D-model omdat het ervoor zorgt dat het model de werkelijkheid weergeeft. Dit omvat overwegingen zoals de juiste vorm van de hoeken en het vermijden dat muren op elkaar staan. Als we het over lokale nauwkeurigheid hebben, hebben we het over de afstand tussen twee punten in een puntenwolk, wanneer het object vanuit één positie bekeken kan worden. Een mooi voorbeeld hiervan zijn de afmetingen van één kamer. Zoals hierboven opgemerkt, bevat dit artikel alleen testgegevens voor lokale nauwkeurigheid met de Elios 3 en GeoSLAM Connect.
Beoordeling van de precisie en lokale nauwkeurigheid van het systeem met de Elios 3
Om de precisie en lokale nauwkeurigheid van de Elios 3 met GeoSLAM Connect te evalueren, hebben GeoSLAM 3D-mapping-experts volgende zaken uitgevoerd:
- Een vlak-tot-vlak-analyse
- Een Range Noise Analysis
Vaststellen van een benchmark
Om de nauwkeurigheid van een systeem te beoordelen, moet je een tweede meetsysteem gebruiken om de benchmarkwaarde (controle) te leveren. Dit tweede systeem moet een grotere nauwkeurigheid hebben dan het systeem dat getest wordt.
In het geval van een Mobile Mapping-oplossing zoals de Elios 3 worden standaard een Total Station (TPS) of een Terrestrial Laser Scanner (TLS) als controle gebruikt. Ze hebben de nauwkeurigheid die die van een Mobile Mapping-oplossing overtreft. Dat komt omdat zij gegevens vastleggen van een enkele, stationaire positie waarbij meerdere posities samen geregistreerd worden met behulp van puntkoppelingsalgoritmen.
Ter vergelijking: een Mobile Mapping-oplossing zoals de Elios 3 beweegt voortdurend terwijl hij gegevens verzamelt, en registreert deze op meerdere posities terwijl de drone door de omgeving beweegt die hij in kaart brengt.
De gegevens verzamelen
GeoSLAM-experts legden gegevens vast van een vlakke binnenomgeving met behulp van zowel de Elios 3 als een TLS-standaard. Ze gebruikten hiervoor een Riegl VZ-400 TLS als benchmark. De nauwkeurigheid van deze benchmark wordt bepaald vanaf één positie met een vastgesteld betrouwbaarheidsniveau. De fabrikant van de Riegl VZ-400 stelt een nauwkeurigheid van 5 mm bij 1-sigma. Dit betekent dat 68% van alle metingen binnen een bereik van 5 mm moet liggen. Uit de puntenwolk van Riegl is vervolgens het referentiemodel gecreëerd dat als bekende grondcontrole dient.
Uitlijnen van de Elios 3-puntenwolk op het referentiemodel
Om de Elios 3-puntenwolk effectief te vergelijken met het TLS-referentiemodel, werd het eerste uitgelijnd met het tweede.
De uitlijning veranderde de positie en oriëntatie van de puntenwolkgegevens en bracht ze in het coördinatensysteem van het TLS-referentiemodel. GeoSLAM gebruikte hiervoor de PolyWorksInspector MRS2019 IR3-software. Dit is een oplossing voor 3D-analyse en kwaliteitscontrole die gebruikt wordt om de nauwkeurigheid van producten te beoordelen.
Onderstaande stappen werden gevolgd om de uitlijning uit te voeren:
- Handmatige uitlijning: in PolyWorks wordt een handmatige uitlijning gebruikt voor een eerste ruwe uitlijning van de vergelijkingspuntenwolk (die van Elios 3) met het referentiemodel.
- Berekende transformatiematrix. Eenmaal voltooid werd de Best-Fit automatische uitlijningsfunctie gebruikt om een berekende transformatiematrix te maken tussen de puntenwolk en het referentiemodel.
- Toepassing van de transformatie op de puntenwolk. Nadat de rigide transformatiematrix berekend was, werd die toegepast op de puntenwolk om de Elios 3-gegevens uit te lijnen met het referentiemodel.
*Best-Fit: een op oppervlakte gebaseerd uitlijningsinstrument dat iteratief de positie en oriëntatie van de vergelijkingspuntenwolkgegevens transformeert om de afwijking van de puntenwolk ten opzichte van het referentiemodel te minimaliseren.
Beoordeling van de lokale nauwkeurigheid – vergelijking van vlak tot vlak
De vlak-tot-vlak-vergelijking werd uitgevoerd door vlakken te passen op zowel de Elios 3-gegevens als op het opgemeten referentiemodel. Vervolgens werd de normale afstand tussen de vlakken geëvalueerd.
Die normale afstand werd berekend door het verschil te vinden tussen het geëxtraheerde vlak in de Elios 3-puntenwolk en het overeenkomstig vlak in het referentiemodel. Dit gebeurt aan de hand van een geautomatiseerde workflow in PolyWorks MRS2019 IR3. Deze beoordeling gaf aan dat de lokale nauwkeurigheid van de puntenwolk en eventuele variaties in de puntenwolk geïdentificeerd werden.
Beoordeling van de precisie van het systeem – Range Noise Analysis
Om de precisie van de Elios 3 te beoordelen, is een Range Noise Analysis uitgevoerd.
Range Noise is het verschil tussen elke bereikmeting (punt) en de gemiddelde bereikwaarde binnen het geselecteerde gebied. De gebieden die gekozen zijn om de Range Noise te beoordelen, zijn de vlakke oppervlakken die geëxtraheerd zijn voor de vlak-tot-vlak- vergelijking.
De Range Noise wordt gepresenteerd als standaardafwijking van het gemiddelde punt van het vlak. De standaardafwijking is dus een maat voor de precisie van het systeem en is gelijk aan 1-sigma. De standaardafwijking is berekend met PolyWorks MRS2019 IR3.
Testomgeving
Om de nauwkeurigheid en precisie van de Elios 3 met GeoSLAM Connect te evalueren, zijn de gegevens opgenomen in een standaard kantooromgeving met 6 vlakke oppervlakken, ongeveer 1 meter in het vierkant, die op regelmatige afstanden rond de scan zijn geplaatst.
GeoSLAM-deskundigen plaatsten laserscanreferentiebollen met een diameter van 145 mm (5,7 inch) rond de omgeving om de Terrestrial Laser Scans te registeren en zo het referentiemodel te creëren met behulp van de LAZ-uitvoer van RiSCAN Pro.
Na het creëren van het referentiemodel vloog een dronepiloot met de Elios 3 volgens de aanbevolen richtlijnen voor mappingvluchten, waarbij de vlucht op dezelfde locatie begon en eindigde.
De piloot vloog één volledige lus van het kantoor en een extra kleine lus waar de twee gangen samenkomen. Na de vlucht werden de door de LiDAR-sensor van de Elios 3 (Ouster OSO-32) met GeoSLAM Connect v2.1.0 verzamelde gegevens verwerkt, gefilterd om uitschieters te verwijderen en geëxporteerd in het LAZ-bestandsformaat.
Testresultaten voor systeemprecisie en lokale nauwkeurigheid
Dit zijn de testresultaten voor lokale nauwkeurigheid en systeemprecisie.
Beoordeling lokale nauwkeurigheid
Experts hebben de lokale nauwkeurigheid van de LiDAR-gegevens van de Elios 3 beoordeeld met behulp van een vlak-tot-vlak-analyse.
De normale afstanden tussen de vlakken in het referentiemodel en de vlakken van de Elios 3 met GeoSLAM Connect-gegevens zijn weergegeven in tabel 1.
Uit de resultaten blijkt dat alle vergelijkingen binnen +/- 16 mm vallen, en de gemiddelde absolute normale afstand tussen de Elios 3 en het referentiemodel bedroeg 8 mm.
Beoordeling van de precisie van het systeem
De resultaten van de Range Noise Analysis berekend met behulp van de standaardafwijking van de vergelijkingsvlakken in de Elios 3-gegevens staan hieronder.
De resultaten van de Elios 3 precisieanalyse laten zien dat de standaardafwijking van alle vlakken binnen 15 mm valt en de gemiddelde standaardafwijking tussen de Elios 3 en het referentiemodel was 8 mm tot 1-sigma.
Besluit
De resultaten van deze test door GeoSLAM suggereren dat de puntenwolken van de Elios 3 verwerkt met GeoSLAM Connect zich goed kunnen meten met een traditionele TLS en met de ZEB Revo en ZEB Horizon, die toonaangevende mobiele mappingsystemen op de markt zijn.
