Visual Inertial System- of VIS-technologie

Enkele jaren geleden, tijdens ons technologisch screeningsproces bij het Hexagon Technology Center, identificeerden we de ontwikkelingsbehoefte voor Visual Simultaneous Localization and Mapping-technologie (of SLAM) voor de Hexagon-groep. Het was meteen duidelijk dat deze technologie kon worden toegepast om de driedimensionale positie in de ruimte van apparaten te bepalen en zeer goed van pas zou komen voor toekomstige innovaties. We begonnen aan een eerste versie van een standaard Visual SLAM-algoritme en onderzochten de mogelijkheden van deze technologie voor verschillende voor onze branche relevante toepassingen.

Wat is Visual SLAM?

Visual SLAM is in principe niets meer dan een repetitieve toepassing van insnijding en voorwaartse insnijding met een optionele bundelaanpassing helemaal aan het einde. Deze standaardalgoritmes zijn in de fotogrammetrie al ruim honderd jaar bekend. Maar de ontwikkelen op het gebied van functie-tracking en functiekoppeling als reactie op computerbeeldtechnologie en robotica – waardoor het handmatig selecteren van verbindingspunten overbodig werd – heeft de implementatie van geautomatiseerde workflows mogelijk gemaakt.

Het navigeren door driedimensionale ruimte aan de hand van Visual SLAM is zeer intuïtief. Het werkt praktisch hetzelfde als hoe mensen door de wereld navigeren. Als we bijvoorbeeld in de richting van een gebouw lopen, wordt het object groter in ons blikveld. Als we achteruit lopen, wordt het kleiner.

In Visual SLAM detecteert de functie-tracking puntkenmerken – of zogenaamde landmarks – in de beeld-stream en volgt hun positie van het ene beeldframe naar het volgende. Als de camera nu in de richting van een gebouw beweegt, bewegen de gedetecteerde kenmerken, zoals hoeken van het gebouw, of de deur of de ramen, naar buiten ten opzichte van het middelpunt, aangezien het gebouw groter wordt in het blikveld. Als de camera van links naar rechts roteert, bewegen de kenmerken op het beeld van rechts naar links. Zo kan Visual SLAM aan de hand van de beweging van de kenmerkpunten tussen de frames van de beeld-stream de bewegingsrichting van de camera in driedimensionale ruimte afleiden.

Het SLAM-algoritme berekent in een ononderbroken proces de 3D-coördinaten (mapping) van de gevolgde kenmerken van twee of meer posities en gebruikt deze coördinaten om de volgende positie te bepalen (lokalisatie). De gegenereerde kaart met landmarks ontwikkelt zich terwijl de operator over dit pad naar de volgende scanneropstelling loopt en fungeert als referentie voor het gehele plaatsbepalingsalgoritme. Daarom is deze kaart die tijdens het proces wordt opgebouwd en onderhouden essentieel om de driftfout klein te houden.

Er zijn ook alternatieve benaderingen alleen aan de hand van traagheidsmetingen. Een traagheidsmeetapparaat (IMU) levert metingen voor versnellingen en hoeksnelheden die zijn geïntegreerd om in een eerste stap de snelheid af te leiden en vervolgens de positie en oriëntatie van het apparaat. Aangezien deze metingen gevoelig zijn voor meetfouten, leidt de integratie tot een behoorlijke drift van de afgeleide grootheden. Aangezien een kaart in deze benadering als algehele referentie afwezig is, is de resulterende drift behoorlijk wat groter dan in Visual SLAM. Hoewel een optimaal resultaat niet kan worden behaald met alleen maar traagheidsmetingen, de gegevens van de IMU kunnen worden samengevoegd met de beeldmetingen om Visual SLAM te ondersteunen.

Hoe kan Visual SLAM het registratieproces herdefiniëren?

De gangbare registratie van laserscans, d.w.z. de combinatie van de individuele scans tot één gecombineerde puntenwolk, wordt na de volledige data-inwinning op kantoor uitgevoerd met nabewerkingssoftware. Het is vaak pas op kantoor dat een operator voor het eerst de resultaten van het scanproject kan beoordelen en kan controleren of de data-inwinning compleet is uitgevoerd. Het is mogelijk dat de operator missende gebieden identificeert en hij of zij zal dan dus terug naar de locatie moeten om nog extra scans uit te voeren. Dit kan in gevallen waar de projectlocatie zich ver van kantoor af bevindt een lange autorit betekenen en dat is dus iets wat klanten ten koste van alles willen vermijden.

Juergen Mayer, voormalig directeur van terrestrisch laserscannen, had destijds bedacht dat pre-registratie in het veld van meerdere laserscans de nieuwe functie moest worden die kostbaar dubbel werk volledig overbodig zou maken. Het idee was dat na elke scan de ingewonnen gegevens in het veld automatisch geregistreerd zouden worden met de daarvoor ingewonnen scangegevens. De daaruit resulterende puntenwolk zou dan kunnen worden gevisualiseerd op een tabletcomputer. Hierdoor zou de klant direct kunnen zien welke gegevens er waren ingewonnen en welke data nog miste, om zo de volgende scanneropstelling optimaal te kunnen plaatsen, en het allerbelangrijkste: kunnen controleren of de gegevens compleet zijn.

We ontdekten dit tijdens onze haalbaarheidsstudie en uiteindelijk konden we laten zien dat het concept ook in de praktijk zou werken. Aan de hand van deze bevindingen zijn we samen met onze collega's van de business unit begonnen aan de ontwikkeling van het product, die we hebben afgesloten met de aankondiging van de Leica RTC360 tijdens HxGN LIVE 2018.

Zou Visual SLAM de basis kunnen vormen voor deze nieuwe veldregistratiefunctie?

Theoretisch lag het voor de hand dat aan de hand van Visual SLAM de beweging tussen twee scanopstellingen moest worden bepaald. Als we de vertaling en rotatie kennen, kan de puntenwolk die het resultaat is van de huidige scan automatisch worden uitgelijnd met de puntenwolk van de vorige scan. Het volgende doel was te bewijzen dat het concept ook in de praktijk kon werken.

De Visual Inertial System- of VIS-technologie mocht geen beperking vormen voor de laserscanworkflow zoals die destijds werd uitgevoerd. Dat betekent dat de operator niet mag worden beïnvloed door extra regels, bijvoorbeeld dat de laserscanner op een bepaalde manier moet worden gedragen. Dat was een van de hoofdeisen toen het haalbaarheidsonderzoek van start ging. Zelfs als één zijde van de RTC360 geblokkeerd wordt, bijvoorbeeld door het lichaam van de operator, zou de VIS-technologie nog steeds moeten werken. Dat is uiteindelijk de hoofdreden voor het feit dat er vijf VIS-camera's in de RTC360 zijn gebouwd. Bovendien moet de verwerking van de automatische pre-registratie in realtime worden uitgevoerd, zodat de operator het resultaat direct na de volgende scan te zien krijgt. Daarom moest ons Visual SLAM-algoritme bewijzen dat het goed geïntegreerd kon worden in de workflow van de terrestrische laserscan.

Wat nu?

In het Hexagon Technology Center zijn ondertussen al heel wat andere toepassingen voor Visual SLAM onderzocht. Hoewel het basisprincipe hetzelfde is, is er altijd enige finetuning en aanpassing aan een specifieke omgeving en workflow nodig om de beste resultaten te bereiken. Een hoogtepunt in dit verband is de ontwikkeling van de Leica BLK2GO draagbare beeldlaserscanner, waarbij Visual SLAM wordt gecombineerd met LiDAR SLAM om het algoritme naar een hoger niveau te tillen. Dit is slechts één van de vele voorbeelden waar deze technologie haar toepasbaarheid voor plaatsbepalingsworkflows heeft bewezen. Een aantal daarvan is al als product op de markt gebracht en in de toekomst kunnen er nog veel meer worden verwacht, waardoor het gehele productportfolio van Hexagon Geosystems wordt verrijkt.