VIS – Visual Inertial System-teknik

För några år sedan, under vår tekniska screeningprocess vid Hexagon Technology Center, identifierade Hexagon-gruppen behovet av utveckling av så kallad SLAM-teknik – Visual Simultaneous Localization and Mapping. Det var tydligt ända från början att denna teknik skulle kunna användas för att fastställa positionen för enheter i 3D och att den skulle vara till stor nytta för framtidens innovationer. Vi började med den första implementeringen av en generisk Visual SLAM-algoritm och undersökte potentialen hos denna teknik för olika relevanta applikationer för våra affärsområden.

Vad är Visual SLAM?

Visual SLAM är i princip inget mer än en repetitiv tillämpning av inskärning och skärning framåt med en valbar sammanfogning i slutet av processen. De grundläggande algoritmerna som används i Visual SLAM är väl kända och har använts inom fotogrammetri i över hundra år. Funktionsspårning och funktionsmatchning har kommit långt med hjälp av datoriserad bildtagningsteknik och robotar. Den här utvecklingen har lett till att den manuella tekniken där man väljer kopplingspunkter har blivit föråldrad och har också möjliggjort ett automatiserat arbetsflöde.

Navigering genom 3D-utrymmen baserat på Visual SLAM är en ganska intuitiv process. Den fungerar ungefär på samma sätt som när människor navigerar genom världen. När vi går mot ett objekt, som t.ex. en byggnad, blir det större och större i vårt synfält. När vi rör oss bort från ett objekt blir det mindre.

Med Visual SLAM spårar funktionssökningen landmärken eller så kallade punktobjekt i de strömmade bilderna och spårar deras position från en bildruta till nästa. När kameran rör sig mot en byggnad kommer de detekterade punktobjekten (t.ex. hörnen, dörren eller fönstren på en byggnad) att flytta sig från bildens mittpunkt och utåt allt eftersom byggnaden blir större i synfältet. När kameran roterar från vänster till höger flyttas objekten på bilden från höger till vänster. På så sätt kan Visual SLAM härleda kamerans rörelseriktning i 3D-rymden utifrån punktobjektens rörelse mellan ramarna i de strömmade bilderna.

I en kontinuerlig process beräknar SLAM-algoritmen 3D-koordinaterna (kartläggning) utifrån de registrerade funktionerna från två eller fler positioner och använder dem för att fastställa nästa position (lokalisering). Kartan över landmärken genereras och utvecklas i takt med att operatören rör sig längs detta spår till nästa skannerinställning och fungerar som referens för hela positioneringsalgoritmen. Kartan som byggs upp och underhålls under processen blir därför nödvändig för att hålla förskjutningen av mätdata på en låg nivå.

Det finns alternativa strategier som endast är baserade på inerta mätningar. En tröghetsmätare (IMU) tillhandahåller mätningar för accelerationer och vinkelhastigheter som är integrerade för att beräkna hastighet i ett första steg och sedan enhetens position och orientering. Eftersom dessa mätningar påverkas av mätfel leder integrationen till en betydande förskjutning av härledda data. Eftersom det i detta tillvägagångssätt saknas en karta som en övergripande referens är den resulterande förskjutningen betydligt högre än den hade varit med Visual SLAM. Det går inte att uppnå ett optimalt resultat endast baserat på inerta mätningar, men data från IMU-enheten kan sammanfogas med bildmätningarna och stödja Visual SLAM.

Hur omdefinierar Visual SLAM registreringsprocessen?

Den typiska registreringen av laserscannrar, dvs. kombinationen av de individuella scanningarna i ett kombinerat punktmoln, utförs efter en komplett datainsamling på kontoret med hjälp av mjukvara för efterberäkning. Det är på kontoret som operatörerna vanligtvis kan undersöka resultatet av skanningsprojektet för första gången och kontrollera att alla data samlats in. Operatören kan identifiera saknade områden och måste ibland gå tillbaka till anläggningsplatsen och göra några extra scanningar. Ibland, i de fall där anläggningsplatsen är långt från kontoret, kan det innebära en lång resa som kunden helst vill undvika.

Den nya funktion som Jürgen Mayer, Business Director för markbunden laserscanning, hade i åtanke när det begav sig var förregistrering av flera laserscanningar i fält, vilket helt skulle lösa problemen med dyra omarbeten. Efter varje scanning var tanken att data som samlats in i fält automatiskt registreras tillsammans med den föregående scanningen. Det resulterande kombinerade punktmolnet skulle sedan visualiseras på en mobil handdator. Kunden skulle då omedelbart kunna undersöka vilka data som samlas in och vilka data som skulle kunna saknas, för en optimal planering av nästa scannerinstallation, och framför allt för att kunna kontrollera att den insamlade informationen är korrekt direkt i fältet.

Detta upptäcktes under vår förstudie och i slutändan kunde vi visa att konceptet också skulle fungera i praktiken. Baserat på de här resultaten började vi utveckla produkten tillsammans med våra kollegor från affärsenheten. Utvecklingsprocessen kulminerade i lanseringen av Leica RTC360 vid HxGN LIVE 2018.

Skulle den nya fältregistreringsfunktionen kunna baseras på Visuell SLAM?

I teorin var det uppenbart att det skulle gå att fastställa rörelsen mellan två scanningsinstallationer med hjälp av Visual SLAM. Med vetskap om hur rörelsen och rotationen översätts till data går det att automatiskt justera punktmolnet från den aktuella scanningen mot punktmolnet från föregående scanning. Målet var sedan att bevisa att konceptet skulle fungera i praktiken.

Visual Inertial System-tekniken borde inte begränsa arbetsflödet vid den typen av laserscanning som användes på den tiden. Det betyder att operatören inte borde påverkas av några ytterligare användningskrav, som t.ex. att laserscannern måste bäras på ett speciellt sätt för att fungera. Det var ett av huvudkraven när förstudien inleddes. Även om ena sidan på RTC360 skulle blockeras, t.ex. av operatörens kropp, så bör VIS-tekniken fortfarande fungera. Detta är den främsta anledningen till att det finns fem VIS-kameror inbyggda i RTC360. Dessutom bör den automatiska förhandsregistreringen utföras i realtid på ett sådant sätt att operatören får resultatet presenterat omedelbart efter nästa scanning som görs. Med tanke på detta behövde vi visa att vår Visual SLAM-algoritm smidigt gick att integrera i arbetsflödet för markbunden laserskanning.

Vad kommer härnäst?

På Hexagon Technology Center har vi arbetat med ett stort antal andra applikationsprogram för Visual SLAM. Den grundläggande principen är densamma, men man behöver alltid göra finjusteringar och anpassningar efter specifika inställningar och arbetsflöden för att optimera resultaten. En innovation som står ut i detta sammanhang är den handhållna laserscannern Leica BLK2GO, där Visual SLAM kombineras med LiDAR SLAM som tar algoritmen till nästa nivå. Och det är bara ett av många exempel där den här tekniken har visat sig vara värdefull för arbetsflöden vid positioneringsuppdrag. Vissa av våra produkter som innehåller Visual SLAM-tekniken har redan lanserats, och många fler kommer att släppas i framtiden och berika hela Hexagon Geosystems produktportfölj.