Roboter går fra å "se" til å "forstå", SingTown Technology driver visuell oppgradering

I intelligente servicerobotapplikasjoner er miljøoppfatning og målidentifikasjon nøkkelteknologier for å oppnå autonom interaksjon og oppgaveutførelse.

Roboten må kunne gjenkjenne flere objekter i komplekse innendørs miljøer, for eksempel dører i rom og deres åpne eller lukkede tilstand, menneskelige håndbevegelser, QR-koder, samt typiske gjenstander i hverdagslige situasjoner (som bordflater, gjenstander, markører osv.). For dette formålet planlegger produsenter av serviceroboter å bruke SingTown OpenMV intelligente kameraer for å bygge et maskinvisjonsbasert system for flermålgjenkjenning. Dette systemet installeres på robotens hode eller kropp, og kan i henhold til hovedkontrollens instruksjoner fange bilder fra spesifiserte retninger i sanntid, gjenkjenne målkategorier, dimensjoner og fargeegenskaper, og returnere gjenkjenningsresultatene til vertsmaskinen for bruk i rutebeslutninger, oppgaveutløsning eller stemmeinteraksjonsrespons. I tillegg kan det utvides til å gjenkjenne QR-koder for å oppnå navigasjonsposisjonering, oppgavegjenkjenning eller autentisering, og dermed hjelpe roboter med å oppnå høyere nivåer av intelligent atferd innen områder som hverdagsliv, sikkerhet og guiding.

Tjenesterobotprodusenter har utviklet et flermålgjenkjenningssystem basert på SingTowns OpenMV smarte kamera, som muliggjør intelligente visuelle oppfatninger i komplekse scenarier. Dette systemet integrerer datamaskinsyn, AI-bildegjenkjenning, mønstermatching, fargesporing, formanalyse og QR-kodedekodingsalgoritmer.

Systemet samler inn bilder fra robotens forreste synsfelt i sanntid via kamera, og på klientsiden bruker AI en målmodell for gjenkjenning for å identifisere kantene og formegenskapene til objekter, slik at den kan bestemme dørers posisjon og åpen/lukket-status; gjennom fargesegmentering og analyse av lysstyrkeendringer kan den gjenkjenne farger, dimensjoner og relative avstander til ulike objekter.

Denne roboten kan også gjenkjenne håndtegn. På nært hold kan systemet, basert på kontursporing og nøkkelpunktmatching-algoritmer, identifisere vanlige bevegelser (som å løfte hånden, peke, vinke osv.). Samtidig muliggjør den innebygde QR-kodegjenkjenningsfunksjonen identifisering av robotens navigasjonspunkter eller mottak av oppdragsinstrukser.

Dette systemet kan implementeres på kanten, hvor algoritmene kjører effektivt i innebygde miljøer med en bildefrekvens på over 20 fps og en gjenkjenningsforsinkelse på under 100 ms.

Systemet kan kommunisere med hovedstyringsmikrokontrolleren via seriell port, I²C eller CAN-buss, og sende ut gjenkjenningskategori, størrelse, farge og statusinformasjon for å oppnå intelligent sammenkobling med vertsmaskinen.

Testresultatene viser at løsningen utviklet med SingTown Techs OpenMV smartkamera oppnår en gjenkjenningsnøyaktighet på over 92 % under varierende innendørs belysningsforhold. Den kan støtte ulike oppgavescenarier, som familievennlige roboter, sikkerhets- og patruljeringsroboter og guide-roboter, og forbedrer betydelig robotenes evne til å forstå omgivelsene og interagere med dem.