Van "zien" naar "begrijpen": SingTown Technology bevordert visuele vooruitgang van robots.

In de toepassing van intelligente servicerobots zijn omgevingsperceptie en doelherkenning cruciale technologieën voor het realiseren van autonome interactie en taakuitvoering.

Robots moeten in complexe binnenomgevingen meerdere objecten kunnen herkennen, zoals deuren van kamers en hun open- of gesloten status, menselijke gebaren, QR-codes en typische objecten in alledaagse scenario's (zoals tafelbladen, voorwerpen, markeringen, enz.). Daarom zijn fabrikanten van servicerobots van plan om de OpenMV slimme camera van SingTown te gebruiken om een op machinevisie gebaseerd systeem voor herkenning van meerdere doelen te bouwen. Dit systeem, geïnstalleerd op het hoofd of lichaam van de robot, kan volgens instructies van de hoofdcontroller in realtime beelden vastleggen in een gespecificeerde richting, doelcategorieën, afmetingen en kleurkenmerken herkennen, en de herkenningsresultaten terugsturen naar de host voor padbeslissingen, taaktriggering of spraakinteractierespons. Bovendien kan het worden uitgebreid om QR-codes te herkennen voor navigatielokalisatie, taakherkenning of authenticatie, waardoor robots in gebieden zoals dagelijks leven, beveiliging en rondleidingen intelligent gedrag op een hoger niveau kunnen bereiken.

De dienstenrobotfabrikant heeft op basis van de OpenMV intelligente camera van SingTown Technology een multi-doelherkenningssysteem ontwikkeld, waarmee dienstenrobots intelligente visuele waarneming in complexe scenario's kunnen realiseren. Het systeem integreert computervisie, AI-beeldherkenning, sjabloonmatching, kleurvolging, morfologische analyse en QR-code-decodeeralgoritmen.

Het systeem verzamelt in realtime beelden van het gezichtsveld vóór de robot via de camera. De AI aan de kant gebruikt een objectdetectiemodel om de randen en vormkenmerken van objecten te herkennen, waardoor de positie en open/dicht-status van deuren kunnen worden bepaald. Door kleursegmentatie en analyse van helderheidsveranderingen kunnen de kleuren, afmetingen en relatieve afstanden van diverse objecten worden geïdentificeerd.

Deze robot kan ook gebaren herkennen. Onder korte afstandsomstandigheden kan het systeem, gebaseerd op contourtracking en sleutelpuntmatching-algoritmen, veelvoorkomende bewegingen identificeren (zoals hand opsteken, wijzen, zwaaien, enz.). Tegelijkertijd maakt de ingebouwde QR-codeherkenning de identificatie van navigatiepunten of het ontvangen van taakinstructies mogelijk.

Dit systeem kan aan de rand worden ingezet, waarbij de algoritmes efficiënt werken in een ingebedde omgeving, met een framerate van meer dan 20 fps en een herkenningsvertraging van minder dan 100 ms.

Het systeem kan via seriële poort, I²C of CAN-bus communiceren met de hoofd-microcontroller, waarbij het herkenningscategorie, afmetingen, kleur en statusinformatie uitzendt, om intelligente koppeling met de host te realiseren.

Testresultaten tonen aan dat de oplossing ontwikkeld op basis van de SingTown OpenMV intelligente camera een herkenningsnauwkeurigheid van meer dan 92% bereikt onder veranderende binnenverlichting. Het ondersteunt diverse taakscenario's, zoals gezelschapsrobots voor thuis, beveiligingspatrouillerobots en gidsrobots, wat de omgevingsbegrip en interactiecapaciteit van robots aanzienlijk verbetert.