Van "zien" naar "begrijpen": SingTown Technology bevordert visuele vooruitgang van robots.

In de toepassing van intelligente servicerobots zijn omgevingsperceptie en doelherkenning cruciale technologieën voor het realiseren van autonome interactie en taakuitvoering.

Robots moeten in staat zijn om meerdere objecten te herkennen in complexe binnenomgevingen, zoals deuren van kamers en hun open- of gesloten status, menselijke handgebaren, QR-codes en typische objecten in dagelijkse scenario's (zoals tafelbladen, voorwerpen, markeringen, enz.). Daarom zijn fabrikanten van servicerobots van plan om de OpenMV slimme camera van SingTown te gebruiken om een op machinevisie gebaseerd systeem voor multi-doelherkenning te bouwen. Dit systeem, geïnstalleerd op de kop of het lichaam van de robot, kan volgens de instructies van de hoofdcontroller in realtime beelden vastleggen in een gespecificeerde richting, doelcategorieën, afmetingen en kleurkenmerken herkennen, en de herkenningsresultaten terugsturen naar de hoofdcomputer voor padbeslissingen, taaktriggering of spraakinteractierespons. Bovendien kan het systeem worden uitgebreid om QR-codes te herkennen, waardoor navigatielokalisatie, taakherkenning of authenticatie mogelijk wordt, wat robots helpt om intelligent gedrag op een hoger niveau te bereiken op gebieden zoals dagelijks leven, beveiliging en rondleidingen.

De multi-doelherkenningssystemen, ontwikkeld door fabrikanten van servicerobots op basis van de OpenMV intelligente camera van SingTown, stellen servicerobots in staat om intelligente visuele waarneming te realiseren in complexe scenario's. Deze systemen integreren computervisie, AI-beeldherkenning, sjabloonmatching, kleurvolging, morfologische analyse en QR-code-decodeeralgoritmen.

Het systeem verzamelt in realtime beelden van het gezichtsveld vóór de robot via de camera. De AI aan de kant gebruikt een objectdetectiemodel om randen en vormkenmerken van objecten te herkennen, waardoor de positie en open/dicht-status van deuren kunnen worden bepaald. Door kleursegmentatie en analyse van helderheidsveranderingen kunnen kleuren, afmetingen en relatieve afstanden van diverse objecten worden geïdentificeerd.

Deze robot kan ook gebaren herkennen. Onder korte afstandsomstandigheden kan het systeem, gebaseerd op contourtracking en sleutelpuntmatching-algoritmen, veelvoorkomende bewegingen identificeren (zoals hand opsteken, wijzen, zwaaien, enz.). Tegelijkertijd maakt de ingebouwde QR-codeherkenning de identificatie van navigatiepunten of het ontvangen van taakinstructies mogelijk.

Dit systeem kan aan de rand worden geïmplementeerd, waarbij de algoritmen efficiënt werken in een ingebedde omgeving, met een framerate van meer dan 20 fps en een herkenningsvertraging van minder dan 100 ms.

Het systeem kan via seriële poort, I²C of CAN-bus communiceren met de hoofdcontroller-microcontroller, waarbij het herkenningscategorie, afmetingen, kleur en statusinformatie uitzendt, en zo intelligente koppeling met de hostcomputer realiseert.

Testresultaten tonen aan dat de oplossing ontwikkeld op basis van de SingTown OpenMV intelligente camera een herkenningsnauwkeurigheid van meer dan 92% bereikt onder wisselende binnenverlichting. Deze oplossing ondersteunt diverse toepassingsscenario's, zoals gezelschapsrobots voor thuis, beveiligingspatrouillerobots en gidsrobots, waardoor het begrip van de omgeving en de interactiecapaciteiten van robots aanzienlijk worden verbeterd.