Von "Sehen" zu "Verstehen": SingTown treibt die visuelle Weiterentwicklung von Robotern voran

In intelligent service robot applications, Umgebungswahrnehmung und Zielerkennung sind Schlüsseltechnologien zur Realisierung autonomer Interaktion und Aufgabenausführung.

Roboter müssen in komplexen Innenraumumgebungen verschiedene Objekte erkennen, wie beispielsweise Zimmertüren und deren Öffnungs- oder Schliesszustand, menschliche Handgesten, QR-Codes sowie typische Gegenstände in Alltagsszenen (wie Tischoberflächen, Objekte, Markierungen usw.). Zu diesem Zweck planen Hersteller von Servicerobotern, die OpenMV-Intelligente Kamera von SingTown einzusetzen, um ein auf maschinellem Sehen basierendes Mehrzielerkennungssystem aufzubauen. Dieses System, das am Kopf oder am Körper des Roboters installiert ist, kann gemäss den Steuerbefehlen in Echtzeit Bilder aus der angegebenen Richtung erfassen, Zielkategorien, Grössen- und Farbmerkmale erkennen und die Erkennungsergebnisse an den Hauptrechner zurückgeben, um für Pfadentscheidungen, Aufgabenauslösung oder sprachliche Interaktionsantworten verwendet zu werden. Darüber hinaus kann es um die Erkennung von QR-Codes erweitert werden, um Navigationspositionierung, Aufgabenidentifikation oder Authentifizierung zu ermöglichen und Robotern dabei zu helfen, in Bereichen wie Alltag, Sicherheit und Führung höhere Intelligenzverhalten zu erreichen.

Ein von einem Serviceroboterhersteller auf Basis der OpenMV-Intelligenzkamera von SingTown entwickeltes Mehrfachobjekterkennungssystem ermöglicht Servicerobotern eine intelligente visuelle Wahrnehmung in komplexen Szenarien. Es vereint Computer Vision, KI-Bilderkennung, Template-Matching, Farbverfolgung, Formanalyse und QR-Code-Decodierungsalgorithmen.

Das System erfasst in Echtzeit über die Kamera das Sichtfeld vor dem Roboter. Die KI auf der Geräteseite nutzt ein Objekterkennungsmodell, um Kanten und Formmerkmale von Objekten zu identifizieren, wodurch die Position und der Öffnungs- bzw. Schliesszustand von Türen bestimmt werden können. Durch Farbsegmentierung und Analyse von Helligkeitsveränderungen können Farben, Abmessungen und relative Entfernungen verschiedener Objekte erkannt werden.

Dieser Roboter kann auch Gesten erkennen. Unter Nahbedingungen identifiziert das System anhand von Konturverfolgung und Keypoint-Matching-Algorithmen gängige Bewegungen wie Handheben, Zeigen oder Winken. Gleichzeitig ermöglicht die integrierte QR-Code-Erkennung die Identifizierung von Navigationspunkten oder den Empfang von Aufgabenbefehlen.

Dieses System ermöglicht eine Edge-Bereitstellung, wobei der Algorithmus in eingebetteten Umgebungen effizient arbeitet, eine Bildrate von über 20 fps erreicht und die Erkennungslatenz unter 100 ms liegt.

Das System kann über serielle Schnittstelle, I²C oder CAN-Bus mit dem Hauptsteuerungs-Mikrocontroller kommunizieren, erkannte Kategorien, Abmessungen, Farben und Statusinformationen ausgeben und so eine intelligente Verknüpfung mit dem Hostgerät realisieren.

Die Testergebnisse zeigen, dass die auf der SingTown OpenMV intelligenten Kamera basierende Lösung eine Erkennungsgenauigkeit von über 92% bei wechselnden Lichtverhältnissen in Innenräumen erreicht. Sie unterstützt verschiedene Einsatzszenarien wie Begleitroboter für den Haushalt, Sicherheits- und Patrouillenroboter sowie Führungsroboter und verbessert damit deutlich das Umweltverständnis und die Interaktionsfähigkeit von Robotern.