Von "Sehen" zu "Verstehen": SingTown treibt die visuelle Weiterentwicklung von Robotern voran.

In intelligent service robot applications, Umweltwahrnehmung und Zielerkennung sind Schlüsseltechnologien zur Realisierung autonomer Interaktion und Aufgabenausführung.

Der Roboter muss in komplexen Innenraumumgebungen verschiedene Objekte erkennen, wie beispielsweise Zimmertüren und deren Öffnungs- oder Schließzustand, menschliche Handgesten, QR-Codes sowie typische Gegenstände in Alltagsszenen (wie Tischoberflächen, Objekte, Markierungen usw.). Zu diesem Zweck plant der Hersteller von Servicerobotern, die OpenMV-Intelligente Kamera von SingTown einzusetzen, um ein auf maschinellem Sehen basierendes Multi-Target-Erkennungssystem aufzubauen. Dieses System, das am Kopf oder am Körper des Roboters installiert ist, kann gemäß den Hauptsteuerbefehlen in Echtzeit Bilder aus der angegebenen Richtung erfassen, Zielkategorien, Größen- und Farbmerkmale erkennen und die Erkennungsergebnisse an den Hauptrechner zurückgeben, um sie für Pfadentscheidungen, Aufgabenauslösung oder sprachliche Interaktionsantworten zu nutzen. Darüber hinaus kann es um die Erkennung von QR-Codes erweitert werden, um Navigationspositionierung, Aufgabenidentifikation oder Authentifizierung zu ermöglichen und so Robotern dabei zu helfen, in Bereichen wie Alltagsleben, Sicherheit und Führung intelligenteres Verhalten auf höherem Niveau zu realisieren.

Ein von einem Serviceroboterhersteller auf Basis der OpenMV-Intelligenzkamera von SingTown entwickeltes Multi-Target-Erkennungssystem ermöglicht Servicerobotern eine intelligente visuelle Wahrnehmung in komplexen Szenarien. Es vereint Computer Vision, KI-Bilderkennung, Template-Matching, Farbverfolgung, Formanalyse und QR-Code-Decodierungsalgorithmen.

Das System erfasst in Echtzeit über die Kamera das Sichtfeld vor dem Roboter. Die KI auf der Geräteseite nutzt ein Objekterkennungsmodell, um Kanten und Formmerkmale von Objekten zu identifizieren, wodurch die Position und der Öffnungs- bzw. Schließzustand von Türen bestimmt werden können. Durch Farbsegmentierung und Analyse von Helligkeitsveränderungen können Farben, Größen und relative Entfernungen verschiedener Objekte erkannt werden.

Der Roboter kann auch Gesten erkennen. Unter Nahbedingungen identifiziert das System anhand von Konturverfolgung und Keypoint-Matching-Algorithmen gängige Bewegungen (wie Hand heben, Zeigen, Winken usw.). Gleichzeitig ermöglicht die integrierte QR-Code-Erkennung die Identifizierung von Navigationspunkten oder den Empfang von Aufgabenbefehlen.

Dieses System ermöglicht eine Edge-Bereitstellung, wobei der Algorithmus in eingebetteten Umgebungen effizient arbeitet, eine Bildrate von über 20 fps erreicht und die Erkennungslatenz unter 100 ms liegt.

Das System kann über serielle Schnittstelle, I²C oder CAN-Bus mit dem Hauptsteuerungs-Mikrocontroller kommunizieren, erkannte Kategorien, Abmessungen, Farben und Statusinformationen ausgeben und so eine intelligente Verknüpfung mit dem Host realisieren.

Die Testergebnisse zeigen, dass die auf der OpenMV-Intelligenzkamera von SingTown basierende Lösung eine Erkennungsgenauigkeit von über 92 % bei wechselnden Innenraumlichtverhältnissen erreicht. Sie unterstützt verschiedene Aufgabenszenarien wie Begleitroboter für zu Hause, Sicherheitspatrouillenroboter und Führungsroboter und verbessert damit deutlich das Umweltverständnis und die Interaktionsfähigkeit von Robotern.