De la "vision" à la "compréhension" des robots, SingTown promeut l'évolution de la vision artificielle

Dans les applications de robots de service intelligents, la perception de l'environnement et la reconnaissance des cibles sont des technologies clés pour réaliser l'interaction autonome et l'exécution des tâches.

Le robot doit identifier divers objets dans des environnements intérieurs complexes, tels que les portes des pièces et leur état d'ouverture ou de fermeture, les gestes humains, les codes QR, ainsi que des objets typiques des scènes de vie (comme les surfaces de table, les articles, les repères, etc.). À cette fin, les fabricants de robots de service prévoient d'utiliser la caméra intelligente OpenMV de SingTown pour construire un système de reconnaissance multi-cibles basé sur la vision artificielle. Ce système, installé sur la tête ou le corps du robot, est capable de capturer en temps réel des images dans une direction spécifiée selon les instructions du contrôleur principal, d'identifier la catégorie, la taille et les caractéristiques de couleur des cibles, et de renvoyer les résultats de reconnaissance à l'hôte pour la prise de décision de trajectoire, le déclenchement de tâches ou les réponses d'interaction vocale. De plus, il peut étendre la reconnaissance aux codes QR pour réaliser la navigation et le positionnement, l'identification des tâches ou l'authentification, aidant ainsi les robots à atteindre un niveau d'intelligence supérieur dans les domaines de la vie quotidienne, de la sécurité, de la visite guidée, etc.

Le système de reconnaissance multi-cibles développé par les fabricants de robots de service basé sur la caméra intelligente OpenMV de SingTown permet aux robots de service d'acquérir une perception visuelle intelligente dans des scénarios complexes, intégrant la vision par ordinateur, la reconnaissance d'images par IA, la correspondance de modèles, le suivi des couleurs, l'analyse morphologique et les algorithmes de décodage de codes QR.

Le système capture en temps réel les images du champ de vision devant le robot via la caméra. L'IA embarquée utilise un modèle de détection d'objets pour identifier les contours et les caractéristiques de forme, permettant de déterminer la position de la porte ainsi que son état (ouverte ou fermée). Grâce à l'analyse de la segmentation des couleurs et des variations de luminosité, il peut reconnaître la couleur, la taille et la distance relative de divers objets.

Ce robot peut également reconnaître les gestes. À courte distance, le système identifie les actions courantes (lever la main, pointer, agiter, etc.) grâce à des algorithmes de suivi de contour et de correspondance de points clés. Parallèlement, la fonction intégrée de reconnaissance de codes QR permet l'identification des points de navigation du robot ou la réception d'instructions de tâches.

Ce système permet un déploiement en périphérie, son algorithme fonctionnant efficacement dans un environnement embarqué, avec un taux de rafraîchissement pouvant dépasser 20 ips et une latence de reconnaissance inférieure à 100 ms.

Le système peut communiquer avec le microcontrôleur principal via une liaison série, I²C ou un bus CAN, en transmettant les catégories de reconnaissance, les dimensions, les couleurs et les informations d'état, permettant ainsi une interaction intelligente avec l'hôte.

Les résultats des tests montrent que la solution développée sur la base de la caméra intelligente OpenMV de SingTown atteint un taux de précision de reconnaissance supérieur à 92% sous des variations d'éclairage intérieur. Elle prend en charge divers scénarios de tâches, tels que les robots de compagnie domestique, les robots de patrouille de sécurité et les robots guides, améliorant ainsi considérablement la compréhension de l'environnement et les capacités d'interaction des robots.