Des robots qui passent de « voir » à « comprendre », SingTown promeut l’évolution de la vision

Dans les applications de robots de service intelligents, la perception de l'environnement et la reconnaissance des cibles sont des technologies clés pour réaliser des interactions autonomes et l'exécution des tâches.

Le robot doit être capable d'identifier divers objets dans des environnements intérieurs complexes, tels que les portes des pièces et leur état d'ouverture ou de fermeture, les gestes humains, les codes QR, ainsi que des objets typiques des scènes de vie (comme les surfaces de table, les articles, les repères, etc.). À cette fin, les fabricants de robots de service prévoient d'utiliser la caméra intelligente OpenMV de SingTown pour construire un système de reconnaissance multi-cibles basé sur la vision artificielle. Ce système, installé sur la tête ou le corps du robot, peut capturer en temps réel des images dans une direction spécifiée selon les instructions du contrôleur principal, identifier la catégorie, la taille et les caractéristiques de couleur des cibles, et renvoyer les résultats de reconnaissance à l'hôte pour la prise de décision de trajectoire, le déclenchement de tâches ou les réponses d'interaction vocale. De plus, il peut être étendu pour reconnaître les codes QR, permettant ainsi la navigation et le positionnement, l'identification des tâches ou l'authentification, aidant les robots à réaliser des comportements intelligents de niveau supérieur dans des domaines tels que la vie quotidienne, la sécurité et le guidage.

Le système de reconnaissance multi-cibles développé par les fabricants de robots de service basé sur la caméra intelligente OpenMV de SingTown permet aux robots de service d'acquérir une perception visuelle intelligente dans des scénarios complexes. Il intègre la vision par ordinateur, la reconnaissance d'images par IA, la correspondance de modèles, le suivi des couleurs, l'analyse morphologique et les algorithmes de décodage de codes QR.

Le système capture en temps réel les images du champ de vision devant le robot via la caméra. L'IA embarquée utilise un modèle de détection d'objets pour identifier les contours et les caractéristiques de forme, permettant de déterminer la position de la porte ainsi que son état (ouverte ou fermée). Grâce à l'analyse de la segmentation des couleurs et des variations de luminosité, il est capable de reconnaître la couleur, la taille et la distance relative de divers objets.

Ce robot peut également reconnaître les gestes. À courte distance, le système, basé sur des algorithmes de suivi de contour et de correspondance de points clés, est capable d'identifier des actions courantes (comme lever la main, pointer, agiter, etc.). Parallèlement, la fonction intégrée de reconnaissance de codes QR permet l'identification des points de navigation du robot ou la réception d'instructions de tâches.

Ce système permet un déploiement en périphérie, son algorithme fonctionnant efficacement dans un environnement embarqué, avec un taux de rafraîchissement pouvant dépasser 20 images par seconde et une latence de reconnaissance inférieure à 100 millisecondes.

Le système peut communiquer avec le microcontrôleur principal via une interface série, I²C ou un bus CAN, en transmettant les catégories de reconnaissance, les dimensions, les couleurs et les informations d'état, permettant ainsi une interaction intelligente avec l'hôte.

Les résultats des tests indiquent que la solution développée sur la base de la caméra intelligente OpenMV de SingTown atteint un taux de précision de reconnaissance supérieur à 92% sous des variations d'éclairage intérieur. Elle prend en charge divers scénarios de tâches, tels que les robots d'accompagnement domestique, les robots de patrouille de sécurité et les robots guides, améliorant ainsi significativement la compréhension de l'environnement et les capacités d'interaction des robots.