Détection de points cibles par réseau neuronal entraîné localement avec OpenMV – Reconnaissance de panneaux de signalisation dans un environnement routier réel

Il existe deux tâches très courantes de l’intelligence artificielle dans le domaine de la vision : la classification et la détection d’objets.

Catégorie :Déterminer à quelle catégorie appartient l’image, par exemple « chat » ou « chien ».

Détection d’objets :Permet de déterminer la position, le nombre et les dimensions de plusieurs objets distincts présents dans une image.

Dans les précédents tutoriels vidéo, nous avons expliqué comment entraîner en ligne un réseau de neurones à l’aide de la OpenMV4 Plus afin de classifier différents objets. Ce système permet de déterminer en temps réel si une image située dans le champ de vision de la OpenMV correspond à un objet donné, par exemple si un visage porte ou non un masque. Toutefois, il ne fournit pas les coordonnées de position du visage ou du masque, ni le nombre de visages détectés.

La détection d’objets étant nettement plus complexe et gourmande en calculs que la classification, elle est très rare dans le domaine des microcontrôleurs. Le microcontrôleur principal d’OpenMV est le STM32H7. Nous avons désormais ajouté une nouvelle fonctionnalité à OpenMV, permettant d’exécuter des tâches similaires à la détection d’objets directement sur un microcontrôleur, avec des performances remarquables.

Aujourd’hui, nous allons vous expliquerEntraînement démontrant la détection des panneaux de signalisation dans un environnement routier réel, détectant les panneaux de signalisation présents sur nos routes réellespar exemple l’interdiction de klaxonner, l’interdiction de stationner, la limitation de vitesse à 80 km/h, etc., et non pas un environnement de laboratoire sans interférence.

Vous pouvez consulter l’intégralité du projet, y compris tous les codes et modèles, à l’adresse suivante : https://book.openmv.cc/project/traffic-sign.html

Il est bien connu que l’environnement réel est extrêmement complexe, en particulier l’environnement routier, où de nombreux facteurs perturbateurs sont présents. Nous avons capturé des images de panneaux de signalisation dans des environnements réels à l’aide de téléphones portables et d’autres appareils, puis nous avons entraîné notre modèle sur le site en ligne EdgeImpulse, partenaire d’OpenMV, en étiquetant approximativement 270 images. Le temps d’entraînement requis n’était que de 10 minutes, et la précision du modèle obtenu, mesurée par le score F1, atteignait 92 %. Le taux d’images par seconde du modèle exécuté sur OpenMV était de 10 images/seconde, ce qui garantissait un fonctionnement très fluide ainsi qu’une précision élevée.

Vous pouvez former le système à détecter n’importe quel objet souhaité en suivant nos tutoriels vidéo, par exemple différents chiffres, divers fruits, différentes signalétiques, différentes pièces ou encore tout autre objet spécifique de forme irrégulière. Le système permet alors d’identifier avec précision le nombre d’objets, leurs coordonnées ainsi que leur catégorie.

Remarque :Cette vidéo tutorielle de la présente série traite de la fonction de détection de points cibles par réseau neuronal, qui est compatible non seulement avec l’OpenMV4 H7 Plus, mais aussi avec l’OpenMV4 H7. En effet, les modèles entraînés de détection de points cibles FOMO sont peu volumineux, offrent d’excellents résultats et ne pèsent que quelques dizaines de ko. Ainsi, même si la mémoire vive de l’OpenMV4 H7 est inférieure à celle de la version Plus, il est possible d’entraîner un modèle légèrement plus léger afin de l’exécuter sur l’OpenMV4.

Voici ci-dessous une brève présentation du principe :

Les principales décisions de conception relatives à la détection de points cibles FOMO sur OpenMV reposent sur l’idée suivante : de nombreux problèmes de détection d’objets ne nécessitent pas la taille des objets, mais uniquement leur position dans l’image. Une fois que la position des objets est connue, des opérations ultérieures peuvent être effectuées, telles que le contrôle d’un véhicule par OpenMV afin qu’il se déplace vers la cible détectée, l’atterrissage précis d’un drone ou encore le contrôle d’un bras robotique pour saisir un objet cible spécifique.

Le modèle FOMO est un modèle spécialement conçu par EdgeImpulse pour les environnements à base de microcontrôleurs ; contrairement à la détection d’objets classique, il permet uniquement de détecter la position et le nombre de plusieurs objets, sans toutefois fournir leurs dimensions précises.

Le principe fondamental du modèle FOMO est très simple et souple. Il commence par diviser l’image en blocs de 8 × 8 pixels. Pour une image de résolution 96 × 96, cela donne une grille de 12 × 12 cellules ; pour une image de résolution 360 × 360, cela donne une grille de 40 × 40 cellules. Ensuite, une classification d’image est exécutée indépendamment sur chaque cellule.

Par rapport à YOLO V5 ou MobileNet SSD, FOMO offre de bien meilleures performances sur un grand nombre de petits objets. La détection de points cibles par FOMO est 30 fois plus rapide que celle par MobileNet SSD.

Si les objets à détecter présentent des dimensions similaires, par exemple si les repères à identifier ont des tailles sensiblement identiques plutôt qu’un objet très grand et un objet très petit, les performances de FOMO seront meilleures.

OpenMV utilise EdgeImpulse pour l’entraînement en ligne de réseaux neuronaux destinés à la détection de points cibles, ce qui comprend principalement les étapes suivantes : acquisition et téléchargement du jeu de données d’images, annotation des cibles, entraînement, test du modèle et déploiement.

* Acquisition d’un jeu de données d’images : capture d’images d’objets spécifiques présents dans l’environnement réel à identifier. Nous effectuons la capture d’images dans le même environnement que celui dans lequel s’effectue l’identification ; ainsi, l’environnement réel utilisé pour l’entraînement et l’environnement réel utilisé pour la détection sont pratiquement identiques, ce qui améliore les performances.

* Objectif de l’annotation : encadrer chaque objet à détecter dans notre jeu de données et associer à cet objet son nom, afin de faciliter l’entraînement ultérieur ainsi que la détection de la position et du nom des objets.

* Modèle d’entraînement : une fois l’annotation terminée, le modèle est entraîné selon les paramètres du réseau de neurones convolutifs que nous avons conçus.

* Modèle de test : Nous effectuons des tests sur le modèle entraîné. Si les résultats ne sont pas satisfaisants, nous augmentons respectivement l’ensemble de données d’entraînement ou ajustons les paramètres d’entraînement, puis nous poursuivons l’entraînement jusqu’à obtenir un modèle satisfaisant.

* Déploiement : Il suffit de placer les fichiers du modèle entraîné sur la clé USB intégrée à OpenMV pour les exécuter.

Voici une démonstration du processus concret :

01. Collecter et téléverser le jeu de données d’images

1. Tout d’abord, connectez-vous au site web edgeimpulse.com, sélectionnez « Connexion », saisissez le nom du projet nouvellement créé, puis choisissez « Images » → « Classer plusieurs objets ».

Deuxièmement, sélectionnez une image à télécharger. Il existe plusieurs façons d’obtenir un jeu de données d’images :

1. Acquisition d’images en temps réel via l’IDE OpenMV. Utilisez l’outil « Éditeur de jeux de données » intégré à l’IDE OpenMV pour créer un nouveau jeu de données et acquérir des images en temps réel ; pour plus de détails, consultez notre tutoriel vidéo précédent sur la classification d’objets et la détection de masques.

2. Des images téléchargées depuis Internet ou prises directement avec un smartphone. Il est préférable qu’elles correspondent autant que possible à l’environnement réel dans lequel vous effectuez la détection. Nous avons préparé quatre à cinq cents images de panneaux de signalisation routière, notamment des panneaux « Stationnement interdit », « Klaxon interdit » et « Vitesse maximale 80 », toutes capturées sur des routes réelles. Ce jeu de données est disponible au téléchargement sur notre dépôt GitHub ainsi que sur notre site web de tutoriels.

02. Objectif de l’annotation

Pour chaque catégorie, environ 100 images doivent être téléchargées ; une fois le téléchargement des images terminé, celles-ci doivent être annotées afin d’indiquer la position et la catégorie des objets à détecter.

03. Entraîner le modèle

Définissez les paramètres de l’entraînement, modifiez la résolution en 128 × 128 et conservez tous les autres paramètres par défaut, puis cliquez sur Enregistrer.

Génération des caractéristiques ; les trois couleurs représentent respectivement trois symboles.

Définissez les paramètres d’entraînement pour la détection d’objets. Le nombre d’époques d’entraînement est par défaut de 60, le taux d’apprentissage de 0,001 et la proportion de l’ensemble de validation de 20 %. Cochez la case « Augmentation des données ». Pour le modèle d’apprentissage transféré, vous pouvez choisir par défaut MobileNetV2 0,35 ou MobileNetV2 0,1. (Remarque : SSD ne peut pas être utilisé, car il n’est pas pris en charge sur OpenMV.)

Sélectionnez « Démarrer l’entraînement ». Une fois l’entraînement terminé, le modèle de réseau neuronal obtenu présente un score F1 de 91,2 % ; nous pouvons enregistrer la version actuelle.

Sélectionnez le stockage, saisissez votre description, puis cliquez sur Enregistrer.

04. Déploiement du modèle

Exporter le fichier du modèle entraîné. Il suffit d’exporter la bibliothèque ; sélectionnez OpenMV, puis cliquez sur « Build » pour lancer le déploiement et l’exportation du modèle.

Il télécharge automatiquement le modèle que nous avons exporté, à savoir ici le modèle entraîné sur nos 300 images, ce qui achève ainsi l’ensemble de notre processus d’entraînement.

05. Exécuter le modèle

Exécuter un modèle sur OpenMV :

Connectez l’OpenMV Plus, copiez les trois fichiers entraînés dans la clé USB intégrée de l’OpenMV, puis ouvrez le fichier ei_object_detection.py dans l’IDE OpenMV. Cliquez sur « Exécuter » ; les résultats de l’exécution s’afficheront dans le terminal série.

Cette fonctionnalité est également compatible avec la OpenMV4. Comme la OpenMV4 ne dispose pas de SDRAM externe, sa mémoire est plus réduite ; nous pouvons donc réduire la taille du modèle afin qu’il puisse fonctionner sur la OpenMV4.

Il existe deux méthodes pour réduire la taille du modèle :

1. Réduire la résolution d’entraînement en passant de 128 × 128 à 96 × 96.

Deuxièmement, modifier le modèle d’apprentissage par transfert utilisé en remplaçant MobileNetV2 0,35 par MobileNetV2 0,1.

Enfin, placez le nouveau fichier entraîné dans l’OpenMV4 pour l’exécuter.

Voici donc notre tutoriel sur la détection des points cibles. Nous attendons vos résultats avec impatience !