Détection de points cibles par réseau neuronal entraîné localement avec OpenMV – Reconnaissance de panneaux de signalisation dans des environnements routiers réels

Il existe deux tâches très courantes de l’intelligence artificielle dans le domaine de la vision : la classification et la détection d’objets.

Catégorie :Déterminer à quelle catégorie appartient l’image, par exemple si celle-ci représente un chat ou un chien.

Détection d’objets :Permet de déterminer la position, le nombre et les dimensions de plusieurs objets distincts présents dans une image.

Dans les tutoriels vidéo précédents, nous avons expliqué comment entraîner en ligne un réseau de neurones à l’aide de la carte OpenMV4 Plus afin de classifier différents objets. Ce système permet de déterminer en temps réel si une image située dans le champ de vision de la carte OpenMV correspond à un objet donné, par exemple s’un visage porte ou non un masque ; toutefois, il ne fournit pas les coordonnées de localisation du visage ou du masque, ni le nombre total de visages détectés.

La détection d’objets étant nettement plus complexe et gourmande en ressources calculatoires que la classification, elle est très rare dans le domaine des microcontrôleurs. Le microcontrôleur principal d’OpenMV est le STM32H7 ; nous avons désormais ajouté une nouvelle fonctionnalité à OpenMV permettant d’exécuter des tâches similaires à la détection d’objets directement sur microcontrôleur, avec des performances remarquables.

Aujourd’hui, nous allons vous expliquerEntraînement démontrant la détection des panneaux de signalisation dans un environnement routier réel, détectant les panneaux de signalisation présents sur nos routes réellespar exemple, l’interdiction de klaxonner, l’interdiction de stationner, la limitation de vitesse à 80 km/h, etc., et non pas un environnement de laboratoire exempt d’interférences.

Vous pouvez consulter l’intégralité du projet, y compris tout le code et tous les modèles, à l’adresse suivante : https://book.openmv.cc/project/traffic-sign.html

Il est bien connu que l’environnement réel est extrêmement complexe, notamment en ce qui concerne les infrastructures routières, où de nombreux facteurs perturbateurs sont présents. Nous avons utilisé des appareils tels que des smartphones pour capturer des images de panneaux de signalisation dans des environnements réels, puis nous avons entraîné notre modèle sur le site en ligne EdgeImpulse, partenaire d’OpenMV. Environ 270 images ont été annotées manuellement, et l’entraînement n’a nécessité que 10 minutes. Le modèle obtenu présente un score F1 de précision atteignant 92 %, tandis que son taux d’images par seconde sur OpenMV s’élève à 10 ips, offrant ainsi une exécution fluide et une précision élevée.

Vous pouvez former le système à détecter n’importe quel objet souhaité en suivant nos tutoriels vidéo, par exemple différents chiffres, divers fruits, divers repères, différentes pièces ou encore tout autre objet spécifique de forme irrégulière. Le système permet ainsi d’identifier le nombre d’objets, leurs coordonnées ainsi que leurs dénominations spécifiques.

Remarque :Cette vidéo tutorielle présente la fonction de détection de points cibles par réseau neuronal, qui est compatible non seulement avec l’OpenMV4 H7 Plus, mais aussi avec l’OpenMV4 H7, car les modèles entraînés de détection de points cibles FOMO sont peu volumineux, offrent d’excellents résultats et ne pèsent que quelques dizaines de ko ; même si la mémoire vive de l’OpenMV4 H7 est inférieure à celle de la version Plus, il est possible d’entraîner un modèle légèrement plus petit afin qu’il fonctionne sur l’OpenMV4.

Voici ci-dessous une brève présentation du principe :

Les principales décisions de conception relatives à la détection de points cibles FOMO sur OpenMV reposent sur l’idée suivante : de nombreux problèmes de détection d’objets ne nécessitent pas la taille des objets, mais uniquement leur position dans l’image. Une fois la position des objets connue, des opérations ultérieures peuvent être effectuées, telles que le contrôle d’un petit véhicule par OpenMV afin qu’il se déplace vers la cible détectée, l’atterrissage précis d’un drone ou encore le contrôle d’un bras robotique pour saisir un objet cible spécifique.

Le modèle FOMO est un modèle spécialement conçu par EdgeImpulse pour les environnements à base de microcontrôleurs ; contrairement aux détections d’objets classiques, il permet uniquement de détecter la position et le nombre de plusieurs objets, sans toutefois fournir leurs dimensions exactes.

Le principe fondamental du modèle FOMO est très simple et souple. Il commence par diviser l’image en blocs de 8 × 8 pixels chacun. Pour une image de résolution 96 × 96, cela donne une grille de 12 × 12 cellules ; pour une image de résolution 360 × 360, cela donne une grille de 40 × 40 cellules. Ensuite, une classification d’image est exécutée indépendamment sur chaque cellule.

Par rapport à YOLO V5 ou MobileNet SSD, FOMO offre de bien meilleures performances sur un grand nombre de petits objets. La détection de points cibles par FOMO est 30 fois plus rapide que celle par MobileNet SSD.

Si les objets à détecter présentent des dimensions similaires — par exemple, si les repères à identifier ont des tailles approximativement identiques, plutôt qu’un objet très grand et un autre très petit — les performances de FOMO seront meilleures.

OpenMV utilise EdgeImpulse pour l’entraînement en ligne de réseaux neuronaux destinés à la détection de points cibles, ce qui comprend principalement les étapes suivantes : acquisition et téléchargement du jeu de données d’images, annotation des cibles, entraînement, test du modèle et déploiement.

* Acquisition d’un jeu de données d’images : prise de photographies des objets spécifiques à identifier dans l’environnement réel concerné. Nous effectuons la capture d’images dans le même environnement que celui dans lequel l’identification sera réalisée, afin que l’environnement réel d’entraînement et l’environnement réel de détection soient essentiellement identiques, ce qui permet d’obtenir de meilleurs résultats.

* Objectif de l’annotation : encadrer chaque objet à détecter dans notre jeu de données et associer à chaque cadre le nom correspondant de l’objet, afin de faciliter l’entraînement ultérieur ainsi que la détection de la position et du nom des objets.

* Modèle d’entraînement : une fois l’annotation terminée, le modèle est entraîné selon les paramètres du réseau de neurones convolutifs que nous avons conçus.

* Modèle de test : Nous effectuons des tests sur le modèle entraîné ; si les résultats ne sont pas satisfaisants, nous augmentons respectivement l’ensemble de données d’entraînement ou ajustons les paramètres d’entraînement, puis poursuivons l’entraînement jusqu’à l’obtention d’un modèle satisfaisant.

* Déploiement : Il suffit de placer les fichiers du modèle entraîné sur la clé USB intégrée à OpenMV pour les exécuter.

Voici une démonstration du processus précis :

01. Collecte et téléchargement du jeu de données d’images

I. Tout d’abord, connectez-vous au site web edgeimpulse.com, sélectionnez « Connexion », saisissez le nom du projet nouvellement créé, puis choisissez « Images » — « Classifier plusieurs objets »

Deuxième étape : sélectionnez l’image à télécharger. Plusieurs méthodes permettent d’obtenir des jeux de données d’images :

1. Acquisition d’images en temps réel à l’aide de l’IDE OpenMV. Utilisez l’outil « Éditeur de jeux de données » intégré à l’IDE OpenMV pour créer un nouveau jeu de données et acquérir des images en temps réel ; pour plus de détails, consultez notre précédent tutoriel vidéo sur la classification d’objets et la détection de masques.

2. Utilisez des images téléchargées depuis Internet ou prises directement avec un téléphone portable. Il est préférable qu’elles correspondent à l’environnement réel dans lequel vous effectuez la détection. Nous avons préparé quatre à cinq cents images de panneaux de signalisation routière, notamment « Stationnement interdit », « Klaxon interdit » et « Vitesse maximale 80 », toutes capturées sur des routes réelles. Ce jeu de données est téléchargeable depuis notre dépôt GitHub ainsi que depuis notre site de tutoriels.

02. Objectif de l’annotation

Pour chaque catégorie, environ 100 images sont téléchargées ; une fois le téléchargement des images terminé, celles-ci doivent être annotées afin d’indiquer la position et la catégorie des objets à détecter.

03. Entraînement du modèle

Définissez les paramètres de l’entraînement, modifiez la résolution en 128 × 128, et conservez tous les autres paramètres par défaut ; cliquez ensuite sur « Enregistrer ».

Génération des fonctionnalités : les trois couleurs représentent respectivement les trois marques.

Définir les paramètres d’entraînement pour la détection d’objets. Le nombre d’époques d’entraînement est par défaut de 60, le taux d’apprentissage de 0,001 et la proportion de l’ensemble de validation de 20 %. Cochez la case « Augmentation des données ». Pour le modèle d’apprentissage transféré, vous pouvez choisir par défaut MobileNetV2 0,35 ou MobileNetV2 0,1. (Remarque : SSD ne peut pas être utilisé, car il n’est pas exécutable sur OpenMV.)

Sélectionnez « Démarrer l’entraînement ». Une fois l’entraînement terminé, le score F1 du modèle de réseau neuronal obtenu est de 91,2 % ; nous pouvons enregistrer la version actuelle.

Sélectionnez un emplacement de stockage, saisissez votre description, puis cliquez sur « Enregistrer ».

04. Déploiement du modèle

Exporter le fichier du modèle entraîné. Il suffit d’exporter la bibliothèque ; sélectionnez OpenMV, puis cliquez sur « Build » pour lancer le déploiement et l’exportation du modèle.

Il téléchargera automatiquement le modèle que nous avons exporté ; ici, il s’agit du modèle entraîné à partir de nos 300 images, ce qui achève ainsi l’intégralité de notre processus d’entraînement.

05. Exécution du modèle

Exécution du modèle sur OpenMV :

Connectez l’OpenMV Plus, enregistrez les trois fichiers entraînés sur la clé USB intégrée de l’OpenMV, puis ouvrez le fichier ei_object_detection.py dans l’IDE OpenMV. Cliquez sur « Exécuter » ; les résultats de l’exécution s’afficheront dans le terminal série.

Cette fonctionnalité peut également être exécutée sur la carte OpenMV4. Comme celle-ci ne dispose pas de SDRAM externe, sa mémoire est plus réduite ; nous pouvons donc réduire la taille du modèle afin de permettre son exécution sur la carte OpenMV4.

Il existe deux méthodes permettant de réduire la taille du modèle :

I. Réduire la résolution d’entraînement en passant d’une résolution de 128 × 128 à une résolution de 96 × 96.

Deuxièmement, modifier le modèle d’apprentissage par transfert utilisé en remplaçant MobileNetV2 0.35 par MobileNetV2 0.1.

Enfin, le nouveau fichier entraîné peut être déployé et exécuté sur la carte OpenMV4.

Voici donc notre tutoriel sur la détection des points cibles. Nous attendons avec impatience vos résultats !