Détection de points cibles par réseau neuronal entraîné localement avec OpenMV – Reconnaissance de panneaux de signalisation dans un environnement routier réel

L’intelligence artificielle comporte deux tâches très courantes dans le domaine de la vision : la classification et la détection d’objets.

Catégorie :Déterminer à quelle catégorie appartient l’image, par exemple si celle-ci représente un chat ou un chien.

Détection d’objets :Utilisé pour déterminer la position, le nombre et les dimensions de plusieurs objets distincts présents dans une image.

Dans les tutoriels vidéo précédents, nous avons expliqué comment entraîner en ligne un réseau de neurones à l’aide de la caméra OpenMV4 Plus afin de classifier différents objets. Ce système permet de déterminer en temps réel si une image située dans le champ de vision de la caméra OpenMV correspond à un objet donné, par exemple si une personne porte un masque facial. Toutefois, il ne fournit pas les coordonnées de position du visage ou du masque, ni le nombre total de visages détectés.

Étant donné que la détection d’objets est beaucoup plus complexe et gourmande en calculs que la classification, elle est très rare dans le domaine des microcontrôleurs. Le microcontrôleur principal d’OpenMV est le STM32H7. Aujourd’hui, nous avons ajouté une nouvelle fonctionnalité à OpenMV qui permet d’exécuter des tâches similaires à la détection d’objets directement sur un microcontrôleur, avec des performances remarquables.

Aujourd’hui, nous allons vous expliquerEntraînement démontrant la détection des panneaux de signalisation dans un environnement routier réel, détectant les panneaux de signalisation présents sur nos routes réellespar exemple, l’interdiction de klaxonner, l’interdiction de stationner, la limitation de vitesse à 80 km/h, etc., et non pas un environnement de laboratoire sans interférence.

Vous pouvez consulter l’intégralité du projet, y compris tout le code et tous les modèles, à l’adresse suivante : https://book.openmv.cc/project/traffic-sign.html

Il est bien connu que l’environnement réel est très complexe, en particulier l’environnement routier, où de nombreux facteurs perturbateurs sont présents. Nous avons capturé des images de panneaux de signalisation dans des environnements réels à l’aide de téléphones portables et d’autres appareils, puis nous avons entraîné notre modèle sur le site en ligne EdgeImpulse, partenaire d’OpenMV, en annotant approximativement 270 images. Le temps d’entraînement requis n’était que de 10 minutes, et la précision du modèle obtenu, mesurée par le score F1, atteignait 92 %. Le débit d’images du modèle exécuté sur OpenMV était de 10 images par seconde, offrant ainsi une performance fluide et une précision élevée.

Vous pouvez former le système pour détecter n’importe quel objectif souhaité, en suivant nos tutoriels vidéo : chiffres variés, fruits différents, panneaux distincts, pièces diverses ou encore tout objet irrégulier spécifique. Le système permet ainsi d’identifier le nombre, les coordonnées et le nom de la catégorie de chaque objectif détecté.

Remarque :Cette vidéo tutorielle présente la fonction de détection de points cibles par réseau neuronal, qui est compatible non seulement avec l’OpenMV4 H7 Plus, mais aussi avec l’OpenMV4 H7, car le modèle entraîné de détection de points cibles FOMO est peu volumineux, offre d’excellents résultats et ne fait que quelques dizaines de ko ; même si la mémoire vive de l’OpenMV4 H7 est inférieure à celle de la version Plus, il est possible d’entraîner un modèle légèrement plus petit pour son exécution sur l’OpenMV4.

Voici ci-dessous une brève présentation du principe :

Les principales décisions de conception relatives à la détection des points cibles FOMO sur OpenMV reposent sur l’idée suivante : de nombreux problèmes de détection d’objets ne nécessitent pas réellement la taille des objets, mais uniquement leur position dans l’image. Une fois que nous connaissons la position des objets, nous pouvons effectuer des opérations ultérieures, telles que le contrôle d’un petit véhicule par OpenMV afin qu’il se déplace vers la cible détectée, l’atterrissage précis d’un drone ou encore le contrôle d’un bras robotique pour saisir un objet cible spécifique.

Le modèle FOMO est un modèle spécialement conçu par EdgeImpulse pour les environnements à base de microcontrôleurs ; contrairement à la détection d’objets classique, il permet uniquement de détecter la position et le nombre de plusieurs objets, sans fournir leurs dimensions précises.

Le principe fondamental du modèle FOMO est très simple et souple. Il commence par diviser l’image en blocs de 8 × 8 pixels. Pour une image de résolution 96 × 96, cela donne une grille de 12 × 12 cellules. Pour une image de résolution 360 × 360, cela donne une grille de 40 × 40 cellules. Ensuite, une classification d’image est exécutée indépendamment sur chaque cellule.

Par rapport à YOLO V5 ou MobileNet SSD, FOMO offre de bien meilleures performances sur un grand nombre de petits objets. La détection de points cibles FOMO est 30 fois plus rapide que MobileNet SSD.

Si les objets à détecter ont des dimensions similaires, par exemple si les dimensions des repères à identifier sont globalement comparables et non pas très différentes (un objet très grand et un autre très petit), les performances de FOMO seront meilleures.

OpenMV utilise EdgeImpulse pour l’entraînement en ligne des réseaux de neurones destinés à la détection de points cibles, ce qui comprend principalement les étapes suivantes : acquisition et téléchargement du jeu de données d’images, annotation des cibles, entraînement, test du modèle et déploiement.

* Collecte d’un jeu de données d’images : acquisition d’images spécifiques des objets à détecter dans les environnements réels concernés. Nous procédons à la collecte d’images réelles dans les mêmes environnements où la détection sera effectuée, afin que l’environnement réel d’entraînement soit pratiquement identique à l’environnement réel de détection, ce qui améliore les performances.

*Objectif de l’annotation : encadrer chaque objet à détecter dans notre jeu de données et associer à chaque cadre le nom correspondant de l’objet, afin de faciliter l’entraînement ultérieur, la détection de la position des objets ainsi que de leurs noms.

* Modèle d’entraînement : Une fois l’annotation terminée, le modèle est entraîné selon les paramètres du réseau de neurones convolutifs que nous avons conçus.

* Modèle de test : Nous effectuons des tests sur le modèle entraîné. Si les résultats ne sont pas satisfaisants, nous augmentons respectivement l’ensemble de données d’entraînement ou ajustons les paramètres d’entraînement, puis nous poursuivons l’entraînement jusqu’à obtenir un modèle satisfaisant.

* Déploiement : Il suffit de placer les fichiers du modèle entraîné sur la clé USB intégrée à OpenMV pour les exécuter.

Voici une démonstration du processus précis :

01. Collecte et téléchargement du jeu de données d’images

I. Tout d’abord, connectez-vous au site web edgeimpulse.com, sélectionnez « Connexion », saisissez le nom du projet nouvellement créé, puis choisissez « Images » — « Classifier plusieurs objets »

Deuxièmement, sélectionnez l’image à télécharger. Il existe plusieurs façons d’obtenir un jeu de données d’images :

1. Acquisition d’images en temps réel via l’IDE OpenMV. Utilisez l’outil « Éditeur de jeux de données » intégré à l’IDE OpenMV pour créer un nouveau jeu de données et acquérir des images en temps réel. Pour plus de détails, consultez notre tutoriel vidéo précédent sur la classification d’objets et la détection des masques.

2. Des images téléchargées depuis Internet ou prises directement avec un téléphone portable. Il est préférable que ces images correspondent à l’environnement réel dans lequel vous effectuez la détection. Nous avons préparé environ quatre à cinq cents images de panneaux de signalisation tels que « Stationnement interdit », « Klaxon interdit » et « Vitesse maximale 80 km/h », toutes capturées sur des routes réelles. Ce jeu de données est téléchargeable depuis notre dépôt GitHub ainsi que depuis notre site web de tutoriels.

02. Cibler les annotations

Pour chaque catégorie, environ 100 images sont téléchargées ; une fois le téléchargement des images terminé, celles-ci doivent être annotées afin d’indiquer la position et la catégorie des objets à détecter.

03. Entraîner le modèle

Définissez les paramètres de l’entraînement, modifiez la résolution en 128 × 128, sélectionnez tous les paramètres par défaut, puis cliquez sur Enregistrer.

Génération des caractéristiques, où les trois couleurs représentent respectivement les trois marques.

Configurer les paramètres de l’entraînement pour la détection d’objets. Le nombre d’époques d’entraînement est par défaut de 60, le taux d’apprentissage est de 0,001 et la proportion de l’ensemble de validation est de 20 %. Cochez la case « Augmentation des données ». Pour le modèle d’apprentissage transféré, vous pouvez choisir par défaut MobileNetV2 0,35 ou MobileNetV2 0,1. (Remarque : SSD ne doit pas être utilisé, car il n’est pas exécutable sur OpenMV.)

Sélectionnez Démarrer l’entraînement. Une fois l’entraînement terminé, le modèle de réseau neuronal obtenu présente un score F1 de 91,2 % ; nous pouvons enregistrer la version actuelle.

Sélectionnez le stockage, renseignez votre description, puis sélectionnez Enregistrer.

04. Déploiement du modèle

Exporter le fichier du modèle entraîné. Il suffit d’exporter la bibliothèque ; sélectionnez OpenMV, puis cliquez sur Build pour lancer le déploiement et l’exportation du modèle.

Il téléchargera automatiquement le modèle que nous avons exporté, à savoir ici le modèle entraîné sur nos 300 images, ce qui achève ainsi l’intégralité de notre processus d’entraînement.

05. Exécution du modèle

Exécution du modèle sur OpenMV :

Connectez l’OpenMV Plus, enregistrez les trois fichiers entraînés dans la clé USB intégrée de l’OpenMV, puis ouvrez le fichier ei_object_detection.py dans l’IDE OpenMV. Cliquez sur Exécuter ; les résultats de l’exécution s’afficheront dans le terminal série.

Cette fonctionnalité peut également être exécutée sur la carte OpenMV4. Comme la carte OpenMV4 ne dispose pas de SDRAM externe, sa mémoire est plus réduite ; nous pouvons donc réduire la taille du modèle afin qu’il puisse fonctionner sur la carte OpenMV4.

Il existe deux méthodes pour réduire la taille du modèle :

I. Réduire la résolution d’entraînement en passant d’une résolution de 128 × 128 à 96 × 96.

Deuxièmement, modifier le modèle d’apprentissage par transfert utilisé en remplaçant MobileNetV2 0.35 par MobileNetV2 0.1.

Enfin, placez le nouveau fichier entraîné dans l’OpenMV4 pour l’exécuter.

Voilà notre tutoriel sur la détection des points cibles. Nous attendons vos réalisations avec impatience !