Ανίχνευση στόχων με νευρωνικό δίκτυο που εκπαιδεύεται αυτόνομα από το OpenMV – Αναγνώριση τροχαίων σημάτων σε πραγματικό οδικό περιβάλλον

Υπάρχουν δύο εξαιρετικά συνηθισμένες εργασίες της τεχνητής νοημοσύνης στον οπτικό τομέα: η ταξινόμηση και η ανίχνευση στόχων.

Κατηγορία:Καθορίστε σε ποια κατηγορία ανήκει η εικόνα, για παράδειγμα αν είναι γάτα ή σκύλος.

Ανίχνευση στόχων:Χρησιμοποιείται για τον εντοπισμό της θέσης, του αριθμού και των διαστάσεων πολλών διαφορετικών αντικειμένων σε μια εικόνα.

Σε προηγούμενα εκπαιδευτικά βίντεο, εξηγήσαμε πώς να εκπαιδεύσετε ένα νευρωνικό δίκτυο σε πραγματικό χρόνο με τη χρήση του OpenMV4 Plus για την ταξινόμηση διαφορετικών αντικειμένων· αυτό μπορεί να ανιχνεύσει σε πραγματικό χρόνο εάν η εικόνα που εμφανίζεται στο οπτικό πεδίο του OpenMV αντιστοιχεί σε κάποιο συγκεκριμένο αντικείμενο, όπως για παράδειγμα εάν μια ανθρώπινη πρόσωπο φοράει μάσκα. Ωστόσο, δεν μπορεί να επιστρέψει τις συντεταγμένες θέσης του προσώπου ή της μάσκας, ούτε τον αριθμό των προσώπων.

Επειδή η ανίχνευση στόχων είναι πολύ πιο περίπλοκη και απαιτεί πολύ μεγαλύτερη υπολογιστική ισχύ από την ταξινόμηση, είναι πολύ σπάνια στον τομέα των μικροελεγκτών. Το κύριο MCU του OpenMV είναι το STM32H7. Σήμερα, προσθέσαμε μια νέα λειτουργία στο OpenMV, η οποία επιτρέπει την εκτέλεση εργασιών παρόμοιων με την ανίχνευση στόχων σε μικροελεγκτές, με εξαιρετική απόδοση.

Σήμερα θα σας εξηγήσουμεΕκπαίδευση για την ανίχνευση των κυκλοφοριακών σημάτων σε πραγματικές οδικές συνθήκες, ανίχνευση των κυκλοφοριακών σημάτων στους πραγματικούς δρόμους μαςόπως η απαγόρευση χρήσης κορνάρισματος, η απαγόρευση στάθμευσης και ο περιορισμός ταχύτητας σε 80 km/h, αντί για εργαστηριακό περιβάλλον χωρίς παρεμβολές.

Μπορείτε να δείτε ολόκληρο το πρόγραμμα στην ακόλουθη διεύθυνση, όπου περιλαμβάνονται όλος ο κώδικας και τα μοντέλα: https://book.openmv.cc/project/traffic-sign.html

Είναι γνωστό ότι οι πραγματικές συνθήκες είναι εξαιρετικά περίπλοκες, ιδιαίτερα οι οδικές συνθήκες, με πολλά παρεμβαλλόμενα στοιχεία. Χρησιμοποιήσαμε κινητά τηλέφωνα και άλλες συσκευές για να συλλέξουμε εικόνες οδικών σημάνσεων σε πραγματικές συνθήκες και εκπαιδεύσαμε το μοντέλο μας στη διαδικτυακή πλατφόρμα EdgeImpulse των εταίρων μας OpenMV, ετικετοποιώντας περίπου 270 εικόνες. Ο χρόνος εκπαίδευσης ήταν μόλις 10 λεπτά, ενώ η ακρίβεια του εκπαιδευμένου μοντέλου, όπως μετράται από το F1 score, έφτασε το 92%. Ο ρυθμός καρέ του μοντέλου στην OpenMV έφτασε τα 10 καρέ ανά δευτερόλεπτο, εξασφαλίζοντας εξαιρετικά ομαλή και υψηλής ακρίβειας λειτουργία.

Οι χρήστες μπορούν να εκπαιδεύσουν οποιοδήποτε αντικείμενο επιθυμούν να ανιχνεύσουν, βάσει των βιντεομαθημάτων μας, όπως διαφορετικούς αριθμούς, διαφορετικά φρούτα, διαφορετικά σήματα, διαφορετικά εξαρτήματα ή ακόμα και οποιοδήποτε συγκεκριμένο ακανόνιστο αντικείμενο, και να επιτύχουν την αναγνώριση του πλήθους, των συντεταγμένων και των ονομάτων των κατηγοριών των αντικειμένων.

Σημείωση:Αυτό το βίντεο εκπαίδευσης παρουσιάζει τη λειτουργία ανίχνευσης σημείων-στόχων με νευρωνικά δίκτυα, η οποία είναι συμβατή όχι μόνο με το OpenMV4 H7 Plus, αλλά και με το OpenMV4 H7. Αυτό οφείλεται στο γεγονός ότι τα εκπαιδευμένα μοντέλα ανίχνευσης σημείων-στόχων FOMO είναι μικρού μεγέθους, παρέχουν εξαιρετικά αποτελέσματα και έχουν μέγεθος μόλις δεκάδες KB. Ως εκ τούτου, ακόμη και αν η μνήμη λειτουργίας του OpenMV4 H7 είναι μικρότερη από εκείνη του OpenMV4 H7 Plus, μπορούμε να εκπαιδεύσουμε ένα ελαφρώς μικρότερο μοντέλο που θα λειτουργεί στη συσκευή OpenMV4.

Παρακάτω παρουσιάζεται σύντομη εισαγωγή στην αρχή λειτουργίας:

Οι κύριες αποφάσεις σχεδιασμού της ανίχνευσης σημείων στόχου FOMO στην OpenMV βασίζονται στην ιδέα ότι πολλά προβλήματα ανίχνευσης αντικειμένων δεν απαιτούν πραγματικά το μέγεθος των αντικειμένων, αλλά μόνο τη θέση τους στην εικόνα. Μόλις γνωρίζουμε τη θέση των αντικειμένων, μπορούμε να πραγματοποιήσουμε επακόλουθες ενέργειες, όπως τον έλεγχο του ρομποτικού αυτοκινήτου από την OpenMV ώστε να κινηθεί προς τον ανιχνευθέντα στόχο, την προσγείωση του μη επανδρωμένου αεροσκάφους σε συγκεκριμένο σημείο ή τον έλεγχο του μηχανικού βραχίονα για τη λήψη ενός συγκεκριμένου στόχου.

Το μοντέλο FOMO είναι ένα μοντέλο που σχεδιάστηκε ειδικά από την EdgeImpulse για περιβάλλοντα μικροελεγκτών και, σε αντίθεση με τη συνηθισμένη ανίχνευση στόχων, μπορεί να ανιχνεύσει μόνο τις θέσεις και τον αριθμό πολλαπλών στόχων, χωρίς να παρέχει συγκεκριμένες διαστάσεις.

Η βασική αρχή του μοντέλου FOMO είναι εξαιρετικά απλή και ευέλικτη. Αρχικά, διαιρεί την εικόνα σε τμήματα, καθένα από τα οποία έχει διαστάσεις 8×8 εικονοστοιχείων. Για παράδειγμα, μία εικόνα ανάλυσης 96×96 αποτελείται από ένα πλέγμα 12×12 κελιών, ενώ μία εικόνα ανάλυσης 360×360 αποτελείται από ένα πλέγμα 40×40 κελιών. Στη συνέχεια, εκτελείται ανεξάρτητα η ταξινόμηση εικόνων σε κάθε κελί.

Σε σύγκριση με το YOLO V5 ή το MobileNet SSD, το FOMO επιδεικνύει πολύ καλύτερη απόδοση σε μεγάλο αριθμό μικρών αντικειμένων. Η ανίχνευση σημείων στόχου FOMO είναι 30 φορές ταχύτερη από το MobileNet SSD.

Εάν τα αντικείμενα που πρόκειται να ανιχνευθούν έχουν παρόμοια μεγέθη, για παράδειγμα εάν οι σήμανσης που πρόκειται να αναγνωριστούν έχουν κατά βάση παρόμοιες διαστάσεις και όχι εντελώς διαφορετικές (π.χ. ένα εξαιρετικά μεγάλο και ένα εξαιρετικά μικρό αντικείμενο), τότε η απόδοση του FOMO είναι καλύτερη.

Η OpenMV χρησιμοποιεί το διαδικτυακό πλαίσιο εκπαίδευσης νευρωνικών δικτύων EdgeImpulse για την ανίχνευση στόχων, η οποία περιλαμβάνει κυρίως τα ακόλουθα βήματα: συλλογή και ανέβασμα του συνόλου εικονικών δεδομένων, σημείωση των στόχων, εκπαίδευση, δοκιμή του μοντέλου και εγκατάσταση.

* Συλλογή συνόλου δεδομένων εικόνων: Λήψη φωτογραφιών συγκεκριμένων αντικειμένων στο πραγματικό περιβάλλον όπου θα πραγματοποιηθεί η αναγνώριση. Συλλέγουμε πραγματικές εικόνες στο ίδιο περιβάλλον όπου θα γίνει και η αναγνώριση, καθιστώντας έτσι το πραγματικό περιβάλλον εκπαίδευσης και το πραγματικό περιβάλλον ανίχνευσης ουσιαστικά ταυτόσημα, με αποτέλεσμα καλύτερη απόδοση.

*Σημείωση στόχου: Περιγράψτε κάθε αντικείμενο που πρέπει να ανιχνευθεί στο σύνολο δεδομένων μας με ένα πλαίσιο και αντιστοιχίστε το με το όνομά του, προκειμένου να διευκολυνθεί η μεταγενέστερη εκπαίδευση, η ανίχνευση της θέσης του αντικειμένου και το όνομά του.

* Εκπαίδευση μοντέλου: Μετά την ολοκλήρωση της σήμανσης, πραγματοποιείται η εκπαίδευση του μοντέλου με βάση τις παραμέτρους του σχεδιασμένου από εμάς νευρωνικού δικτύου συνέλιξης.

* Δοκιμαστικό μοντέλο: Πραγματοποιούμε δοκιμές με βάση το εκπαιδευμένο μοντέλο· εάν τα αποτελέσματα δεν είναι ικανοποιητικά, αυξάνουμε αντίστοιχα το σύνολο εκπαίδευσης ή προσαρμόζουμε τις παραμέτρους εκπαίδευσης και συνεχίζουμε την εκπαίδευση μέχρι να επιτύχουμε ένα ικανοποιητικό μοντέλο.

*Εγκατάσταση: Μπορούμε απλώς να τοποθετήσουμε τα εκπαιδευμένα αρχεία μοντέλου στην ενσωματωμένη μνήμη USB του OpenMV και να τα εκτελέσουμε.

Παρακάτω παρουσιάζεται η συγκεκριμένη διαδικασία:

01. Συλλογή και ανέβασμα συνόλου δεδομένων εικόνων

Α. Πρώτον, συνδεθείτε στην ιστοσελίδα edgeimpulse.com, επιλέξτε «Σύνδεση», εισαγάγετε το όνομα του νέου έργου και επιλέξτε «Εικόνες»—«Ταξινόμηση πολλαπλών αντικειμένων».

Βήμα 2: Επιλέξτε την εικόνα προς ανέβασμα. Υπάρχουν διάφοροι τρόποι για να αποκτήσετε το σύνολο δεδομένων εικόνων:

1. Λήψη εικόνων σε πραγματικό χρόνο μέσω του OpenMV IDE. Χρησιμοποιήστε το εργαλείο «Επεξεργαστής Συνόλου Δεδομένων» στο OpenMV IDE για να δημιουργήσετε ένα νέο σύνολο δεδομένων και να λάβετε εικόνες σε πραγματικό χρόνο· για λεπτομέρειες, ανατρέξτε στο προηγούμενο βιντεομαθήμα μας για την ταξινόμηση αντικειμένων και την αναγνώριση μάσκας.

2. Εικόνες που έχουν ληφθεί από το διαδίκτυο ή πραγματικές φωτογραφίες με κινητό τηλέφωνο· προτείνεται να αντιστοιχούν όσο το δυνατόν περισσότερο στο πραγματικό περιβάλλον ελέγχου. Έχουμε συγκεντρώσει ένα σύνολο δεδομένων περίπου 400–500 εικόνων που περιλαμβάνουν σήματα τροχαίας κυκλοφορίας, όπως «Απαγορεύεται η στάθμευση», «Απαγορεύεται η χρήση κορνάρισματος» και «Μέγιστη επιτρεπόμενη ταχύτητα 80 km/h», όλες οι οποίες έχουν ληφθεί σε πραγματικές οδούς. Αυτό το σύνολο δεδομένων είναι διαθέσιμο για λήψη από το GitHub και τον ιστότοπο εκπαιδευτικών οδηγιών της SingTown.

02. Στόχος της σήμανσης

Για κάθε κατηγορία ανεβάζονται περίπου 100 εικόνες· μετά την ολοκλήρωση της ανέβασματος των εικόνων, πραγματοποιείται η σήμανση των εικόνων, καταγράφοντας τη θέση και την κατηγορία των αντικειμένων που πρέπει να αναγνωριστούν.

03. Εκπαίδευση του μοντέλου

Ρυθμίστε τις παραμέτρους εκπαίδευσης, αλλάξτε την ανάλυση σε 128×128 και επιλέξτε όλες τις προκαθορισμένες παραμέτρους· στη συνέχεια, κάντε κλικ στο «Αποθήκευση».

Δημιουργία χαρακτηριστικών· οι τρεις διαφορετικές χρωματικές αποχρώσεις αντιπροσωπεύουν τρεις διαφορετικές ενδείξεις.

Ρυθμίστε τις παραμέτρους εκπαίδευσης για την ανίχνευση στόχων. Ο προεπιλεγμένος αριθμός εποχών εκπαίδευσης είναι 60, ο ρυθμός μάθησης είναι 0,001 και το ποσοστό του συνόλου επικύρωσης είναι 20 %. Επιλέξτε την ενεργοποίηση της ενίσχυσης δεδομένων. Για το μοντέλο μεταφερόμενης μάθησης, μπορούμε να επιλέξουμε είτε το προεπιλεγμένο MobileNetV2 0,35 είτε το MobileNetV2 0,1. (Σημείωση: Δεν επιτρέπεται η χρήση του SSD, καθώς το SSD δεν λειτουργεί στην OpenMV.)

Επιλέξτε «Έναρξη εκπαίδευσης». Μετά την ολοκλήρωση της εκπαίδευσης, η τιμή F1 Score του προκύπτοντος νευρωνικού δικτύου είναι 91,2 %· μπορούμε να αποθηκεύσουμε την τρέχουσα έκδοση.

Επιλέξτε αποθήκευση, συμπληρώστε την περιγραφή σας και επιλέξτε «Αποθήκευση».

04. Εγκατάσταση μοντέλου

Εξαγάγετε το εκπαιδευμένο αρχείο μοντέλου. Αρκεί να εξαγάγετε τη βιβλιοθήκη· επιλέξτε το OpenMV και κάντε κλικ στο «Build» για να ξεκινήσει η ανάπτυξη και η εξαγωγή του μοντέλου.

Θα πραγματοποιηθεί αυτόματη λήψη του μοντέλου που εξάγαμε· σε αυτήν την περίπτωση, πρόκειται για το μοντέλο που εκπαιδεύσαμε με 300 εικόνες· με αυτό ολοκληρώνεται η διαδικασία εκπαίδευσής μας.

05. Εκτέλεση του μοντέλου

Εκτέλεση μοντέλου στο OpenMV:

Συνδέστε τη συσκευή OpenMV Plus, αποθηκεύστε τα τρία εκπαιδευμένα αρχεία στο ενσωματωμένο USB drive της OpenMV και ανοίξτε το αρχείο ei_object_detection.py στο OpenMV IDE. Κάντε κλικ στο «Εκτέλεση»· τα αποτελέσματα εκτέλεσης θα εμφανιστούν στον σειριακό τερματικό.

Η λειτουργία αυτή λειτουργεί επίσης στην OpenMV4. Δεδομένου ότι η OpenMV4 δεν διαθέτει εξωτερική SDRAM, η μνήμη της είναι μικρότερη· επομένως, μπορούμε να μειώσουμε το μέγεθος του μοντέλου για να λειτουργεί στην OpenMV4.

Υπάρχουν δύο τρόποι για τη μείωση του μεγέθους του μοντέλου:

Α. Μειώστε την ανάλυση εκπαίδευσης, αλλάζοντας την ανάλυση από 128×128 σε 96×96.

Β. Τροποποίηση του χρησιμοποιούμενου μοντέλου μεταφερόμενης μάθησης, αντικαθιστώντας το MobileNetV2 0.35 με το MobileNetV2 0.1.

Τέλος, το νέο εκπαιδευμένο αρχείο τοποθετείται στην OpenMV4 και εκτελείται.

Παραπάνω παρουσιάστηκε ο οδηγός εντοπισμού σημείων στόχου. Ανυπομονούμε να δούμε τα αποτελέσματά σας!