OpenMV4 Plus utiliza Edge Impulse para entrenar de forma autónoma redes neuronales en el reconocimiento de mascarillas.

En abril del año pasado, lanzamos nuestro nuevo producto OpenMV4 H7 Plus. Hoy, me gustaría presentarles la nueva función de OpenMV4 H7 Plus: utilizar el sitio web en línea de EdgeImpulse para entrenar redes neuronales de forma autónoma y realizar clasificación y reconocimiento.

En este tutorial, utilizarás el aprendizaje automático para construir un sistema de reconocimiento que, mediante la cámara inteligente OpenMV4 H7 Plus, pueda identificar si una persona lleva mascarilla en su rostro, es decir, lograr la clasificación de imágenes.

EdgeImpulse es un sitio web que proporciona servicios de entrenamiento en línea de modelos de redes neuronales para dispositivos integrados. Es nuestro socio de OpenMV y también es socio oficial de STMicroelectronics. Actualmente, EdgeImpulse está disponible de forma gratuita para nuestros usuarios de OpenMV, quienes pueden utilizar EdgeImpulse para entrenar en línea modelos de redes neuronales adecuados para OpenMV sin costo alguno.

Al agregar redes neuronales al dispositivo integrado OpenMV, se pueden implementar funciones como distinguir entre cazadores furtivos y elefantes, realizar control de calidad en líneas de producción de fábricas y permitir que modelos de automóviles a control remoto conduzcan de forma autónoma.

En este tutorial, aprenderás cómo recolectar imágenes para construir un conjunto de datos de alta calidad, cómo aplicar el aprendizaje por transferencia para entrenar una red neuronal y cómo desplegar el sistema en OpenMV.

Además, ofrecemos un tutorial en video que puede buscar en el sitio web oficial "OpenMV4 Plus entrenando redes neuronales para reconocimiento de mascarillas" para verlo.

Puede consultar todo el contenido del proyecto en la siguiente dirección, incluyendo todos los códigos y modelos: https://book.openmv.cc/project/mask.html

El entrenamiento en línea de modelos de redes neuronales para OpenMV utilizando EdgeImpulse se divide principalmente en los siguientes cuatro pasos: recolección de datos, carga, entrenamiento e implementación.

01. Recopilación de conjuntos de datos

En este tutorial, construiremos un modelo capaz de distinguir si una persona lleva o no mascarilla. Por supuesto, también puedes optar por clasificar otros objetos. Para que el modelo de aprendizaje automático funcione, necesitarás recopilar una gran cantidad de imágenes de ejemplo de rostros con y sin mascarilla. Durante el entrenamiento, estas imágenes de ejemplo se utilizarán para que el modelo practique la distinción.

Necesitamos utilizar OpenMV IDE para recopilar nuestro conjunto de datos. Los pasos para capturar imágenes son los siguientes:

Crear dos categorías:

Abra el menú "Herramientas" en OpenMV IDE, seleccione "Editor de conjuntos de datos", haga clic en "Nuevo conjunto de datos", luego cree una nueva carpeta y ábrala. Dentro del conjunto de datos, cree dos carpetas adicionales, nómbrelas "mask" (para guardar fotos de rostros con mascarilla) y "face" (para guardar fotos de rostros sin mascarilla).

Capturar imágenes con OpenMV

Primero conectamos el OpenMV, hacemos clic en "Conectar" en el IDE, luego en "Ejecutar". En el búfer de fotogramas Framebuffer podemos ver la imagen en tiempo real del OpenMV. Al hacer clic en el botón de fotografía en la barra de menú izquierda, el OpenMV guardará automáticamente esta imagen, que constituye un dato dentro del conjunto de datos.

Primero, debemos guardar el rostro de la persona con mascarilla. Al hacer clic en el botón de la foto, el IDE tomará una imagen en la parte inferior, que se nombrará automáticamente como 00000, luego la siguiente será 00001, y así sucesivamente.

Utilice OpenMV para capturar respectivamente 200 fotografías de rostros con mascarilla (100 de hombres y 100 de mujeres) y 200 fotografías de rostros sin mascarilla (100 de hombres y 100 de mujeres).

* Nota: Asegúrese de capturar fotografías desde varios ángulos para garantizar la diversidad en nuestro entrenamiento y aprendizaje.

Si durante el proceso de recolección se descubre que una imagen no ha sido capturada de manera óptima, puede hacer clic derecho sobre ella y seleccionar eliminar.

02. Subir

Después de recopilar imágenes con OpenMV, necesitas registrarte e iniciar sesión en el sitio web oficial de EdgeImpulse (https://edgeimpulse.com/) para comenzar a subir las imágenes. Los pasos para subir las imágenes son:

Cree un nuevo proyecto en EdgeImpulse, haga clic en "keys", seleccione "API Key" y copie la "API Key". Utilice la API Key para conectar OpenMV IDE con Edge Impulse.

Seleccione "Herramientas" en la barra de menú superior de OpenMV IDE, luego "Editor de datos", "Exportar", "Subir", "Subir mediante clave API", copie la "Clave API" y súbala.

Los datos se dividirán automáticamente en conjuntos de entrenamiento y prueba durante la carga. Por defecto, seleccionamos la proporción "80% y 20%". Hemos recopilado más de 400 imágenes faciales en total, donde el 80% de los datos de entrenamiento se utilizan para entrenar, y el 20% restante se destina al conjunto de prueba.

03. Conjunto de datos de entrenamiento

Con el conjunto de datos preparado, puedes entrenarlo en la interfaz web de EdgeImpulse.

Módulo de procesamiento de configuración:

Primero seleccione "Impulse Design", configure el módulo de procesamiento:

* Establecer las dimensiones predeterminadas de la imagen en "96 x 96";

* Seleccione el módulo "Imágenes" para indicar que estamos realizando un entrenamiento de clasificación de imágenes (también puede utilizar EdgeImpulse para clasificar sonidos, videos, etc.);

* Seleccione "Aprendizaje por Transferencia (Imágenes) Transfer Learning (Images)", configure el modelo de aprendizaje;

Seleccione "Guardar impulso Save", si aparece "Successfully", la configuración se ha completado con éxito.

Preprocesamiento de imágenes:

Haga clic en "Imagen" en el menú izquierdo, establezca el formato de color en "RGB" y luego haga clic en "Guardar".

A continuación, seleccione "Generar características" para iniciar el proceso. Se realizará el preprocesamiento de imágenes para más de 400 conjuntos de datos, y se mostrará una visualización 3D del conjunto de datos completo en el lado derecho.

Configurar el modelo de aprendizaje por transferencia

Haga clic en "Transfer learning" en el menú izquierdo, seleccione todos los parámetros de configuración como predeterminados o modifíquelos según sea necesario:

1. Establecer el número de ciclos de entrenamiento Number of training cycles por defecto en 10

2. Establecer la tasa de aprendizaje Learning rate en 0.0005

3. Puede marcar o no marcar "Aumento de datos Data augmentation

4. Establecer la calificación de confianza mínima Minimum confidence rating por defecto en 0.8.

Haga clic en "Iniciar entrenamiento Start training". El proceso de entrenamiento dura aproximadamente 4 a 5 minutos.

Una vez completado el entrenamiento del modelo, puede revisar la precisión, la matriz de confusión y el rendimiento esperado del dispositivo.

Prueba del modelo:

Una vez completado el entrenamiento, utilizaremos los datos de prueba para evaluar el modelo.

Seleccione "Prueba de modeloModel testing", marque la casilla junto a "Nombre de muestraSample name" y haga clic en "Clasificar seleccionadosClassify selected". La precisión mostrada aquí alcanza el 97%, lo cual es notable para un modelo con tan pocos datos.

La imagen que se muestra en rojo es incierta. Haga clic en los tres puntos a la derecha de esta imagen, seleccione "Mostrar clasificación Show classification" y accederá a la interfaz de "Clasificación en tiempo real", que contiene más detalles del archivo. Esta interfaz le ayudará a determinar la razón del error de clasificación de la imagen.

Si los datos están fuera de todos los clústeres conocidos (con mascarilla/sin mascarilla), esto podría ser información que no coincide con ninguna categoría vista anteriormente, posiblemente debido a que el cabello cubre la mayor parte del rostro.

04. Ejecutar el modelo en OpenMV

Tras completar los pasos de diseño de entrenamiento, entrenamiento del modelo y validación del modelo, puedes exportar este modelo a tu OpenMV. Selecciona "OpenMV", elige "Build" para generar, y automáticamente se crearán tres archivos:

trained.tflite modelo de red neuronal entrenado

* labels.txt dos etiquetas de clasificación (face y mask)

* ei_image_classification.py es el código que debe ejecutarse en OpenMV

Conecte OpenMV IDE y guarde estos 3 archivos en la memoria Flash interna de OpenMV. Abra el archivo ei_image_classification.py en OpenMV IDE para ver el código que acabamos de generar en EdgeImpulse. Haga clic en ejecutar y los resultados de la operación se mostrarán en el terminal serie.

Bien, ya has logrado agregar la funcionalidad de entrenar redes neuronales por ti mismo a OpenMV.

Esperamos sus resultados.