OpenMV4 Plus utiliza o Edge Impulse para treinar uma rede neural personalizada para reconhecimento de máscaras SingTown.

Em abril do ano passado, nosso novo produto OpenMV4 H7 Plus foi lançado. Hoje, vou apresentar a nova funcionalidade do OpenMV4 H7 Plus: utilizar o site online EdgeImpulse para treinar redes neurais de forma independente e realizar reconhecimento por classificação.

Neste tutorial, você utilizará aprendizado de máquina para construir um sistema de reconhecimento que, por meio da câmera inteligente OpenMV4 H7 Plus, identifica se uma pessoa está usando máscara facial, ou seja, realiza classificação de imagens.

EdgeImpulse é um site que fornece serviços de treinamento online de modelos de redes neurais para dispositivos embarcados. É nosso parceiro no OpenMV e também é um parceiro oficial da STMicroelectronics. Atualmente, o EdgeImpulse está disponível gratuitamente para nossos usuários do OpenMV, permitindo que eles utilizem a plataforma para treinar modelos de redes neurais adequados para o OpenMV sem custos.

A adição de redes neurais ao dispositivo embarcado OpenMV permite distinguir caçadores furtivos de elefantes, realizar controle de qualidade em linhas de produção de fábricas e permitir que carros de modelo controlados remotamente dirijam sozinhos, entre outras funcionalidades.

Neste tutorial, você aprenderá como coletar imagens para construir um conjunto de dados de alta qualidade, como aplicar o aprendizado por transferência para treinar uma rede neural e como implantar o sistema no OpenMV.

Além disso, também fornecemos um tutorial em vídeo, que pode ser assistido pesquisando por "OpenMV4 Plus Treinamento de Rede Neural para Reconhecimento de Máscaras" no site oficial.

Você pode ver todo o conteúdo do projeto no seguinte endereço, incluindo todos os códigos e modelos: https://book.openmv.cc/project/mask.html

O treinamento online de modelos de rede neural para OpenMV usando EdgeImpulse é dividido principalmente nas quatro etapas a seguir: coleta de dados, upload, treinamento e implantação.

01、Coleta de Dados

Neste tutorial, construiremos um modelo capaz de distinguir se uma pessoa está usando máscara facial ou não. Claro, você também pode optar por classificar outros objetos. Para que o modelo de aprendizado de máquina funcione, é necessário coletar um grande número de imagens de exemplo de rostos com e sem máscara. Durante o treinamento, essas imagens de exemplo são utilizadas para que o modelo pratique a distinção.

Precisamos utilizar o OpenMV IDE para coletar nosso conjunto de dados. As etapas para capturar as imagens são as seguintes:

Criar duas categorias:

Abra o menu "Ferramentas" no OpenMV IDE, selecione "Editor de Conjunto de Dados", clique em "Novo Conjunto de Dados", crie uma nova pasta e abra-a. Dentro do conjunto de dados, crie duas pastas nomeadas como "mask" (para salvar fotos de rostos com máscara) e "face" (para salvar fotos de rostos sem máscara).

Coletar imagens com OpenMV

Primeiro, conectamos o OpenMV, clicamos em "Conectar" no IDE, depois em "Executar". No buffer de quadros Framebuffer, podemos ver a imagem em tempo real do OpenMV. Ao clicar no botão de foto na barra de menu à esquerda, o OpenMV salvará automaticamente essa imagem, que é um dos dados no conjunto de dados.

Primeiro, precisamos salvar o rosto de uma pessoa usando máscara. Ao clicar no botão da foto, o IDE capturará uma imagem na parte inferior, que será automaticamente nomeada como 00000, e a próxima será 00001, e assim por diante.

Coletar 200 fotos de rostos usando OpenMV, sendo 100 de pessoas usando máscara (50 homens e 50 mulheres) e 100 de pessoas sem máscara (50 homens e 50 mulheres).

* Observação: Certifique-se de capturar fotos de vários ângulos para garantir a diversidade do nosso treinamento e aprendizado.

Se durante a coleta você perceber que uma imagem não foi capturada perfeitamente, pode clicar com o botão direito nela e selecionar excluir.

02. Upload

Após coletar as imagens com o OpenMV, você precisa se registrar e fazer login no site oficial do EdgeImpulse (https://edgeimpulse.com/) para começar a fazer o upload das imagens. As etapas para fazer o upload das imagens são:

Crie um novo projeto no EdgeImpulse, clique em "keys", selecione "API Key" e copie a "API Key". Use a API Key para conectar o OpenMV IDE ao Edge Impulse.

Selecione "Ferramentas" – "Editor de Dados" – "Exportar" – "Upload" – "Upload via Chave de API" na barra de menu superior do OpenMV IDE, copie a "Chave de API" e faça o upload.

Os dados serão automaticamente divididos em conjuntos de treinamento e teste durante o upload. Por padrão, selecionamos a proporção de "80% e 20%". Coletamos mais de 400 imagens de rostos, onde 80% dos Training Date significa que 80% dos dados são usados para treinamento por padrão, e os 20% restantes são utilizados como conjunto de teste.

03. Conjunto de Dados de Treinamento

Com o conjunto de dados preparado, você pode treiná-lo na interface do site do EdgeImpulse.

* Módulo de Processamento de Configuração:

Primeiro, selecione "Impulse Design" e configure o módulo de processamento:

* Definir a proporção padrão da imagem como "96 x 96";

* Selecione o módulo "Imagens", indicando que estamos realizando treinamento de classificação de imagens (você também pode usar o EdgeImpulse para classificar sons, vídeos, etc.);

* Selecione "Aprendizado por Transferência (Imagens) Transfer Learning (Images)", configure o modelo de aprendizado;

Selecione "Salvar impulso Save", se aparecer "Successfully", a configuração foi bem-sucedida.

Pré-processamento de imagem:

Clique em "Imagem" no menu à esquerda, defina o formato de cor como "RGB" e, em seguida, clique em "Salvar".

Em seguida, selecione "Gerar características" para iniciar o processo, que realizará o pré-processamento de imagens em mais de 400 conjuntos de dados, e uma visualização 3D do conjunto de dados completo será exibida à direita.

Configurar o modelo de aprendizado por transferência

Clique em "Transferência de Aprendizado (Transfer learning)" no menu esquerdo. Selecione todos os parâmetros como padrão ou altere-os conforme necessário.

1. Defina o número padrão de ciclos de treinamento Number of training cycles como 10

2. Defina a taxa de aprendizado (Learning rate) como 0,0005

3. Pode marcar ou não a opção "Aumento de dados Data augmentation

4. Defina a classificação mínima de confiança Minimum confidence rating como 0.8 por padrão.

Clique em "Iniciar treinamento Start training". O processo de treinamento leva aproximadamente 4 a 5 minutos.

Após o treinamento do modelo, você pode verificar a precisão, a matriz de confusão e o desempenho esperado do dispositivo.

* Modelo de teste:

Após o treinamento, utilizaremos dados de teste para verificar o modelo.

Selecione "Teste de modelo", marque a caixa de seleção ao lado de "Nome da amostra" e clique em "Classificar selecionado". A precisão exibida aqui atingiu 97%, o que é notável para um modelo com dados tão limitados.

Descobriu que esta imagem exibida em vermelho é incerta. Clique nos três pontos à direita da imagem, selecione "Mostrar classificação Show classification" e você entrará na interface de "Classificação em tempo real", que contém mais detalhes do arquivo. Esta interface ajudará a determinar o motivo da classificação incorreta da imagem.

Se os dados estiverem fora de todos os clusters conhecidos (com máscara/sem máscara), isso pode ser um dado que não corresponde a nenhuma categoria vista anteriormente – possivelmente devido ao rosto estar majoritariamente coberto por cabelo.

04. Executar o modelo no OpenMV

Após concluir as etapas de design de treinamento, treinamento do modelo e validação do modelo, você pode exportar este modelo para o seu OpenMV. Selecione "OpenMV", escolha "Build" para gerar, e ele automaticamente criará 3 arquivos:

trained.tflite modelo de rede neural treinado

labels.txt duas categorias de rótulos (face e mask)

* ei_image_classification.py é o código a ser executado no OpenMV

Conecte-se ao OpenMV IDE e salve esses 3 arquivos no Flash interno do OpenMV. Abra o arquivo ei_image_classification.py no OpenMV IDE para visualizar o código que acabamos de gerar no EdgeImpulse. Clique em executar e o resultado da operação será exibido no terminal serial.

Ok, você já adicionou com sucesso a funcionalidade de treinar redes neurais por conta própria ao OpenMV.

Aguardamos ansiosamente pelos seus resultados!