OpenMVによる独自のニューラルネットワークを用いた対象点検出―実際の道路環境における交通標識認識

人工知能は、視覚分野において、分類と物体検出という二つの非常に一般的なタスクを有しています。

分類：画像がどのカテゴリに属するかを判定します（例：猫または犬）。

物体検出：画像内の複数の異なる対象物の位置、数量およびサイズを特定するための機能です。

以前の動画チュートリアルでは、OpenMV4 Plusを用いたオンライン学習によりニューラルネットワークを訓練し、さまざまな物体を分類する方法について解説しました。これにより、OpenMVの視野内に映る画像が特定の物体であるかどうかをリアルタイムで判定することが可能となります。たとえば、顔にマスクが着用されているかどうかを判断できますが、顔やマスクの位置座標、および顔の数を出力することはできません。

目標検出は分類よりもはるかに複雑であり、計算量も大幅に増加するため、マイコン分野では非常に稀な技術です。OpenMVのメインコントローラーMCUはSTM32H7です。現在、当社のOpenMVに新たな機能が追加され、マイコン上で目標検出に類似したタスクを実行できるようになりました。その性能は非常に優れています。

本日は、皆様にご説明いたします。実際の道路環境における交通標識検出のトレーニングデモ：実際の道路上に設置された交通標識を検出します例えば、クラクションの鳴らし禁止、駐車禁止、時速80キロ制限など、実験室における無干渉環境ではない。

以下のアドレスから、プロジェクト全体の内容（すべてのコードおよびモデルを含む）をご覧いただけます：https://book.openmv.cc/project/traffic-sign.html

ご周知のとおり、実際の環境は非常に複雑であり、特に道路環境では干渉要因が多数存在します。当社ではスマートフォンなどの機器を用いて実際の環境における交通標識の画像を収集し、OpenMVパートナーであるEdgeImpulseのオンラインサイトでモデルを学習させました。この際、約270枚の画像にアノテーションを付与し、学習時間はわずか10分で済みました。学習済みモデルのF1スコア精度は92％に達し、OpenMV上での実行フレームレートは10fpsとなり、動作は非常に滑らかかつ高精度です。

皆様は、当社の動画チュートリアルに従って、ご希望のあらゆる検出対象（例：異なる数字、異なる果物、異なる標識、異なる部品、あるいは特定の不規則な対象など）を学習させることができます。これにより、対象の数量、座標、および物体の種類名などを特定して認識することが可能になります。

ご注意ください：本動画チュートリアルでは、ニューラルネットワークを用いたターゲットポイント検出機能について解説します。この機能はOpenMV4 H7 Plusだけでなく、OpenMV4 H7にも対応しています。これは、学習済みのFOMOターゲットポイント検出モデルがサイズが小さく、数十KB程度でありながら優れた性能を発揮するためです。OpenMV4 H7のRAM容量がPlusモデルよりも小さい場合でも、若干小型化したモデルを学習することで、OpenMV4上での実行が可能です。

以下に、原理について簡潔にご説明いたします：

OpenMV上のFOMO目標点検出の主要な設計方針は、多くの物体検出問題において実際には物体のサイズではなく、画像内におけるその位置のみが必要であるという考え方を基にしています。物体の位置が判明すれば、その後の処理として、例えばOpenMVを用いて車両を検出した目標に向かって制御する、ドローンを特定の地点に着陸させる、ロボットアームを用いて特定の目標物体を把持するなどの操作が可能になります。

FOMOモデルは、EdgeImpulseがマイコン環境向けに特別に設計したモデルであり、通常の物体検出とは異なり、複数の物体の位置および数量のみを検出可能であり、具体的なサイズは取得できません。

FOMOモデルの基本原理は非常に単純かつ柔軟です。まず、画像を8×8ピクセルのブロックに分割します。たとえば、96×96ピクセルの解像度の画像の場合、12×12のセルになります。360×360ピクセルの画像の場合は、40×40のセルになります。その後、各セルに対して画像分類を独立して実行します。

YOLO V5 や MobileNet SSD と比較して、FOMO は多数の小物体に対する検出性能が大幅に優れています。FOMO の物体ポイント検出は、MobileNet SSD よりも 30 倍高速です。

検出対象のサイズが類似している場合、たとえば識別対象となるマーカーのサイズがほぼ同一であり、極めて大きな物体と極めて小さな物体が混在していない場合、FOMO の性能はより優れます。

OpenMVはEdgeImpulseを用いてオンラインでニューラルネットワークの対象物検出モデルを訓練します。主な手順は以下のとおりです：画像データセットの収集およびアップロード、対象物のアノテーション、訓練、モデルのテスト、デプロイ。

・画像データセットの収集：実際に識別対象とする環境における特定の物体について、画像を撮影して収集します。識別を行う環境において、実際の画像を収集します。実際の学習環境と実際の検出環境は基本的に一致するため、その方が効果が高くなります。

※ターゲットの注釈：データセット内の検出対象となる各オブジェクトを矩形で囲み、それぞれのオブジェクト名と正確に対応付けることで、その後の学習およびオブジェクトの位置と名称の検出を容易にします。

*トレーニングモデル：アノテーションが完了した後、当社が設計した畳み込みニューラルネットワークのパラメーターに従ってモデルのトレーニングを実施します。

※テストモデル：訓練済みモデルを用いてテストを実施し、結果が不十分な場合は、訓練データセットを追加するか、訓練パラメーターを調整して再訓練を実施し、満足のいくモデルが得られるまでこのプロセスを繰り返します。

・デプロイ：学習済みのモデルファイルをOpenMV内蔵のUSBメモリに配置して実行するだけでOKです。

以下に具体的な手順を示します：

01、画像データセットの収集およびアップロード

1. まず、ウェブサイト edgeimpulse.com にログインし、「ログイン」を選択します。その後、新しく作成したプロジェクト名を入力し、「画像」→「複数オブジェクトの分類」を選択します。

二、画像のアップロードを選択します。画像に関するデータセットは、以下の方法で入手できます：

1. OpenMV IDEを用いてリアルタイムで画像を取得します。「データセットエディタ」ツール（OpenMV IDE内）を使用し、新しいデータセットを作成してリアルタイムで画像を取得します。詳細については、当社が以前に公開した動画チュートリアル「物体分類：マスク検出」をご覧ください。

2．ネットワークからダウンロードした画像、またはスマートフォンで実際に撮影した画像を使用してください。可能であれば、実際の検出環境と一致する画像を用いてください。当社では、駐車禁止、クラクション禁止、最高速度80キロメートルなどの交通標識を対象とした約400～500枚の画像を準備しており、すべて実際の道路で撮影されたものです。このデータセットは、当社のGitHubおよびチュートリアルサイトからダウンロード可能です。

02、ターゲットのラベリング

各カテゴリごとに約100枚の画像をアップロードし、画像のアップロードが完了したら、画像にアノテーションを付与します。これにより、認識対象となる物体の位置およびカテゴリを特定します。

03、モデルの訓練

トレーニングのパラメーターを設計し、解像度を128×128に変更します。設定するパラメーターはすべてデフォルトを選択してください。その後、「保存」をクリックします。

featuresを生成します。3色はそれぞれ3種類のマークを表します。

目的検出のトレーニングパラメーターを設定します。トレーニングエポック数のデフォルト値は60、学習率は0.001、検証データセットの割合は20％です。データ拡張を有効にするにはチェックボックスをオンにしてください。転移学習に使用するモデルは、デフォルトのMobileNetV2 0.35またはMobileNetV2 0.1から選択できます。（注：SSDは使用できません。OpenMV上ではSSDは動作しません。）

トレーニングを開始します。トレーニング完了後のニューラルネットワークモデルのF1スコアは91.2％であり、現在のバージョンを保存できます。

ストレージを選択し、説明を入力して、保存を選択してください。

04、モデルのデプロイ

学習済みモデルファイルをエクスポートします。ライブラリのみをエクスポートすればよく、OpenMVを選択して「Build」をクリックすると、モデルのデプロイおよびエクスポートが開始されます。

システムが自動的に当社がエクスポートしたモデルをダウンロードします。ここに表示されているのは、当社が300枚の画像で訓練したモデルです。これにより、一連の訓練プロセスが完了します。

05．モデルの実行

OpenMV上でモデルを実行する：

OpenMV Plus に接続し、学習済みの3つのファイルを OpenMV の内蔵 USB ドライブに保存します。その後、ei_object_detection.py ファイルを OpenMV IDE で開きます。実行ボタンをクリックすると、シリアル端末に実行結果が表示されます。

この機能はOpenMV4上でも実行可能です。OpenMV4には外部SDRAMが搭載されていないため、メモリ容量がやや小さいですが、モデルのサイズを縮小することにより、OpenMV4上で実行できるようになります。

モデルのサイズを縮小する方法は2つあります：

一、トレーニング時の解像度を低下させ、128×128から96×96に変更します。

二、使用する転移学習モデルを変更し、MobileNetV2 0.35をMobileNetV2 0.1に変更します。

最後に、学習済みの新しいファイルをOpenMV4に配置して実行します。

以上が、当社のターゲットポイント検出に関するチュートリアルです。貴殿の成果を楽しみにしております！