Od "widzenia" do "rozumienia" przez roboty, SingTown Technology napędza rozwój wizji.

W inteligentnych aplikacjach robotów usługowych percepcja środowiska i rozpoznawanie obiektów są kluczowymi technologiami umożliwiającymi autonomiczną interakcję i wykonywanie zadań.

Robot musi rozpoznawać wiele obiektów w złożonych środowiskach wewnętrznych, takich jak drzwi pomieszczeń i ich stan otwarcia/zamknięcia, gesty ludzkie, kody QR oraz typowe przedmioty w scenach życia codziennego (np. blaty stołów, przedmioty, znaki itp.). W tym celu producenci robotów usługowych planują wykorzystać inteligentną kamerę OpenMV firmy SingTown do zbudowania systemu rozpoznawania wielu obiektów opartego na wizji maszynowej. System ten, zainstalowany na głowie lub korpusie robota, może w czasie rzeczywistym, zgodnie z instrukcjami głównego sterownika, przechwytywać obrazy z określonego kierunku, rozpoznawać kategorię celu, cechy rozmiaru i koloru, oraz przekazywać wyniki rozpoznania do jednostki głównej w celu podejmowania decyzji dotyczących ścieżki, wyzwalania zadań lub odpowiedzi w interakcji głosowej. Ponadto można rozszerzyć funkcjonalność o rozpoznawanie kodów QR, umożliwiając nawigację i lokalizację, rozpoznawanie zadań lub uwierzytelnianie, wspierając w ten sposób roboty w osiąganiu wyższego poziomu inteligentnych zachowań w dziedzinach takich jak życie codzienne, bezpieczeństwo czy przewodnictwo.

System rozpoznawania wielu obiektów opracowany przez producentów robotów usługowych w oparciu o inteligentną kamerę OpenMV firmy SingTown umożliwia robotom usługowym inteligentną percepcję wzrokową w złożonych scenach, łącząc algorytmy widzenia komputerowego, rozpoznawania obrazów AI, dopasowywania wzorców, śledzenia kolorów, analizy morfologicznej i dekodowania kodów QR.

System w czasie rzeczywistym przechwytuje obrazy z pola widzenia przed robotem za pomocą kamery. AI na urządzeniu końcowym wykorzystuje model wykrywania obiektów do rozpoznawania krawędzi i cech kształtu, umożliwiając określenie położenia drzwi oraz ich stanu (otwarte/zamknięte). Poprzez analizę segmentacji kolorów i zmian jasności, system identyfikuje kolory, rozmiary oraz względne odległości różnych obiektów.

Robot ten może również rozpoznawać gesty. W bliskiej odległości system, oparty na algorytmach śledzenia konturów i dopasowywania kluczowych punktów, jest w stanie rozpoznać typowe ruchy (takie jak podnoszenie ręki, wskazywanie, machanie itp.). Jednocześnie wbudowana funkcja rozpoznawania kodów QR umożliwia identyfikację punktów nawigacyjnych robota lub odbieranie poleceń zadań.

System ten umożliwia wdrożenie brzegowe, a jego algorytmy działają z wysoką wydajnością w środowiskach wbudowanych, osiągając częstotliwość klatek powyżej 20 fps i opóźnienie rozpoznawania poniżej 100 ms.

System może komunikować się z głównym mikrokontrolerem poprzez port szeregowy, I²C lub magistralę CAN, przekazując informacje o rozpoznanej kategorii, wymiarach, kolorze i stanie, umożliwiając inteligentną współpracę z hostem.

Wyniki testów pokazują, że rozwiązanie opracowane na bazie inteligentnej kamery OpenMV firmy SingTown osiąga ponad 92% dokładności rozpoznawania przy zmieniającym się oświetleniu wewnętrznym. Może wspierać różne scenariusze zadań, takie jak roboty towarzyszące w domu, roboty patrolowe do zabezpieczeń czy roboty przewodnickie, znacząco podnosząc zdolność robota do rozumienia środowiska i interakcji.