Від "бачення" до "розуміння": SingTown Technology сприяє вдосконаленню комп'ютерного зору

У застосуванні розумних сервісних роботів сприйняття навколишнього середовища та розпізнавання об'єктів є ключовими технологіями для реалізації автономної взаємодії та виконання завдань.

Робот повинен розпізнавати різноманітні об'єкти у складних приміщеннях, такі як двері кімнат та їхній стан (відкриті/закриті), жести людини, QR-коди, а також типові предмети в побутових сценаріях (наприклад, столи, речі, орієнтири тощо). Для цього виробники сервісних роботів планують використовувати розумну камеру OpenMV від SingTown, щоб створити багатоцільову систему розпізнавання на основі машинного зору. Ця система, встановлена на голові або корпусі робота, здатна за командою головного контролера захоплювати зображення у вказаному напрямку в реальному часі, розпізнавати категорію цілі, її розміри та колірні характеристики, а потім повертати результати розпізнавання на головний пристрій для прийняття рішень щодо маршруту, запуску завдань або голосової взаємодії. Крім того, система може бути розширена для розпізнавання QR-кодів, що забезпечує навігаційне позиціювання, ідентифікацію завдань або автентифікацію, сприяючи реалізації більш високорівневої інтелектуальної поведінки роботів у таких сферах, як побут, безпека та екскурсійне супроводження.

Виробники сервісних роботів на основі розумної камери OpenMV від SingTown розробили систему багатоцільового розпізнавання, яка дозволяє сервісним роботам здійснювати інтелектуальне візуальне сприйняття в складних сценаріях, поєднуючи комп'ютерний зір, AI-розпізнавання зображень, шаблонне відповідність, відстеження кольору, морфологічний аналіз та алгоритми декодування QR-кодів.

Система збирає зображення з камери в реальному часі, щоб отримати вид спереду робота. На пристрої штучний інтелект використовує модель розпізнавання об'єктів для виявлення країв та форм, що дозволяє визначити положення дверей та їх стан (відкриті чи закриті). Завдяки аналізу сегментації кольорів та змін яскравості можна розпізнати кольори, розміри та відносну відстань різних об'єктів.

Цей робот також здатний розпізнавати жести. На близькій відстані система, заснована на алгоритмах відстеження контурів та зіставлення ключових точок, може розпізнавати типові дії (наприклад, підняття руки, вказівку, помах тощо). Одночасно вбудована функція розпізнавання QR-кодів забезпечує ідентифікацію точок навігації робота або отримання команд для виконання завдань.

Ця система може бути розгорнута на периферії, її алгоритм ефективно працює у вбудованому середовищі з частотою кадрів понад 20 кадрів/с, а затримка розпізнавання становить менше 100 мс.

Система може спілкуватися з основним мікроконтролером через послідовний порт, I²C або шину CAN, виводячи інформацію про розпізнавання категорій, розмірів, кольорів та стану, що забезпечує інтелектуальну взаємодію з основним пристроєм.

Результати тестування показують, що розроблена на основі смарт-камери OpenMV від SingTown технологія забезпечує точність розпізнавання понад 92% за умов зміни освітлення в приміщенні, підтримує різноманітні сценарії завдань, такі як роботи-компаньйони для домашнього використання, роботи для охоронного патрулювання, екскурсоводи-роботи тощо, що значно покращує здатність роботів розуміти навколишнє середовище та взаємодіяти з ним.