От «видения» к «пониманию» роботов: SingTown Technology способствует визуальному обновлению

В приложениях интеллектуальных сервисных роботов восприятие окружающей среды и распознавание целей являются ключевыми технологиями для реализации автономного взаимодействия и выполнения задач.

Роботу необходимо распознавать множество объектов в сложных внутренних условиях, таких как двери комнат и их состояние (открыто/закрыто), жесты человека, QR-коды, а также типичные объекты в бытовых сценариях (например, поверхности столов, предметы, маркеры и т.д.). Для этого производители сервисных роботов планируют использовать интеллектуальную камеру OpenMV от компании SingTown, чтобы создать систему распознавания множества целей на основе машинного зрения. Эта система, установленная на голове или корпусе робота, способна в реальном времени захватывать изображения в указанном направлении по команде главного контроллера, определять категорию цели, её размер и цветовые характеристики, а затем передавать результаты распознавания на главный компьютер для принятия решений по маршруту, запуска задач или голосового взаимодействия. Кроме того, система может быть расширена для распознавания QR-кодов, что позволяет реализовать навигацию и позиционирование, распознавание задач или аутентификацию, помогая роботам достичь более высокого уровня интеллектуального поведения в таких областях, как бытовое обслуживание, безопасность и экскурсионное сопровождение.

Система распознавания нескольких объектов, разработанная производителем сервисных роботов на основе интеллектуальной камеры OpenMV от SingTown, позволяет сервисным роботам осуществлять интеллектуальное визуальное восприятие в сложных сценариях, объединяя компьютерное зрение, распознавание изображений с помощью ИИ, сопоставление шаблонов, отслеживание цвета, морфологический анализ и алгоритмы декодирования QR-кодов.

Система в реальном времени захватывает изображение с камеры, обеспечивая обзор перед роботом. На стороне устройства искусственный интеллект использует модель обнаружения объектов для распознавания границ и форм, что позволяет определить положение двери и её состояние (открыта/закрыта). С помощью анализа сегментации цвета и изменений яркости можно идентифицировать цвет, размер и относительное расстояние различных объектов.

Этот робот также способен распознавать жесты. В условиях близкого расстояния система, основанная на алгоритмах отслеживания контуров и сопоставления ключевых точек, может распознавать распространённые действия (например, поднятие руки, указание, взмах и т.д.). Одновременно встроенная функция распознавания QR-кодов позволяет роботу идентифицировать точки навигации или получать командные задания.

Данная система может быть развернута на периферийных устройствах, её алгоритм эффективно работает во встроенной среде с частотой кадров свыше 20 кадров в секунду и задержкой распознавания менее 100 мс.

Система может взаимодействовать с основным микроконтроллером через последовательный порт, I²C или шину CAN, выводя информацию о категории распознавания, размере, цвете и состоянии, обеспечивая интеллектуальное взаимодействие с хост-устройством.

Результаты тестирования показывают, что решение, разработанное на основе интеллектуальной камеры OpenMV компании SingTown, обеспечивает точность распознавания свыше 92% при изменении освещения в помещении. Оно поддерживает различные сценарии задач, такие как роботы-компаньоны для дома, роботы для патрулирования и безопасности, роботы-гиды и другие, значительно повышая способность роботов понимать окружающую среду и взаимодействовать с ней.