Robot dari "Melihat" hingga "Memahami", SingTown Technology Mendorong Peningkatan Visi

Dalam aplikasi robot layanan cerdas, persepsi lingkungan dan pengenalan target adalah teknologi kunci untuk mencapai interaksi otonom dan eksekusi tugas.

Robot perlu mengenali berbagai objek dalam lingkungan dalam ruangan yang kompleks, seperti pintu ruangan dan status buka-tutupnya, gerakan tubuh manusia, kode QR, serta objek-objek khas dalam skenario kehidupan sehari-hari (seperti permukaan meja, barang-barang, penanda, dll.). Untuk itu, produsen robot layanan berencana menggunakan kamera pintar OpenMV dari SingTown Technology untuk membangun sistem pengenalan multi-target berbasis visi mesin. Sistem ini dipasang di kepala atau badan robot, mampu menangkap gambar dari arah yang ditentukan secara real-time sesuai instruksi pengendali utama, mengenali kategori target, karakteristik ukuran dan warna, serta mengembalikan hasil pengenalan ke host untuk digunakan dalam pengambilan keputusan rute, pemicu tugas, atau respons interaksi suara. Selain itu, sistem juga dapat diperluas untuk mengenali kode QR guna mencapai navigasi dan penentuan posisi, pengenalan tugas, atau autentikasi identitas, membantu robot mencapai perilaku cerdas yang lebih tinggi dalam bidang kehidupan, keamanan, pemandu wisata, dan lainnya.

Sistem pengenalan multi-target yang dikembangkan oleh produsen robot layanan berdasarkan kamera pintar OpenMV SingTown, memungkinkan robot layanan mencapai persepsi visual cerdas dalam skenario kompleks, mengintegrasikan visi komputer, pengenalan gambar AI, pencocokan template, pelacakan warna, analisis morfologi, dan algoritma dekode kode QR.

Sistem mengumpulkan gambar pandangan depan robot secara real-time melalui kamera. AI di sisi perangkat menggunakan model deteksi objek untuk mengenali tepi dan karakteristik bentuk objek, sehingga dapat menentukan posisi pintu dan status buka-tutupnya. Melalui analisis segmentasi warna dan perubahan kecerahan, sistem dapat mengidentifikasi warna, ukuran, dan jarak relatif berbagai objek.

Robot ini juga dapat mengenali gerakan tangan. Dalam jarak dekat, sistem dapat mengenali gerakan umum (seperti mengangkat tangan, menunjuk, melambaikan tangan, dll.) berdasarkan algoritma pelacakan kontur dan pencocokan titik kunci. Selain itu, fungsi pengenalan kode QR yang terpasang memungkinkan robot untuk mengenali titik navigasi atau menerima instruksi tugas.

Sistem ini dapat diimplementasikan di tepi jaringan, dengan algoritma yang beroperasi efisien dalam lingkungan tertanam, mencapai frame rate lebih dari 20 fps dan latensi pengenalan di bawah 100 ms.

Sistem dapat berkomunikasi dengan mikrokontroler utama melalui port serial, I²C, atau bus CAN, mengeluarkan informasi kategori pengenalan, ukuran, warna, dan status, untuk mencapai interaksi cerdas dengan host.

Hasil pengujian menunjukkan bahwa skema yang dikembangkan berdasarkan kamera pintar OpenMV SingTown Technology ini mencapai akurasi pengenalan lebih dari 92% di bawah perubahan pencahayaan dalam ruangan, mampu mendukung berbagai skenario tugas seperti robot pendamping keluarga, robot patroli keamanan, robot pemandu wisata, dan lainnya, secara signifikan meningkatkan kemampuan pemahaman lingkungan dan interaksi robot.