Robot từ "nhìn thấy" đến "hiểu rõ", SingTown thúc đẩy nâng cấp thị giác

Trong ứng dụng robot dịch vụ thông minh, nhận thức môi trường và nhận diện mục tiêu là công nghệ then chốt để thực hiện tương tác tự chủ và thực thi nhiệm vụ.

Robot cần nhận diện nhiều đối tượng trong môi trường trong nhà phức tạp, chẳng hạn như cửa phòng và trạng thái đóng mở của chúng, cử chỉ con người, mã QR, cũng như các vật thể điển hình trong cảnh sinh hoạt (như mặt bàn, đồ vật, vật đánh dấu, v.v.). Vì vậy, các nhà sản xuất robot dịch vụ dự định sử dụng camera thông minh OpenMV của SingTown để xây dựng hệ thống nhận diện đa mục tiêu dựa trên thị giác máy. Hệ thống này được lắp đặt trên đầu hoặc thân robot, có thể chụp ảnh theo hướng chỉ định theo lệnh điều khiển chính trong thời gian thực, nhận diện loại mục tiêu, đặc điểm kích thước và màu sắc, đồng thời trả kết quả nhận diện về máy chủ để sử dụng cho quyết định đường đi, kích hoạt nhiệm vụ hoặc phản hồi tương tác bằng giọng nói. Ngoài ra, hệ thống còn có thể mở rộng nhận diện mã QR để thực hiện định vị dẫn đường, nhận diện nhiệm vụ hoặc xác thực danh tính, hỗ trợ robot đạt được hành vi thông minh ở cấp độ cao hơn trong các lĩnh vực như sinh hoạt, an ninh và hướng dẫn.

Hệ thống nhận diện đa mục tiêu do nhà sản xuất robot dịch vụ phát triển dựa trên camera thông minh OpenMV của SingTown, cho phép robot dịch vụ đạt được nhận thức thị giác thông minh trong các tình huống phức tạp, tích hợp các thuật toán thị giác máy tính, nhận diện hình ảnh AI, khớp mẫu, theo dõi màu sắc, phân tích hình thái và giải mã mã QR.

Hệ thống thu thập hình ảnh tầm nhìn phía trước robot thời gian thực thông qua camera, AI tại thiết bị sử dụng mô hình phát hiện mục tiêu để nhận diện đường viền và đặc điểm hình dạng vật thể, có thể xác định vị trí và trạng thái đóng mở của cửa phòng; thông qua phân tích phân đoạn màu sắc và biến đổi độ sáng, có thể nhận diện màu sắc, kích thước và khoảng cách tương đối của các vật thể khác nhau.

Robot này còn có khả năng nhận diện cử chỉ, trong điều kiện khoảng cách gần, hệ thống dựa trên thuật toán theo dõi đường viền và khớp điểm mấu chốt, có thể nhận diện các hành động phổ biến (như giơ tay, chỉ tay, vẫy tay, v.v.). Đồng thời, chức năng nhận diện mã QR tích hợp cho phép robot nhận diện điểm điều hướng hoặc tiếp nhận chỉ thị nhiệm vụ.

Hệ thống này có thể triển khai tại biên, thuật toán của nó hoạt động hiệu quả cao trong môi trường nhúng, tốc độ khung hình đạt trên 20fps, độ trễ nhận diện dưới 100ms.

Hệ thống có thể giao tiếp với vi điều khiển chính thông qua cổng nối tiếp, I²C hoặc bus CAN, xuất ra các thông tin về loại nhận dạng, kích thước, màu sắc và trạng thái, thực hiện liên kết thông minh với máy chủ.

Kết quả kiểm tra cho thấy, giải pháp phát triển dựa trên camera thông minh OpenMV của SingTown đạt độ chính xác nhận diện trên 92% trong điều kiện ánh sáng thay đổi trong nhà, có thể hỗ trợ nhiều tình huống nhiệm vụ như robot đồng hành gia đình, robot tuần tra an ninh, robot hướng dẫn tham quan, nâng cao đáng kể khả năng hiểu môi trường và tương tác của robot.