Thuật toán Q-learning giúp robot thực hiện những cú sút bóng chính xác

RoboCup, tên ban đầu là J-League, là cuộc thi về robot và trí tuệ nhân tạo (AI) hàng năm do Liên đoàn RoboCup Quốc tế tổ chức. Trong RoboCup, các robot sẽ thi đấu bóng đá với nhau.

Ý tưởng cho cuộc thi bắt nguồn từ năm 1992, khi Giáo sư Alan Mackworth tại Đại học British Columbia ở Canada viết một bài báo có tựa đề “On Seeing Robots.” Năm 1993, một nhóm nghiên cứu ở Nhật Bản đã lấy cảm hứng từ bài báo này để tổ chức giải đấu bóng đá đầu tiên dành cho robot.

• Robot mô phỏng người hoàn thiện
• Robot đảm bảo an ninh trong trường học

Mặc dù RoboCup có thể mang đến những trận đầu có tính giải trí cao, nhưng mục tiêu chính của nó là giới thiệu những tiến bộ trong lĩnh vực robot và AI trong bối cảnh thế giới thực. Các hệ thống robot tham gia giải đấu là kết quả của nỗ lực nghiên cứu chuyên sâu của nhiều nhà khoa học trên toàn thế giới.

Ngoài cuộc thi trong thế giới thực, các nhà khoa học máy tính và nhà chế tạo robot có thể thử nghiệm các công cụ tính toán của họ cho môn “bóng đá robot” tại giải đấu mô phỏng RoboCup 3D. Đây thực chất là một nền tảng tái hiện lại RoboCup trong mô phỏng, đóng vai trò như một phòng tập ảo cho các kỹ thuật AI và hệ thống robot được thiết kế và rèn luyện chơi bóng.

Các nhà nghiên cứu tại Viện Công nghệ Yên Đài ở Trung Quốc và Đại học Rahjuyan Danesh Borazjan ở Iran mới đây đã phát triển một kỹ thuật mới có thể nâng cao khả năng sút bóng của robot khi đang di chuyển. Kỹ thuật này đã được trình bày trong một bài báo đăng trên Tạp chí Máy tính Nhân bản và Trí tuệ Môi trường của Springer Link, dựa trên phương pháp tính toán được gọi là thuật toán Q-learning.

“Một trong những mục tiêu quan trọng nhất của các đội tham gia giải đấu RoboCup3D là khả năng tăng số lượng và chất lượng các cú sút bóng của robot”, Yun Lin, Yibin Song và Amin Rezaeipanah, ba nhà nghiên cứu đã phát triển kỹ thuật này, viết trong bài báo của họ. “Lý do cho tầm quan trọng này là để ghi bàn và đánh bại đối thủ, các robot phải thực hiện những cú sút mạnh mẽ và chính xác.”

Hầu hết các kỹ thuật tạo ảnh trong mô phỏng đều dựa trên hai cách tiếp cận là: chuyển động học nghịch đảo (IK) và phân tích điểm. Đây là các phương pháp toán học có thể được sử dụng để tạo hoạt ảnh máy tính và robot để dự đoán các thông số khớp cần thiết để robot có thể hoàn thành một hành động nhất định.

Các nhà nghiên cứu cho rằng: Những phương pháp trước đây chỉ cho phép robot thực hiện cú sút chính xác khi chúng và quả bóng ở trong vị trí cố định. Tuy nhiên, điều này không phải lúc nào cũng có thể xảy ra trong một trận bóng đá.

Để khắc phục những hạn chế của các phương pháp trước đây, Lin và các đồng nghiệp của mình đã tạo ra một cách thức mới dựa trên thuật toán Q-learning, có thể nâng cao khả năng sút bóng của robot khi đang di chuyển. Các thuật toán Q-learning là cách tiếp cận tính toán không có mô hình dựa trên lĩnh vực học tăng cường. Các thuật toán này đặc biệt hữu ích trong các trường hợp mà các tác nhân đang cố gắng học các điều hướng môi trường một cách tối ưu hoặc thực hiện những hành động phức tạp.

Sau giai đoạn thử nghiệm, Lin, Song và Rezaeipanah đã đánh giá thuật toán Q-learning giúp các robot của họ trong khi di chuyển có thể thực hiện những cú sút bóng tốt hơn nhiều so với các đối thủ khác tham gia giải đấu RoboCupSoccer và giải đấu RoboCup3D. Việc này đã cải thiện đáng kể hiệu suất thi đấu robot của họ trong các trận bóng đá.

Bình An (theo TechXplore)