Thuật toán Q-learning giúp robot thực hiện những cú sút bóng chính xác

Đời sống công nghệ
07/12/2021 09:08
Các nhà nghiên cứu tại Viện Công nghệ Yên Đài ở Trung Quốc và Đại học Rahjuyan Danesh Borazjan ở Iran mới đây đã phát triển một kỹ thuật mới có thể nâng cao khả năng sút bóng của robot khi đang di chuyển. Việc này đã cải thiện đáng kể hiệu suất thi đấu robot của họ trong các trận bóng đá.
aa

RoboCup, tên ban đầu là J-League, là cuộc thi về robot và trí tuệ nhân tạo (AI) hàng năm do Liên đoàn RoboCup Quốc tế tổ chức. Trong RoboCup, các robot sẽ thi đấu bóng đá với nhau.

Ý tưởng cho cuộc thi bắt nguồn từ năm 1992, khi Giáo sư Alan Mackworth tại Đại học British Columbia ở Canada viết một bài báo có tựa đề “On Seeing Robots.” Năm 1993, một nhóm nghiên cứu ở Nhật Bản đã lấy cảm hứng từ bài báo này để tổ chức giải đấu bóng đá đầu tiên dành cho robot.

• Robot mô phỏng người hoàn thiện
• Robot đảm bảo an ninh trong trường học

thuat toan q learning giup robot thuc hien nhung cu sut bong chinh xac

Mặc dù RoboCup có thể mang đến những trận đầu có tính giải trí cao, nhưng mục tiêu chính của nó là giới thiệu những tiến bộ trong lĩnh vực robot và AI trong bối cảnh thế giới thực. Các hệ thống robot tham gia giải đấu là kết quả của nỗ lực nghiên cứu chuyên sâu của nhiều nhà khoa học trên toàn thế giới.

Ngoài cuộc thi trong thế giới thực, các nhà khoa học máy tính và nhà chế tạo robot có thể thử nghiệm các công cụ tính toán của họ cho môn “bóng đá robot” tại giải đấu mô phỏng RoboCup 3D. Đây thực chất là một nền tảng tái hiện lại RoboCup trong mô phỏng, đóng vai trò như một phòng tập ảo cho các kỹ thuật AI và hệ thống robot được thiết kế và rèn luyện chơi bóng.

Các nhà nghiên cứu tại Viện Công nghệ Yên Đài ở Trung Quốc và Đại học Rahjuyan Danesh Borazjan ở Iran mới đây đã phát triển một kỹ thuật mới có thể nâng cao khả năng sút bóng của robot khi đang di chuyển. Kỹ thuật này đã được trình bày trong một bài báo đăng trên Tạp chí Máy tính Nhân bản và Trí tuệ Môi trường của Springer Link, dựa trên phương pháp tính toán được gọi là thuật toán Q-learning.

“Một trong những mục tiêu quan trọng nhất của các đội tham gia giải đấu RoboCup3D là khả năng tăng số lượng và chất lượng các cú sút bóng của robot”, Yun Lin, Yibin Song và Amin Rezaeipanah, ba nhà nghiên cứu đã phát triển kỹ thuật này, viết trong bài báo của họ. “Lý do cho tầm quan trọng này là để ghi bàn và đánh bại đối thủ, các robot phải thực hiện những cú sút mạnh mẽ và chính xác.”

Hầu hết các kỹ thuật tạo ảnh trong mô phỏng đều dựa trên hai cách tiếp cận là: chuyển động học nghịch đảo (IK) và phân tích điểm. Đây là các phương pháp toán học có thể được sử dụng để tạo hoạt ảnh máy tính và robot để dự đoán các thông số khớp cần thiết để robot có thể hoàn thành một hành động nhất định.

Các nhà nghiên cứu cho rằng: Những phương pháp trước đây chỉ cho phép robot thực hiện cú sút chính xác khi chúng và quả bóng ở trong vị trí cố định. Tuy nhiên, điều này không phải lúc nào cũng có thể xảy ra trong một trận bóng đá.

Để khắc phục những hạn chế của các phương pháp trước đây, Lin và các đồng nghiệp của mình đã tạo ra một cách thức mới dựa trên thuật toán Q-learning, có thể nâng cao khả năng sút bóng của robot khi đang di chuyển. Các thuật toán Q-learning là cách tiếp cận tính toán không có mô hình dựa trên lĩnh vực học tăng cường. Các thuật toán này đặc biệt hữu ích trong các trường hợp mà các tác nhân đang cố gắng học các điều hướng môi trường một cách tối ưu hoặc thực hiện những hành động phức tạp.

Sau giai đoạn thử nghiệm, Lin, Song và Rezaeipanah đã đánh giá thuật toán Q-learning giúp các robot của họ trong khi di chuyển có thể thực hiện những cú sút bóng tốt hơn nhiều so với các đối thủ khác tham gia giải đấu RoboCupSoccer và giải đấu RoboCup3D. Việc này đã cải thiện đáng kể hiệu suất thi đấu robot của họ trong các trận bóng đá.

Bình An (theo TechXplore)

mtvh
Tin bài khác
Việt Nam tăng 15 bậc chỉ số Chính phủ điện tử

Việt Nam tăng 15 bậc chỉ số Chính phủ điện tử

Theo bảng xếp hạng chỉ số Chính phủ điện tử (EGDI), Việt Nam tăng 15 bậc so với báo cáo năm 2022 và tiệm cận mục tiêu top 50 vào năm 2025.
Nhận định chứng khoán ngày 20/9: Hướng về mốc 1.280 điểm

Nhận định chứng khoán ngày 20/9: Hướng về mốc 1.280 điểm

Phiên ngày 19/9 chứng kiến nỗ lực phục hồi bền bỉ của VN Index khi chinh phục thành công mốc kháng cự 1.270 điểm. Các chỉ báo kỹ thuật vẫn cho thấy xu hướng tích cực, dự báo chỉ số sẽ tiếp tục tăng điểm trong phiên giao dịch ngày 20/9, hướng tới mốc 1.280 điểm. Nhà đầu tư được khuyến nghị tận dụng các nhịp điều chỉnh để gia tăng tỷ trọng cổ phiếu trong các nhóm ngành đang thu hút dòng tiền mạnh.
Giá trị của cuộc sống.....không thay đổi!

Giá trị của cuộc sống.....không thay đổi!

Trong một cuộc hội thảo, một diễn thuyết gia nổi tiếng chậm rãi bước lên bục, rút trong túi ra một tờ 20USD.
Tử vi vòng quay công nghệ ngày 20/9/2024: Tuổi Dậu tình duyên khởi sắc, tuổi Tý hết sức thận trọng

Tử vi vòng quay công nghệ ngày 20/9/2024: Tuổi Dậu tình duyên khởi sắc, tuổi Tý hết sức thận trọng

Những bí ẩn của khoa học đời sống là "món ăn" tinh thần không thể thiếu trong cuộc sống của con người. Tử vi vòng quay công nghệ xem tử vi 12 con giáp ngày 20/9/2024 cho tất cả các tuổi nhằm dự đoán vận hạn về công danh, tiền bạc, tình duyên, sức khỏe...
Tập đoàn Dầu khí quốc gia Việt Nam sẽ  tái thiết khu dân cư thôn Kho Vàng sau bão số 3

Tập đoàn Dầu khí quốc gia Việt Nam sẽ tái thiết khu dân cư thôn Kho Vàng sau bão số 3

Được sự đồng ý của Thủ tướng Chính phủ, sự thống nhất của chủ tịch HĐTV PVN và Bí thư Tỉnh ủy Lào Cai, Tập đoàn Dầu khí quốc gia Việt Nam sẽ đảm nhận việc tái thiết khu dân cư thôn Kho Vàng, xã Cốc Lầu, huyện Bắc Hà, Lào Cai.
Thị trường chứng khoán ngày 19/9: VN Index vượt mốc 1.270 điểm dù dòng tiền chậm lại

Thị trường chứng khoán ngày 19/9: VN Index vượt mốc 1.270 điểm dù dòng tiền chậm lại

Do ảnh hưởng của thị trường phái sinh, phiên ngày 19/9 chứng kiến dòng tiền thận trọng hơn. Tuy nhiên, thị trường vẫn có phiên tăng điểm thứ 3 liên tiếp và VN Index đã vượt ngưỡng cản 1.270 điểm. Khối ngoại cũng đóng góp tích cực khi mua ròng hơn 470 tỷ đồng, tập trung vào nhóm chứng khoán.
Doanh nghiệp dầu khí sử dụng công nghệ tự động hóa để kiểm soát việc đốt khí thải

Doanh nghiệp dầu khí sử dụng công nghệ tự động hóa để kiểm soát việc đốt khí thải

Các công nghệ như Giải pháp Giám sát Đốt khí thải (Flare Monitoring Solution) giúp cung cấp dữ liệu chính xác và phản ứng tự động hiệu quả, từ đó giảm lượng khí nhà kính xuống mức tối thiểu cần thiết để đảm bảo quá trình vận hành thành công.
Ngân hàng OCB thành lập công ty quản lý nợ và khai thác tài sản

Ngân hàng OCB thành lập công ty quản lý nợ và khai thác tài sản

Ngân hàng TMCP Phương Đông (ngân hàng OCB) thành lập Công ty Quản lý Nợ và Khai thác Tài sản trong bối cảnh nợ xấu tiếp tục tăng mạnh qua các năm, hiện tỷ lệ nợ xấu vượt 3%.
Dịch vụ xe tự hành phục vụ bệnh nhân tại Mỹ

Dịch vụ xe tự hành phục vụ bệnh nhân tại Mỹ

Contra Costa Transportation Authority (CCTA) và May Mobility, một công ty chuyên về công nghệ lái xe tự động, đã ra mắt Presto, một dịch vụ xe tự hành chung cho người dân tại Martinez, California và các bệnh nhân của Trung tâm Y tế Khu vực Contra Costa (Bệnh viện Quận).
Nhận định chứng khoán ngày 19/9: Tiếp tục đà tăng, hướng về mốc 1.270 điểm

Nhận định chứng khoán ngày 19/9: Tiếp tục đà tăng, hướng về mốc 1.270 điểm

Sau phiên giao dịch sôi động và tích cực ngày 18/9, thị trường chứng khoán được kỳ vọng sẽ duy trì đà tăng trong phiên ngày 19/9. Dòng tiền chủ động tham gia, thanh khoản cải thiện cùng tín hiệu kỹ thuật khả quan cho thấy VN Index có thể chinh phục mốc 1.270 điểm.