Kỹ thuật trí tuệ nhân tạo Bellyhoods đã khắc phục được hậu quả được gọi là “học sâu” đã làm sống dậy ý tưởng 70 năm tuổi.
Trong 10 năm qua, các hệ thống trí tuệ nhân tạo có hoạt động ví dụ như trình nhận dạng giọng nói trên điện thoại thông minh hay trình dịch tự động mới nhất của Google. Đây là kết quả kỹ thuật được gọi là “học sâu”.
Học sâu trên thực tế là một tên gọi mới của một phương pháp tiếp cận trí tuệ nhân tạo được gọi là mạng thần kinh, đã trở nên lỗi thời trong hơn 70 năm. Mạng thần kinh lần đầu tiên được đề xuất vào năm 1944 bởi Warren McCullough và Walter Pitts. Đây là hai nhà nghiên cứu của Đại học Chicago đã chuyển đến MIT năm 1952 với tư cách là thành viên sáng lập khoa khoa học nhận thức đầu tiên.
Cho đến năm 1969, Mạng lưới thần kinh là một lĩnh vực nghiên cứu chính của cả khoa học thần kinh và khoa học máy tính. Theo lịch sử khoa học máy tính, chúng đã bị khai trừ bởi các nhà toán học MIT Marvin Minsky và Seymour Papert, những người đã trở thành đồng lãnh đạo của Phòng thí nghiệm Trí tuệ Nhân tạo mới của MIT trong những năm sau đó.
Hầu hết các ứng dụng của học sâu sử dụng mạng thần kinh “tích tụ”, trong đó các nút của mỗi lớp được nhóm lại, các cụm chồng lên nhau và mỗi cụm cung cấp dữ liệu cho nhiều nút (màu cam và màu xanh lá cây) của lớp tiếp theo.
Kỹ thuật này sau đó đã “hồi sinh” trở lại vào những năm 1980, tuy nhiên chưa thật sự được chú ý cho đến khi kết thúc thập kỷ đầu tiên của thế kỷ mới, và đã trở lại trong thập kỷ thứ hai, được thúc đẩy phần lớn bởi sức mạnh xử lý tăng cao của chip đồ họa.
Tomaso Poggio, Giáo sư Khoa học về Não bộ và Nhận thức tại MIT, một nhà nghiên cứu tại Viện Nghiên cứu Não bộ của MIT cho biết: “Có ý kiến cho rằng các ý tưởng trong khoa học cũng giống như dịch bệnh của vi rút”. “Rõ ràng có năm hoặc sáu chủng vi-rút cúm cơ bản, và dường như mỗi chủng vi-rút cúm đều quay trở lại với khoảng thời gian khoảng 25 năm. Mọi người bị nhiễm, và họ phát triển một phản ứng miễn dịch. Do đó họ không bị nhiễm trong 25 năm tiếp theo. Và sau đó là một thế hệ mới sẵn sàng bị lây nhiễm bởi cùng một chủng vi rút. Trong khoa học, mọi người say mê một ý tưởng, say mê và tận tâm với các ý tưởng, và sau đó họ cảm thấy mệt mỏi với nó. Vì vậy, các ý tưởng có cùng một loại tính tuần hoàn”.
Vấn đề trọng lượng
Mạng lưới thần kinh là một phương tiện thực hiện máy học, trong đó máy tính học cách thực hiện một số tác vụ bằng cách phân tích các ví dụ, dữ liệu đầu vào. Thông thường, các ví dụ đã được dán nhãn từ trước. Ví dụ, một hệ thống nhận dạng đối tượng có thể được cung cấp hàng nghìn hình ảnh được dán nhãn về ô tô, ngôi nhà, tách cà phê, v.v. và nó sẽ tìm thấy các mẫu trực quan trong hình ảnh tương quan nhất quán với các nhãn cụ thể.
Được mô hình hóa lỏng lẻo dựa trên não người, một mạng lưới thần kinh bao gồm hàng nghìn hoặc thậm chí hàng triệu nút xử lý đơn giản được kết nối với nhau một cách dày đặc. Hầu hết các mạng lưới thần kinh ngày nay được tổ chức thành các lớp nút và chúng “chuyển tiếp”, nghĩa là dữ liệu di chuyển qua chúng chỉ theo một hướng. Một nút riêng lẻ có thể được kết nối với một số nút trong lớp bên dưới nó, từ đó chuyển dữ liệu và nhận dữ liệu từ một số nút trong lớp bên trên nó.
Đối với mỗi kết nối, một nút sẽ ấn định một số được gọi là “trọng số”. Khi mạng hoạt động, nút nhận được một mục dữ liệu khác – một số khác – trên mỗi kết nối của nó và nhân nó với trọng số liên quan. Sau đó, nó cộng các sản phẩm kết quả lại với nhau, tạo ra một số duy nhất. Nếu con số đó dưới giá trị ngưỡng, nút sẽ không chuyển dữ liệu nào cho lớp tiếp theo. Nếu số lượng vượt quá giá trị ngưỡng, nút sẽ “kích hoạt”.
Khi một mạng thần kinh đang được huấn luyện, tất cả các trọng số và ngưỡng ban đầu của nó được đặt thành các giá trị ngẫu nhiên. Dữ liệu huấn luyện được đưa đến lớp dưới cùng – lớp đầu vào và đi qua các lớp kế tiếp, được nhân lên và cộng lại với nhau theo những cách phức tạp, cho đến khi cuối cùng, nó được biến đổi hoàn toàn ở lớp đầu ra. Trong quá trình đào tạo, trọng lượng và ngưỡng liên tục được điều chỉnh cho đến khi dữ liệu đào tạo có cùng nhãn luôn mang lại kết quả đầu ra tương tự.
Trí óc và máy móc
Các lưới thần kinh được McCullough và Pitts mô tả vào năm 1944 đều có ngưỡng và trọng lượng, nhưng chúng không được sắp xếp thành từng lớp và các nhà nghiên cứu không chỉ rõ bất kỳ cơ chế huấn luyện nào. Những gì McCullough và Pitts cho thấy là về nguyên tắc, một mạng thần kinh có thể tính toán bất kỳ chức năng nào mà một máy tính kỹ thuật số có thể làm được. Kết quả cho ra đề cập đến khoa học thần kinh nhiều hơn khoa học máy tính. Điểm này cho thấy rằng bộ não con người có thể được coi như một thiết bị máy tính.
Mạng lưới thần kinh tiếp tục là một công cụ có giá trị cho nghiên cứu khoa học thần kinh. Đây có thể là một dấu hiệu cho thấy chúng ta đang dần nắm bắt được điều gì đó về cách bộ não xử lý thông tin.
Mạng thần kinh có thể huấn luyện đầu tiên là Perceptron được nhà tâm lý học Frank Rosenblatt của Đại học Cornell chứng minh vào năm 1957. Thiết kế của Perceptron gần giống như mạng thần kinh hiện đại, ngoại trừ việc thiết kế này chỉ có một lớp với trọng lượng và ngưỡng có thể điều chỉnh được kẹp giữa đầu vào và các lớp đầu ra.
Perceptrons là một lĩnh vực nghiên cứu tích cực trong cả tâm lý học và ngành khoa học máy tính còn non trẻ cho đến năm 1959, khi Minsky và Papert xuất bản một cuốn sách có tựa đề “Perceptrons”, chứng minh rằng việc thực hiện một số phép tính khá phổ biến trên Perceptron sẽ tốn thời gian một cách phi thực tế.
“Tất nhiên, tất cả những hạn chế này sẽ biến mất nếu bạn sử dụng máy móc phức tạp hơn một chút như hai lớp,” Poggio nói. Nhưng vào thời điểm đó, cuốn sách có một tác động đáng sợ đối với nghiên cứu mạng thần kinh.
“Bạn phải đặt những điều này trong bối cảnh lịch sử,” Poggio nói. “Họ đã tranh cãi rất nhiều về việc lập trình. Vào thời điểm đó, hoàn toàn không dễ dàng tiếp cận với lập trình như hiện tại. Tôi nghĩ rằng họ đã đi quá đà một chút, nhưng như thường lệ, không cần phải phân định rằng nó đúng hay sai. Nếu bạn coi đây là cuộc cạnh tranh giữa điện toán tương tự và điện toán kỹ thuật số, thì việc họ đã chiến đấu vì điều gì vào thời điểm đó là điều đúng đắn”.
Tính tuần hoàn
Tuy nhiên, đến những năm 1980, các nhà nghiên cứu đã phát triển các thuật toán để sửa đổi trọng lượng và ngưỡng của mạng lưới thần kinh đủ hiệu quả cho các mạng có nhiều hơn một lớp, loại bỏ nhiều hạn chế được Minsky và Papert xác định. Từ đó tạo ra một thời kỳ phục hưng cho lĩnh vực này.
Nhưng về mặt trí tuệ, có điều gì đó không đủ thỏa mãn về mạng lưới thần kinh. Đào tạo đủ có thể sửa đổi cài đặt của mạng đến mức nó có thể phân loại dữ liệu một cách hữu ích, nhưng những cài đặt đó có ý nghĩa gì? Công cụ nhận dạng vật thể nhìn vào các đặc điểm hình ảnh nào và làm cách nào để nó ghép chúng lại với nhau thành các hình ảnh đặc biệt như ô tô, ngôi nhà hay tách cà phê? Nhìn vào trọng lượng của các kết nối riêng lẻ sẽ không trả lời được câu hỏi đó.
Trong những năm gần đây, các nhà khoa học máy tính đã bắt đầu đưa ra các phương pháp khéo léo để suy ra các chiến lược phân tích được áp dụng bởi mạng thần kinh. Nhưng trong những năm 1980, chiến lược của các mạng là không thể giải mã được. Vì vậy, vào khoảng đầu thế kỷ này, mạng thần kinh đã được thay thế bằng máy vectơ hỗ trợ, một cách tiếp cận thay thế cho việc học máy dựa trên một số toán học rất rõ ràng và tao nhã.
Sự trỗi dậy gần đây của mạng thần kinh, cuộc cách mạng này xuất phát từ ngành công nghiệp trò chơi máy tính. Hình ảnh phức tạp và tốc độ xử lý hình ảnh của các trò chơi điện tử ngày nay đòi hỏi phần cứng có thể theo kịp và kết quả là đơn vị xử lý đồ họa (GPU), phải gói hàng nghìn lõi xử lý tương đối đơn giản trên một con chip. Không mất nhiều thời gian để các nhà nghiên cứu nhận ra rằng kiến trúc của GPU rất giống kiến trúc của một mạng thần kinh.
Các GPU hiện đại đã cho phép các mạng một lớp của những năm 1960 và mạng hai đến ba lớp của những năm 1980 phát triển thành các mạng 10, 15, thậm chí 50 lớp ngày nay. Đó là những gì “sâu” trong “học sâu” đề cập đến – độ sâu của các lớp của mạng. Và hiện tại, học sâu chịu trách nhiệm cho các hệ thống hoạt động tốt nhất trong hầu hết các lĩnh vực nghiên cứu trí tuệ nhân tạo.
Minh Vũ (Theo Scitechdaily)
