Tác giả: Veera Sundararaghavan, giáo sư kỹ thuật hàng không vũ trụ, Đại học Michigan
John J. Hopfield và Geoffrey E. Hinton đã nhận Giải Nobel vật lý vào ngày 8 tháng 10 năm 2024 cho nghiên cứu của họ về thuật toán học máy (machine learning) và mạng nơ-ron nhân tạo giúp máy tính có thể tự học hỏi. Công trình của họ đóng vai trò cơ bản trong việc phát triển các lý thuyết mạng nơ-ron làm nền tảng cho trí tuệ nhân tạo tạo sinh (generative AI).
Mạng nơ-ron nhân tạo là một mô hình tính toán bao gồm các lớp nơ-ron được kết nối với nhau. Giống như các nơ-ron trong não của bạn, các nơ-ron này xử lý và gửi một phần thông tin. Mỗi lớp nơ-ron nhận một phần dữ liệu, xử lý nó và chuyển kết quả đến lớp tiếp theo. Đến cuối chuỗi, mạng đã xử lý và tinh chỉnh dữ liệu thành thứ gì đó hữu ích hơn.
Mặc dù có vẻ đáng ngạc nhiên khi Hopfield và Hinton nhận được giải thưởng vật lý cho những đóng góp của họ cho mạng nơ-ron thần kinh nhân tạo, được sử dụng trong khoa học máy tính, nhưng công trình của họ lại bắt nguồn từ các nguyên lý vật lý, đặc biệt là một lĩnh vực gọi là cơ học thống kê.
Công trình của Hopfield và Hinton đã cho phép các đồng nghiệp nghiên cứu một quy trình gọi là học tập tạo sinh cho khoa học vật liệu, một phương pháp đằng sau nhiều công nghệ phổ biến như ChatGPT.
Cơ học thống kê là gì?
Cơ học thống kê là một nhánh của vật lý sử dụng các phương pháp thống kê để giải thích hành vi của các hệ thống được tạo thành từ một số lượng lớn các hạt.
Thay vì tập trung vào các hạt riêng lẻ, các nhà nghiên cứu sử dụng cơ học thống kê xem xét hành vi tập thể của nhiều hạt. Việc xem cách tất cả chúng hoạt động cùng nhau giúp các nhà nghiên cứu hiểu được các đặc tính vĩ mô quy mô lớn của hệ thống như nhiệt độ, áp suất và từ hóa.
Ví dụ, nhà vật lý Ernst Ising đã phát triển một mô hình cơ học thống kê về từ tính vào những năm 1920. Ising hình dung từ tính là hành vi tập thể của các ‘spin’ nguyên tử tương tác với các nguyên tử lân cận.
Trong mô hình của Ising, hệ thống có các trạng thái năng lượng cao hơn và thấp hơn, và vật liệu có nhiều khả năng tồn tại ở trạng thái năng lượng thấp nhất.
Một ý tưởng chính trong cơ học thống kê là phân phối Boltzmann, định lượng khả năng xảy ra của một trạng thái nhất định. Phân phối này mô tả khả năng một hệ thống ở trạng thái cụ thể – như rắn, lỏng hoặc khí – dựa trên năng lượng và nhiệt độ của nó.
Ising đã dự đoán chính xác quá trình chuyển pha của nam châm bằng cách sử dụng phân phối Boltzmann. Ông đã tìm ra nhiệt độ mà vật liệu chuyển từ ‘từ tính’ sang không từ tính.
Sự thay đổi pha xảy ra ở nhiệt độ có thể dự đoán được. Nước đá tan chảy thành nước ở một nhiệt độ cụ thể vì phân phối Boltzmann dự đoán rằng khi trời ấm lên, các phân tử nước có nhiều khả năng chuyển sang trạng thái ‘hỗn loạn’ – hoặc trạng thái lỏng.
Cơ học thống kê cung cấp cho các nhà nghiên cứu về các đặc tính của một hệ thống lớn hơn và cách các vật thể riêng lẻ trong hệ thống đó hoạt động tập thể.
Trong vật liệu, các nguyên tử tự sắp xếp thành các cấu trúc tinh thể cụ thể sử dụng lượng năng lượng thấp nhất. Khi lạnh, các phân tử nước đóng băng thành các tinh thể băng có trạng thái năng lượng thấp.
Tương tự như vậy, trong sinh học, protein gấp lại thành các hình dạng năng lượng thấp, cho phép chúng hoạt động như các kháng thể đặc hiệu – giống như ổ khóa và chìa khóa – nhắm vào vi-rút.
Xem thêm: Giải Nobel vật lý 2024: Mạng nơ-ron nhân tạo đặt nền nóng cho AI như thế nào?
Mạng nơ-ron nhân tạo và cơ học thống kê
Về cơ bản, tất cả các mạng nơ-ron đều hoạt động theo một nguyên tắc tương tự – để giảm thiểu năng lượng. Mạng nơ-ron sử dụng nguyên tắc này để giải quyết các vấn đề tính toán.
Ví dụ, hãy tưởng tượng một hình ảnh được tạo thành từ các điểm ảnh mà bạn chỉ có thể nhìn thấy một phần của hình ảnh. Một số điểm ảnh có thể nhìn thấy, trong khi phần còn lại bị ẩn.
Để xác định hình ảnh là gì, bạn hãy xem xét tất cả các cách có thể mà các điểm ảnh ẩn có thể khớp với các phần có thể nhìn thấy. Từ đó, bạn sẽ chọn trong số những gì cơ học thống kê cho là các trạng thái có khả năng xảy ra nhất trong số tất cả các tùy chọn có thể.
Một sơ đồ cho thấy cơ học thống kê ở bên trái, với một đồ thị cho thấy 3 cấu trúc nguyên tử, với cấu trúc ở năng lượng thấp nhất được dán nhãn là ổn định nhất. Bên phải được dán nhãn là mạng nơ-ron, cho thấy 2 bức ảnh cây, một bức chỉ hiển thị một nửa.
Hopfield và Hinton đã phát triển một lý thuyết về mạng nơ-ron dựa trên ý tưởng về cơ học thống kê. Giống như Ising, người đã mô hình hóa tương tác tập thể của các spin nguyên tử để giải quyết vấn đề ảnh bằng mạng nơ-ron, Hopfield và Hinton đã tưởng tượng ra tương tác tập thể của các pixel. Họ biểu diễn các pixel này dưới dạng nơ-ron.
Cũng giống như trong vật lý thống kê, năng lượng của một hình ảnh đề cập đến khả năng một cấu hình pixel cụ thể có thể xảy ra. Mạng Hopfield sẽ giải quyết vấn đề này bằng cách tìm ra các sắp xếp năng lượng thấp nhất của các pixel ẩn.
Tuy nhiên, không giống như trong cơ học thống kê – nơi năng lượng được xác định bởi các tương tác nguyên tử đã biết – mạng nơ-ron học các năng lượng này từ dữ liệu.
Hinton đã phổ biến sự phát triển của một kỹ thuật gọi là backpropagation (truyền ngược). Kỹ thuật này giúp mô hình tìm ra năng lượng tương tác giữa các tế bào thần kinh và thuật toán này hỗ trợ phần lớn việc học của AI.
Máy Boltzmann
Dựa trên công trình của Hopfield, Hinton đã tưởng tượng ra một mạng lưới nơ-ron khác, được gọi là máy Boltzmann. Nó bao gồm các nơ-ron có thể nhìn thấy, mà chúng ta có thể quan sát, và các nơ-ron ẩn, giúp mạng lưới nơ-ron học các mẫu phức tạp.
Trong máy Boltzmann, bạn có thể xác định xác suất hình ảnh trông theo một cách nhất định. Để tìm ra xác suất này, bạn có thể tổng hợp tất cả các trạng thái có thể có của các điểm ảnh ẩn. Điều này cung cấp cho bạn xác suất tổng thể của các điểm ảnh có thể nhìn thấy được ở một cách sắp xếp cụ thể.
Trong ‘học tập tạo sinh’, mạng nơ-ron học cách tạo ra các mẫu dữ liệu mới giống với dữ liệu mà các nhà nghiên cứu đã cung cấp cho mạng để đào tạo nó. Ví dụ, nó có thể tạo ra các hình ảnh mới về các con số viết tay sau khi được đào tạo trên các hình ảnh tương tự. Mạng có thể tạo ra các hình ảnh này bằng cách lấy mẫu từ phân phối xác suất đã học.
Học tập sáng tạo là nền tảng của AI hiện đại – nó cho phép tạo ra nghệ thuật, video và văn bản AI.
Hopfield và Hinton đã ảnh hưởng đáng kể đến nghiên cứu AI bằng cách tận dụng các công cụ từ vật lý thống kê. Công trình của họ chỉ ra sự tương đồng giữa cách thiên nhiên xác định trạng thái vật lý và cách mạng nơ-ron dự đoán khả năng giải quyết các vấn đề khoa học máy tính phức tạp.
Hình minh họa: Giải Nobel y học năm 2024 trao cho hai nhà khoa học, Victor Ambros và Gary Ruvkun. Ảnh Onco Daily
