GPT-3: năng lực, chi phí và giới hạn qua nguồn chính thức

GPT-3 được OpenAI giới thiệu ngày 28/05/2020 trong nghiên cứu Language models are few-shot learners. Với 175 tỷ tham số, mô hình cho thấy việc tăng quy mô có thể cải thiện khả năng thực hiện tác vụ mới từ hướng dẫn và vài ví dụ trong văn bản đầu vào. Điểm khác biệt là các bài đánh giá không yêu cầu cập nhật trọng số cho từng nhiệm vụ.

Học từ vài ví dụ nghĩa là gì?

Trong thiết lập few-shot, người dùng cung cấp mô tả nhiệm vụ và một số ví dụ ngay trong ngữ cảnh. Mô hình tiếp tục văn bản dựa trên những thông tin đó, không chạy thêm bước cập nhật gradient hay tinh chỉnh. Đây là khác biệt quan trọng với quy trình tiền huấn luyện rồi tinh chỉnh riêng trên hàng nghìn ví dụ có nhãn.

Khả năng thích nghi trong ngữ cảnh không có nghĩa mô hình đã học vĩnh viễn dữ liệu mới vào trọng số. Nó cũng không bảo đảm mọi hướng dẫn đều được thực hiện đúng. Chất lượng ví dụ, cách diễn đạt và dạng tác vụ vẫn ảnh hưởng đến kết quả.

Năng lực: ngôn ngữ, suy luận ngắn và thích nghi theo ngữ cảnh

OpenAI báo cáo kết quả mạnh trên nhiều bộ dữ liệu dịch, hỏi đáp và điền phần thiếu của văn bản. Nghiên cứu còn khảo sát sắp xếp lại chữ, sử dụng một từ mới trong câu và phép toán ba chữ số. Các ví dụ này cho thấy tín hiệu suy luận hoặc thích nghi tại thời điểm nhận đầu vào, nhưng không chứng minh năng lực suy luận đáng tin cậy trên mọi bài toán.

Một số thiết lập few-shot đạt mức cạnh tranh với phương pháp tinh chỉnh tốt trước đó; đồng thời vẫn có các bộ dữ liệu mà mô hình gặp khó khăn. Vì vậy, kết luận hợp lý là quy mô giúp mở rộng năng lực chuyển giao, không phải few-shot luôn thay thế được dữ liệu chuyên biệt và kiểm thử theo miền.

Chi phí: quy mô nghiên cứu không phải giá API

Công bố nghiên cứu ngày 28/05/2020 không cung cấp bảng giá API theo token. Không thể lấy giá dịch vụ của một thời kỳ khác để mô tả chi phí tại thời điểm nghiên cứu ra mắt. Con số 175 tỷ tham số cho biết quy mô mô hình, không tự chuyển thành một mức giá vận hành cố định.

Few-shot có thể giảm nhu cầu tinh chỉnh riêng nhưng vẫn cần xử lý phần hướng dẫn và ví dụ trong đầu vào. Chi phí ứng dụng còn phụ thuộc cách truy cập mô hình, dung lượng ngữ cảnh, khối lượng yêu cầu và mức kiểm tra của con người. Thiếu dữ liệu định giá cụ thể thì không nên đưa ra một tổng chi phí USD giả chính xác.

Giới hạn phương pháp và rủi ro nội dung

Nhóm tác giả chỉ ra khó khăn trên một số bộ dữ liệu và vấn đề phương pháp khi huấn luyện từ kho văn bản web lớn. Khi đánh giá mô hình, cần xem xét khả năng dữ liệu huấn luyện giao với dữ liệu kiểm tra; điểm benchmark không đủ để kết luận khả năng khái quát trong mọi môi trường mới.

Nghiên cứu cho thấy GPT-3 có thể tạo các mẫu bài báo khiến người đánh giá khó phân biệt với văn bản do người viết. Đó vừa là năng lực sinh ngôn ngữ vừa là rủi ro về thông tin sai và nội dung gây hiểu lầm. Văn bản trôi chảy không chứng minh sự thật; ứng dụng liên quan đến quyết định quan trọng vẫn cần nguồn độc lập và kiểm tra chuyên môn.

Vị trí của GPT-3 trong chuỗi phát triển

So với GPT-2 và năng lực zero-shot, GPT-3 đặt few-shot ở trung tâm của đánh giá. Đây vẫn là mô hình ngôn ngữ tự hồi quy, không nên đồng nhất với ChatGPT hoặc gán những khả năng đa phương thức của thế hệ sau cho bản nghiên cứu năm 2020. Để hiểu bước nền tảng, có thể đọc thêm GPT-1: tiền huấn luyện và tinh chỉnh.

Nguồn chính thức

OpenAI — Language models are few-shot learners, 28/05/2020; bản nghiên cứu của nhóm tác giả, arXiv:2005.14165. Ngày giới thiệu nghiên cứu không được đồng nhất với ngày mở dịch vụ API.