InstructGPT là nhóm mô hình được OpenAI tinh chỉnh từ GPT-3 để làm theo ý định người dùng tốt hơn, thay vì chỉ dự đoán phần văn bản tiếp theo. Công bố ngày 27/01/2022 đánh dấu việc đưa nghiên cứu căn chỉnh bằng phản hồi con người vào sản phẩm API. Đây không phải một mô hình hội thoại mang tên ChatGPT, cũng không phải thế hệ tiền huấn luyện hoàn toàn mới.
InstructGPT thay đổi điều gì so với GPT-3?
GPT-3 học dự đoán từ tiếp theo trên dữ liệu văn bản lớn. Mục tiêu ấy không tự bảo đảm rằng câu trả lời hữu ích, đúng sự thật hay an toàn. Người dùng có thể hướng mô hình bằng prompt, nhưng vẫn gặp nội dung bịa đặt, độc hại hoặc không thực hiện đúng yêu cầu. InstructGPT bổ sung giai đoạn tinh chỉnh để hành vi đầu ra gần hơn với mong muốn của người đánh giá.
Trong công bố chính thức, OpenAI cho biết người gán nhãn ưu tiên câu trả lời của InstructGPT 1,3 tỷ tham số hơn GPT-3 175 tỷ tham số trên tập prompt được đánh giá. Kết quả này cho thấy cách huấn luyện hành vi có thể quan trọng hơn việc tăng kích thước ở tiêu chí làm theo chỉ dẫn. Nó không chứng minh mô hình nhỏ vượt mô hình lớn trên mọi tác vụ, ngôn ngữ hay kiến thức.
Học từ phản hồi con người diễn ra thế nào?
Quy trình trong nghiên cứu gồm ba phần: thu thập ví dụ trả lời do con người viết để tinh chỉnh có giám sát; thu thập thứ hạng giữa các câu trả lời để học mô hình phần thưởng; sau đó tối ưu chính sách sinh bằng học tăng cường. Các prompt đến từ người gán nhãn và từ yêu cầu gửi tới OpenAI API. Vì vậy, chất lượng và phạm vi phản hồi của con người trở thành một thành phần của mục tiêu huấn luyện, không chỉ là khâu chấm điểm cuối cùng.
RLHF không trực tiếp biến mọi phát biểu thành sự thật. Mô hình được tối ưu để tạo câu trả lời được đánh giá tốt theo dữ liệu phản hồi và thiết kế nghiên cứu. Sự khác biệt giữa “được ưa thích” và “đúng” vẫn quan trọng khi dùng đầu ra cho quyết định có hậu quả.
Năng lực đã được công bố và cách đọc kết quả
OpenAI báo cáo khả năng làm theo chỉ dẫn tốt hơn GPT-3, ít bịa đặt hơn và giảm nhẹ nội dung độc hại. Công bố cũng cho biết các đánh giá NLP học thuật không đòi hỏi phải đánh đổi đáng kể năng lực GPT-3. Đây là kết quả trong điều kiện nghiên cứu của tác giả, không phải cam kết về độ chính xác cho mọi ứng dụng.
Đánh giá theo sở thích của người gán nhãn đặc biệt phù hợp để đo mức hữu ích của câu trả lời, nhưng không thay thế kiểm thử chuyên ngành. Một hệ thống tóm tắt hồ sơ, viết mã hoặc trả lời về y tế vẫn cần bộ dữ liệu và tiêu chí riêng. Không nên suy từ kết quả ưu tiên đầu ra sang kết luận rằng InstructGPT đã giải quyết được suy luận hay kiểm chứng thông tin.
Chi phí: không lấy giá API hiện tại áp cho năm 2022
Thông cáo ngày 27/01/2022 không cung cấp bảng giá token đủ để quy đổi chi phí lịch sử cho toàn bộ nhóm InstructGPT. Do đó, không thể dùng bảng giá GPT đời sau để tính ngược giá của đợt phát hành này. Số tham số cũng không đủ để suy ra chi phí tiền cho một yêu cầu API.
Ở phía huấn luyện, phương pháp cần công sức viết ví dụ, xếp hạng đầu ra, huấn luyện mô hình phần thưởng và tối ưu chính sách. Đây là các hạng mục công việc bổ sung so với chỉ sử dụng mô hình nền; nguồn được dẫn không đưa ra một tổng chi phí triển khai có thể áp dụng chung. Ở phía ứng dụng, khả năng làm theo chỉ dẫn có thể giảm nhu cầu thiết kế prompt phức tạp, nhưng mức tiết kiệm phải được đo trên tác vụ thực, không được xem là kết quả tài chính đã chứng minh.
Giới hạn và rủi ro còn lại
Bài nghiên cứu của nhóm OpenAI nêu rõ InstructGPT vẫn mắc các lỗi đơn giản. Cải thiện tính trung thực và giảm đầu ra độc hại không đồng nghĩa với loại bỏ chúng. Phản hồi của người gán nhãn cũng không đại diện đầy đủ cho mọi người dùng, cộng đồng hay bối cảnh văn hóa; lựa chọn tiêu chí đánh giá ảnh hưởng đến loại hành vi được ưu tiên.
Vì vậy, ứng dụng cần kiểm chứng thông tin quan trọng bằng nguồn độc lập và giới hạn quyền hành động của mô hình. Đầu ra trôi chảy hoặc phù hợp giọng điệu chưa đủ làm căn cứ cho một quyết định tài chính, pháp lý hay kỹ thuật. Bài học chính của InstructGPT là cải thiện mục tiêu huấn luyện, không phải trao cho mô hình một cơ chế bảo đảm sự thật.
Vị trí của InstructGPT trong lịch sử OpenAI
Thông cáo được công bố ngày 27/01/2022; bản đầu của paper trên arXiv được nộp ngày 04/03/2022. Hai mốc này cần phân biệt. OpenAI cho biết các mô hình đã ở beta trên API hơn một năm trước thời điểm thông cáo và nay trở thành mặc định; điều đó không cung cấp một ngày công bố đầu tiên chính xác cho mọi biến thể beta.
So với GPT-3 và năng lực few-shot, InstructGPT làm nổi bật vai trò của tinh chỉnh hành vi. Nó cũng khác Embeddings đời đầu: một bên hướng đến câu trả lời sinh theo yêu cầu, bên kia tạo vector phục vụ so sánh và tìm kiếm. Giá trị lâu dài của InstructGPT nằm ở bằng chứng rằng phản hồi con người có thể làm mô hình hữu ích hơn mà không chỉ dựa vào mở rộng quy mô.
Nguồn chính thức
OpenAI, Aligning language models to follow instructions, 27/01/2022; Ouyang và cộng sự, Training language models to follow instructions with human feedback, bản arXiv đầu ngày 04/03/2022.
Tác giả
Chăm Sóc Khách Hàng
