GPT-3.5 là dòng mô hình làm nền cho ChatGPT trong công bố ngày 30/11/2022. Điểm mới mà người dùng nhìn thấy là giao diện hội thoại có thể tiếp nhận câu hỏi tiếp nối và điều chỉnh câu trả lời theo trao đổi. Tuy nhiên, ChatGPT là sản phẩm được tinh chỉnh từ một mô hình trong dòng GPT-3.5, không phải tên thay thế chính xác cho mọi mô hình GPT-3.5.
Mốc công bố và phạm vi bài viết
Thông cáo Introducing ChatGPT xác nhận ChatGPT được tinh chỉnh từ một mô hình GPT-3.5 hoàn tất huấn luyện vào đầu năm 2022. Ngày 30/11/2022 là mốc giới thiệu công khai qua ChatGPT được dùng trong bài này; không phải ngày huấn luyện xong, cũng không phải ngày phát hành API GPT-3.5 Turbo. Nguồn không công bố số tham số của mô hình nền, nên không thể lấy thông số GPT-3 để gán cho GPT-3.5.
Từ hoàn thành văn bản đến trao đổi nhiều lượt
OpenAI mô tả ChatGPT có thể trả lời câu hỏi tiếp nối, thừa nhận lỗi, phản biện tiền đề sai và từ chối yêu cầu không phù hợp. Đó là mục tiêu hành vi của phiên bản hội thoại, không phải bảo đảm mọi lần sinh đều làm được. Các tác vụ như giải thích, soạn văn bản và trao đổi về mã có thể hưởng lợi từ việc người dùng cung cấp thêm ngữ cảnh qua nhiều lượt thay vì phải hoàn thiện một prompt ngay từ đầu.
Khả năng hội thoại không có nghĩa mô hình tự truy cập Internet, kiểm tra sự thật theo thời gian thực hoặc nhớ mọi trao đổi vô hạn. Thông cáo gốc không cung cấp căn cứ để gán những chức năng đó cho GPT-3.5. Cần tách năng lực mô hình khỏi công cụ, bộ nhớ và dữ liệu mà một ứng dụng có thể bổ sung về sau.
Vai trò của phản hồi con người
ChatGPT sử dụng RLHF với cách thu thập dữ liệu khác đôi chút so với InstructGPT. Người huấn luyện đóng cả vai người dùng và trợ lý để viết hội thoại; dữ liệu ấy được kết hợp với dữ liệu InstructGPT đã chuyển sang dạng đối thoại. Tiếp đó, con người xếp hạng các câu trả lời thay thế để huấn luyện mô hình phần thưởng, rồi tinh chỉnh bằng Proximal Policy Optimization.
Quy trình này giúp định hình cách trả lời, nhưng không tạo ra một nguồn sự thật độc lập trong quá trình học tăng cường. Chính OpenAI nêu đây là một nguyên nhân khiến việc xử lý câu trả lời sai nhưng nghe có vẻ hợp lý vẫn khó. Sở thích của người đánh giá và độ chính xác khách quan là hai tiêu chí có liên quan nhưng không đồng nhất.
Chi phí: preview miễn phí không phải API miễn phí
Ở thời điểm công bố 30/11/2022, OpenAI cho biết sử dụng ChatGPT miễn phí trong giai đoạn research preview. Điều đó mô tả điều kiện truy cập sản phẩm tại mốc ấy, không phải một bảng giá token cho toàn bộ dòng GPT-3.5, và không chứng minh chi phí vận hành mô hình bằng không.
Thông cáo API về sau nêu giá ra mắt gpt-3.5-turbo là 0,002 USD cho 1.000 token và phân biệt mô hình này với các GPT-3.5 hiện có. Không áp ngược mức giá Turbo cho bản ChatGPT tháng 11/2022. Trang API hiện có nhãn cập nhật 24/04/2024; nhãn cập nhật không được dùng làm ngày ra mắt GPT-3.5 trong bài này. Giá lịch sử cũng không phải báo giá dịch vụ hiện hành.
Giới hạn được OpenAI thừa nhận
Thông cáo gốc liệt kê câu trả lời sai hoặc vô nghĩa nhưng thuyết phục, độ nhạy với cách diễn đạt prompt, xu hướng dài dòng và lặp cụm từ, cũng như việc đoán ý người dùng thay vì hỏi rõ khi yêu cầu mơ hồ. Thay đổi nhẹ câu hỏi có thể khiến mô hình chuyển từ không biết sang trả lời, nên một câu trả lời tự tin không phải phép đo độ chắc chắn đáng tin.
Các biện pháp giảm nội dung độc hại và thiên kiến vẫn có thể bỏ sót hoặc chặn nhầm. Vì vậy, một trợ lý ứng dụng không nên dựa duy nhất vào lời từ chối của mô hình để kiểm soát quyền truy cập hay hành động. Với thông tin pháp lý, y tế, tài chính hoặc mã chạy thật, cần kiểm chứng nguồn và có kiểm tra chuyên môn phù hợp.
Đánh giá GPT-3.5 đúng cách
So với GPT-3 và cách học few-shot, bước chuyển được thấy rõ qua ChatGPT là khả năng đưa tương tác theo chỉ dẫn tới giao diện hội thoại đại chúng. Không nên diễn giải sự phổ biến của giao diện thành bằng chứng mô hình luôn đúng, có suy luận hoàn hảo hay vượt mọi hệ thống chuyên biệt.
Khi lựa chọn cho một tác vụ, cần đo mức hoàn thành yêu cầu, lỗi thông tin và công sức sửa đầu ra trên bộ ví dụ thực. Giá trị của GPT-3.5 ở mốc này là giúp con người trao đổi và hiệu chỉnh yêu cầu dễ hơn; giới hạn cốt lõi vẫn là văn bản hợp lý không đồng nghĩa với kiến thức đã được xác minh.
Nguồn chính thức
OpenAI, Introducing ChatGPT, 30/11/2022; OpenAI, Introducing APIs for GPT-3.5 Turbo and Whisper, dùng để phân biệt giá API về sau với research preview ban đầu.
Tác giả
Chăm Sóc Khách Hàng
