GPT-2 được OpenAI công bố ngày 14/02/2019, đánh dấu bước mở rộng từ tiền huấn luyện ngôn ngữ sang thực hiện nhiều tác vụ chỉ bằng ngữ cảnh đầu vào. Mô hình lớn nhất có 1,5 tỷ tham số, học từ 40 GB văn bản Internet. Điểm đáng chú ý không chỉ là văn bản dài hơn, mà còn là khả năng dịch, trả lời câu hỏi và tóm tắt ở mức ban đầu mà không cần huấn luyện riêng cho từng tác vụ. Các kết luận dưới đây dựa trên công bố gốc của OpenAI.
GPT-2 học gì từ việc dự đoán từ tiếp theo?
GPT-2 là mô hình ngôn ngữ dựa trên Transformer. Mục tiêu huấn luyện là dự đoán từ tiếp theo dựa trên phần văn bản đứng trước. OpenAI sử dụng tập dữ liệu gồm tám triệu trang web; dữ liệu đa dạng chứa những ví dụ tự nhiên của nhiều dạng nhiệm vụ. So với thế hệ GPT trước, quy mô tham số và dữ liệu đều tăng hơn mười lần.
Khi nhận một đoạn mở đầu, mô hình tiếp tục văn bản theo phong cách và nội dung của đoạn đó. Đây không phải cơ chế tra cứu sự thật hay một trợ lý đã được huấn luyện để tuân thủ mọi chỉ dẫn. Câu trả lời có vẻ tự nhiên vẫn có thể sai hoặc không phù hợp với ý định của người dùng.
Năng lực zero-shot: có tín hiệu chuyển giao, chưa thay thế hệ chuyên dụng
OpenAI báo cáo GPT-2 đạt kết quả dẫn đầu trên nhiều bài đánh giá mô hình hóa ngôn ngữ theo thiết lập zero-shot: mô hình được đánh giá trực tiếp, không huấn luyện trên bộ dữ liệu chuyên biệt của từng tác vụ. Công bố nêu Winograd Schema và LAMBADA trong các kết quả nổi bật. Điều này cho thấy tiền huấn luyện có thể tạo ra năng lực rộng hơn nhiệm vụ tối ưu ban đầu.
Tuy nhiên, ở hỏi đáp, đọc hiểu, dịch và tóm tắt, OpenAI nói rõ kết quả vẫn thua các hệ thống chuyên dụng tốt nhất. Không nên biến kết quả zero-shot thành tuyên bố GPT-2 làm tốt mọi công việc ngôn ngữ. Cách đặt ngữ cảnh, chủ đề và phương pháp lấy mẫu đều ảnh hưởng đến đầu ra.
Chi phí: không có bảng giá API trong công bố năm 2019
Nguồn gốc không công bố giá API theo token hoặc tổng chi phí huấn luyện bằng tiền. Con số 1,5 tỷ tham số mô tả quy mô mô hình, không phải một báo giá triển khai. Người tự vận hành còn phải tính bộ nhớ, phần cứng, tốc độ sinh, độ dài văn bản, số yêu cầu đồng thời và chi phí kiểm duyệt.
Công bố ban đầu chỉ phát hành phiên bản nhỏ hơn vì lo ngại lạm dụng. Phần cập nhật tháng 05/2019 trên cùng trang mô tả việc phát hành bản 345 triệu tham số và chia sẻ các bản lớn với đối tác. Vì thế, cần phân biệt ngày giới thiệu GPT-2 với các giai đoạn mở quyền truy cập; không coi toàn bộ mô hình lớn đã được phát hành công khai ngay ngày 14/02.
Giới hạn: lặp ý, sai thế giới và chuyển chủ đề bất thường
OpenAI quan sát văn bản lặp, mô tả thế giới sai và chuyển chủ đề thiếu tự nhiên. Với nội dung kỹ thuật hiếm gặp, mô hình có thể hoạt động kém. Các mẫu văn bản trong bài giới thiệu được lựa chọn thủ công; chúng minh họa khả năng đạt được, không phải tỷ lệ thành công đại diện cho mọi yêu cầu.
Khả năng tạo nội dung thuyết phục cũng làm tăng rủi ro tin giả, mạo danh, spam và lừa đảo. Đây là lý do chiến lược phát hành theo giai đoạn trở thành một phần quan trọng của câu chuyện GPT-2. Với ứng dụng thực tế, đầu ra cần được kiểm tra nguồn, tính chính xác và nguy cơ gây hại thay vì được coi là dữ kiện.
Ý nghĩa của GPT-2 trong lịch sử mô hình ngôn ngữ
GPT-2 phù hợp để nghiên cứu mối liên hệ giữa quy mô, dữ liệu đa dạng và năng lực chuyển giao. So với GPT-1 và tiền huấn luyện sinh, trọng tâm chuyển sang khai thác trực tiếp mô hình bằng ngữ cảnh. Không nên gán cho GPT-2 những khả năng đa phương thức của các thế hệ GPT về sau.
Nguồn chính thức
OpenAI — Better language models and their implications, 14/02/2019, kèm cập nhật tháng 05/2019; báo cáo kỹ thuật Language Models are Unsupervised Multitask Learners.
Tác giả
Chăm Sóc Khách Hàng
