GPT-1: năng lực, chi phí và giới hạn qua nguồn chính thức

GPT-1 là cách gọi thế hệ mô hình được OpenAI giới thiệu ngày 11/06/2018 trong nghiên cứu Improving language understanding with unsupervised learning. Đóng góp chính không phải một chatbot hoàn chỉnh, mà là cách học kiến thức ngôn ngữ từ văn bản rồi thích nghi với nhiều nhiệm vụ bằng tinh chỉnh có giám sát. Công bố gốc của OpenAI giải thích cả kết quả lẫn những hạn chế của phương pháp.

GPT-1 hoạt động như thế nào?

Quy trình gồm hai giai đoạn. Trước hết, một Transformer được tiền huấn luyện bằng mục tiêu mô hình hóa ngôn ngữ trên lượng văn bản lớn không cần nhãn nhiệm vụ. Sau đó, mô hình được tinh chỉnh trên tập dữ liệu có giám sát nhỏ hơn để giải quyết bài toán cụ thể. Nhờ vậy, cùng một lõi mô hình có thể thích nghi với suy luận ngôn ngữ, độ tương đồng ngữ nghĩa, đọc hiểu và phân tích cảm xúc mà không phải thiết kế lại toàn bộ kiến trúc cho từng tác vụ.

OpenAI mô tả kiến trúc Transformer 12 block, huấn luyện trên chuỗi dài tối đa 512 token. Dữ liệu tiền huấn luyện gồm vài nghìn cuốn sách, khoảng 5 GB văn bản. Đây là bối cảnh kỹ thuật của nghiên cứu năm 2018, không phải thông số hay hạn mức của ChatGPT ngày nay.

Năng lực: kết quả mạnh nhưng không đồng đều

Trong bảng đánh giá do OpenAI công bố, mô hình đạt 59,0 trên RACE so với mốc 53,3 của hệ thống đối chiếu, và 86,5 trên ROCStories so với 77,6. Điểm GLUE được báo cáo là 72,8 so với 68,9. Những con số này thuộc thiết lập và phiên bản benchmark trong bài nghiên cứu; không nên dùng để xếp hạng trực tiếp với các mô hình hiện đại.

Kết quả không cải thiện ở mọi nơi. Trên RTE, mô hình đạt 56,0 so với mốc 61,7; trên SST-2 đạt 91,3 so với 93,2. Vì vậy, đóng góp đáng chú ý là tính tổng quát của phương pháp chuyển giao, không phải tuyên bố thắng mọi nhiệm vụ. OpenAI cũng quan sát khả năng làm một số tác vụ không qua huấn luyện chuyên biệt, nhưng thừa nhận mức tuyệt đối thường còn thấp so với phương pháp có giám sát.

Chi phí: tính bằng tài nguyên nghiên cứu, không phải giá API

Công bố năm 2018 nêu giai đoạn tiền huấn luyện tốn khoảng một tháng trên tám GPU; phần lớn thí nghiệm sử dụng hệ thống bốn hoặc tám GPU. OpenAI phát hành mô hình để người khác có thể tránh lặp lại bước tiền huấn luyện tốn kém. Tinh chỉnh sang nhiệm vụ mới diễn ra nhanh hơn, giúp giảm một phần gánh nặng tài nguyên.

Nguồn này không đưa bảng giá API theo token, cũng không công bố tổng chi phí huấn luyện bằng tiền. Không thể suy ra một mức giá USD đáng tin cậy chỉ từ số GPU và thời gian chạy: còn thiếu loại phần cứng, mức sử dụng, giá điện và chi phí hạ tầng. Với người muốn tái lập nghiên cứu, cần dự toán riêng bộ nhớ, thời gian huấn luyện, dữ liệu và công sức đánh giá.

Giới hạn: dữ liệu văn bản và khả năng khái quát

OpenAI lưu ý sách và văn bản trên Internet không chứa đầy đủ, chính xác mọi kiến thức về thế giới. Mô hình có thể học thiên lệch từ phân bố dữ liệu. Khả năng khái quát vẫn mong manh khi gặp đầu vào đối kháng, đánh giá có hệ thống hoặc dữ liệu ngoài phân bố; tiền huấn luyện không tự loại bỏ các vấn đề này.

Giới hạn 512 token và nhu cầu tinh chỉnh theo nhiệm vụ cũng cho thấy GPT-1 khác xa trải nghiệm trợ lý hội thoại đa dụng. Không nên gán cho nó khả năng gọi công cụ, hiểu ảnh hay làm việc tự hành chỉ vì các thế hệ GPT về sau có những chức năng đó.

Nên đọc GPT-1 với mục tiêu nào?

GPT-1 phù hợp để tìm hiểu nền tảng của tiền huấn luyện sinh và học chuyển giao trong xử lý ngôn ngữ. Với ứng dụng thực tế, giá trị lớn nhất của nghiên cứu là bài học: có thể tái sử dụng kiến thức học từ dữ liệu không nhãn, nhưng vẫn phải đánh giá theo từng nhiệm vụ và từng phân bố dữ liệu. Để thấy khoảng cách với giai đoạn đa phương thức, có thể đọc thêm bài giới thiệu GPT-4.

Nguồn chính thức

OpenAI — Improving language understanding with unsupervised learning, 11/06/2018. Số liệu, tài nguyên tính toán và giới hạn trong bài được trình bày theo công bố này.