o1-preview: năng lực, chi phí và giới hạn qua nguồn chính thức

o1-preview được OpenAI phát hành ngày 12/09/2024 như phiên bản sớm của dòng mô hình suy luận. Thay vì chỉ ưu tiên trả lời nhanh, hướng huấn luyện mới dành thêm tính toán trước khi đưa ra kết quả, nhằm xử lý các bài toán khó về khoa học, toán học và lập trình.

Suy luận với thêm thời gian tính toán

Theo Learning to reason with LLMs, reinforcement learning giúp mô hình học cách chia nhỏ bài toán, thử chiến lược khác và nhận ra lỗi. OpenAI báo cáo chất lượng dòng o1 tăng khi tăng tính toán lúc huấn luyện và thời gian suy luận. Đây là kết quả nghiên cứu về quy luật mở rộng, không phải cam kết thêm thời gian luôn sửa được mọi lỗi.

o1-preview là bản cung cấp sớm, trong khi báo cáo còn đánh giá một phiên bản o1 đang phát triển. Cần giữ ranh giới này khi đọc số liệu: không tự gán tất cả kết quả của model nghiên cứu mạnh hơn cho đúng bản preview mà người dùng được truy cập.

Không đánh đồng preview với model được đánh giá cao nhất

Trang giới thiệu nói rõ kết quả tương đương nghiên cứu sinh ở một số bài vật lý, hóa học, sinh học thuộc bản cập nhật tiếp theo. Cũng trong phần đó, tác giả nêu kết quả 83% ở kỳ thi vòng loại toán so với 13% của GPT-4o và bách phân vị 89 ở Codeforces. Các số này không được dùng như điểm riêng của o1-preview nếu không đối chiếu đúng nhãn model và điều kiện đo.

Điểm thi được công bố không thay thế đánh giá trên đề mới, dữ liệu riêng hoặc yêu cầu có công cụ. Một lời giải có nhiều bước vẫn có thể dựa trên giả thiết sai; độ dài câu trả lời không phải bằng chứng kiểm chứng. Với toán và mã, nên đối chiếu kết quả bằng phép tính hoặc kiểm thử có thể lặp lại.

Giới hạn tính năng ở mốc ra mắt

OpenAI lưu ý bản đầu chưa có nhiều tính năng quen thuộc của ChatGPT như duyệt web, tải tệp và ảnh. Với nhiều tác vụ phổ thông, GPT-4o vẫn có thể phù hợp hơn trong thời gian đầu. Vì vậy, model suy luận mới không phải thay thế tuyệt đối cho model đa phương thức.

Khả năng truy cập cũng được triển khai theo nhóm người dùng và hạn mức. Trang đã cập nhật hạn mức ngày 17/09/2024 thành 50 truy vấn mỗi tuần cho preview; đây là thay đổi sau ngày công bố, không nên ghi thành hạn mức nguyên thủy ngày 12/09. Hạn mức ChatGPT không phải cửa sổ ngữ cảnh hoặc đơn giá API.

An toàn: cải thiện không đồng nghĩa miễn nhiễm

Trong một bài kiểm tra jailbreak khó của OpenAI, o1-preview đạt 84 trên thang 0–100, so với 22 của GPT-4o. Đây là điểm trong phép đo nội bộ được tác giả mô tả, không phải tỷ lệ an toàn của mọi tình huống. Việc mô hình suy luận về quy tắc là một hướng tăng độ bền, không thay cho kiểm soát quyền ở ứng dụng.

Đặc biệt, tài liệu truy xuất hoặc dữ liệu người ngoài cung cấp không được coi là lệnh có quyền ngang cấu hình hệ thống. Khi nối mô hình với công cụ, cần xác thực hành động và giới hạn phạm vi độc lập với mức tự tin của câu trả lời.

Chi phí và lựa chọn tác vụ

Các đoạn nguồn được dẫn ở đây không cung cấp đủ bảng đơn giá lịch sử để tính một yêu cầu o1-preview cụ thể; bài không suy giá từ thời gian suy luận hoặc lấy giá o1 đời sau thay thế. Dành thêm tính toán trước khi trả lời cũng không cho biết độ trễ cố định của mọi yêu cầu.

So với GPT-4o, preview phù hợp để thử trên bài toán cần suy luận nhiều bước, còn tính năng đa phương thức và thao tác sản phẩm phải kiểm riêng. Với công việc số lượng lớn, GPT-4o mini có trọng tâm chi phí khác. Tiêu chí lựa chọn là độ đúng trên tác vụ thật, độ trễ chấp nhận được và tổng chi phí, không chỉ tên dòng model.

Nguồn chính thức

OpenAI: Introducing OpenAI o1-preview và Learning to reason with LLMs, 12/09/2024. Phạm vi bài là bản preview tại thời điểm giới thiệu, không phải trạng thái hỗ trợ hiện hành.