o1-mini: năng lực, chi phí và giới hạn qua nguồn chính thức

o1-mini được OpenAI giới thiệu ngày 12/09/2024 như mô hình suy luận tối ưu cho STEM, đặc biệt toán và lập trình. Điểm đánh đổi là kiến thức thực tế ngoài STEM hạn chế hơn: giỏi giải một bài toán không đồng nghĩa biết rộng hoặc viết tốt ở mọi lĩnh vực.

Kết quả toán và lập trình

Theo công bố OpenAI, mini đạt 70,0% trên AIME, so với 44,6% của o1-preview và 74,4% của o1 nghiên cứu trong phép so sánh. Codeforces đạt 1650 Elo, so với 1258 và 1673 tương ứng. Các số thuộc cấu hình đánh giá của tác giả, không phải xác suất giải đúng mọi đề mới; o1 nghiên cứu trong bảng không được mặc định là sản phẩm o1 phát hành tháng 12.

Mini đạt 90,0% trên MATH-500 và 60,0% trên GPQA Diamond, với nhãn 0-shot CoT trong biểu đồ. Tuy vậy, MMLU của mini thấp hơn GPT-4o trong cùng công bố. Lựa chọn mô hình cần theo dạng tác vụ, không chỉ lấy benchmark mạnh nhất làm đại diện chất lượng chung.

Chi phí và tốc độ lịch sử

OpenAI công bố giá mini thấp hơn 80% so với o1-preview ở mốc ra mắt cho người dùng API tier 5. Đây là so sánh lịch sử, không phải bảng giá hiện hành hoặc bảo đảm tổng hóa đơn giảm 80%. Số token, số lần thử và việc kiểm tra kết quả vẫn ảnh hưởng chi phí tác vụ.

Ví dụ tốc độ trong bài so sánh một câu hỏi suy luận từ ngữ: mini và preview đều trả đúng, mini nhanh hơn khoảng 3–5 lần. Một ví dụ không thiết lập hệ số tốc độ chung cho mọi bài toán. Không suy ra độ trễ cố định từ trình diễn này.

Giới hạn kiến thức và an toàn

Hãng nêu kiến thức ngoài STEM như ngày tháng, tiểu sử và trivia tương đương nhóm mô hình nhỏ như GPT-4o mini. Đánh giá sở thích người dùng cũng không ưu tiên mini hơn GPT-4o trong các lĩnh vực tập trung vào ngôn ngữ. Vì vậy không nên dùng năng lực lập trình để suy khả năng biên tập hay độ chính xác kiến thức lịch sử.

Mini sử dụng kỹ thuật alignment và an toàn tương tự preview. OpenAI báo cáo cải thiện trên StrongREJECT nội bộ, nhưng điểm kiểm thử không chứng minh miễn nhiễm jailbreak hoặc prompt injection. Quyền thực thi công cụ phải được kiểm soát bên ngoài mô hình; mã sinh ra cần chạy kiểm thử trước khi sử dụng.

Vị trí trong chuỗi

So với o1-preview, mini nhấn mạnh hiệu quả suy luận STEM. GPT-4o mini có định hướng và phạm vi khác; cùng tên mini không có nghĩa cùng tính năng. Bài phản ánh mốc tháng 09/2024, không phải trạng thái hỗ trợ API hiện tại.