GPT-4o mini: năng lực, chi phí và giới hạn qua nguồn chính thức

GPT-4o mini được OpenAI công bố ngày 18/07/2024, hướng tới những ứng dụng cần nhiều lượt gọi mô hình với chi phí thấp. Ngày ra mắt, API hỗ trợ văn bản và thị giác; âm thanh và video được nêu như hướng bổ sung trong tương lai, không phải tính năng đã mở đồng loạt.

Ngữ cảnh 128K và đầu ra 16K

Theo công bố chính thức, mô hình có cửa sổ ngữ cảnh 128K token, hỗ trợ tới 16K token đầu ra mỗi yêu cầu và kiến thức đến tháng 10/2023. Các con số này không phải số từ: cách mã hóa và ngôn ngữ ảnh hưởng lượng token. Cửa sổ lớn giúp cung cấp thêm tài liệu, không bảo đảm mô hình khai thác chính xác mọi chi tiết.

Mô hình dùng tokenizer cải tiến chung với GPT-4o. OpenAI nhấn mạnh hiệu quả xử lý văn bản ngoài tiếng Anh, nhưng không đưa ra trong công bố một hệ số giảm token riêng có thể áp dụng cho mọi văn bản tiếng Việt. Khi lập ngân sách cần đếm dữ liệu thật thay vì suy từ một ví dụ ngôn ngữ khác.

Benchmark: điểm cao không thay thế đánh giá ứng dụng

OpenAI báo cáo MMLU 82,0%, MGSM 87,0%, HumanEval 87,2% và MMMU 59,4%. Các bộ đánh giá lần lượt phản ánh những khía cạnh tri thức, toán đa ngôn ngữ, lập trình và suy luận đa phương thức; không thể gộp chúng thành một tỷ lệ đúng chung.

Chú thích của nguồn cho biết điểm mini được tính bằng kho simple-evals với system message API assistant. Điểm đối thủ lấy giá trị cao nhất giữa số công bố, HELM và phép tái hiện của OpenAI. Vì vậy đây là so sánh theo quy trình của tác giả, không phải thử nghiệm độc lập trong một ứng dụng có cấu hình hoàn toàn giống nhau.

Chi phí lịch sử và bài toán nhiều lượt gọi

Giá ra mắt là 0,15 USD cho một triệu token đầu vào và 0,60 USD cho một triệu token đầu ra. Ví dụ một triệu token vào cộng 100.000 token ra tương đương 0,21 USD theo đơn giá này, chưa gồm dịch vụ khác. Đây là giá tháng 07/2024, không phải báo giá hiện hành.

OpenAI mô tả mức giá thấp hơn trên 60% so với GPT-3.5 Turbo. Tổng chi phí còn phụ thuộc số lần gọi lại, chiều dài câu trả lời và hạ tầng. Một tác vụ rẻ mỗi lần gọi nhưng cần sửa nhiều lần chưa chắc rẻ hơn mô hình lớn hoàn tất ngay từ đầu.

Function calling và an toàn

Thông cáo nhấn mạnh function calling cho ứng dụng lấy dữ liệu hoặc thao tác với hệ thống ngoài. Mô hình tạo đề xuất gọi hàm; ứng dụng vẫn chịu trách nhiệm kiểm tham số và quyền thực thi. Không coi một đối số do mô hình tạo là dữ liệu đã được xác thực.

Mini là mô hình API đầu tiên OpenAI áp dụng phương pháp instruction hierarchy nhằm cải thiện khả năng chống jailbreak, prompt injection và trích xuất system prompt. Cải thiện không đồng nghĩa miễn nhiễm: nội dung tài liệu bên ngoài vẫn cần được tách khỏi lệnh tin cậy, nhất là khi có công cụ ghi dữ liệu.

Khả dụng và vị trí trong chuỗi

Ở mốc ra mắt, mini được cung cấp qua Assistants API, Chat Completions API và Batch API dưới dạng text/vision. Fine-tuning được lên kế hoạch cho những ngày sau. Trong ChatGPT, Free, Plus và Team bắt đầu được tiếp cận thay GPT-3.5; Enterprise được dự kiến tuần kế tiếp. Không đánh đồng lịch từng sản phẩm với ngày model được công bố.

So với GPT-4o, mini tập trung vào hiệu quả chi phí. Nó cũng khác dòng embeddings nhỏ: mini sinh nội dung và xử lý yêu cầu, embeddings tạo vector phục vụ truy xuất. Chọn model cần dựa vào tác vụ, không chỉ cùng chữ small hay mini.

Nguồn: OpenAI, GPT-4o mini: advancing cost-efficient intelligence, 18/07/2024. Thông số và giá trong bài thuộc mốc công bố ban đầu.