GPT-4 Turbo được OpenAI giới thiệu ở dạng preview ngày 06/11/2023 tại DevDay. Mô hình mở rộng cửa sổ ngữ cảnh lên 128K token, cập nhật kiến thức đến tháng 04/2023 và giảm giá so với GPT-4. Công bố còn giới thiệu nhánh Vision nhận ảnh đầu vào, cùng các cải tiến về function calling và định dạng đầu ra.
128K ngữ cảnh: dung lượng không đồng nghĩa với hiểu hoàn hảo
Theo thông cáo DevDay, GPT-4 Turbo có thể nhận ngữ cảnh 128K token. OpenAI minh họa dung lượng này tương đương hơn 300 trang văn bản, nhưng số trang phụ thuộc nội dung và cách trình bày; token không phải số từ. Cửa sổ lớn giúp đưa thêm tài liệu vào yêu cầu, không bảo đảm mọi chi tiết đều được sử dụng chính xác.
Phiên bản preview văn bản được truy cập bằng gpt-4-1106-preview. Mốc công bố preview không phải ngày mọi phiên bản ổn định về sau được phát hành. Kiến thức đến tháng 04/2023 cũng không có nghĩa mô hình tự cập nhật hoặc có Internet: dữ liệu mới cần được ứng dụng cung cấp qua ngữ cảnh hoặc công cụ.
Function calling và JSON mode
Công bố bổ sung khả năng đề xuất nhiều lời gọi hàm trong một thông điệp và cải thiện độ chính xác tham số. Mô hình tạo đối số để ứng dụng gọi hàm; việc cấp quyền, thực thi và kiểm tra kết quả vẫn thuộc hệ thống bên ngoài. Không nên coi đầu ra function calling là lệnh đã được xác thực hoặc hành động đã hoàn tất.
JSON mode giới hạn đầu ra thành JSON đúng cú pháp qua response_format. JSON hợp lệ không bảo đảm dữ liệu đúng sự thật hay đáp ứng schema nghiệp vụ. Ứng dụng vẫn cần kiểm kiểu, trường bắt buộc, giá trị và quyền thao tác trước khi sử dụng kết quả.
Vision nhận ảnh, không phải tạo ảnh
GPT-4 Turbo with Vision được công bố với định danh gpt-4-vision-preview, nhận ảnh trong Chat Completions để mô tả và phân tích nội dung hình ảnh, gồm tài liệu có hình. Đây là đầu vào thị giác; khả năng tạo ảnh DALL·E 3 cũng được giới thiệu tại DevDay nhưng là mô hình và API khác. Không gộp hai năng lực thành một model chỉ vì cùng xuất hiện trong một sự kiện.
Nhận ảnh không thay thế phép đo chuyên dụng hoặc kiểm tra bằng tài liệu gốc. Với ảnh nhỏ, chữ khó đọc và chi tiết quyết định, cần đánh giá trên mẫu thực, tránh dùng mô tả tự tin làm bằng chứng rằng mô hình đã đọc đúng mọi ký tự.
Chi phí lịch sử và chi phí hệ thống
Ở thời điểm công bố, OpenAI nêu giá token đầu vào GPT-4 Turbo rẻ hơn ba lần và đầu ra rẻ hơn hai lần so với GPT-4. Hai tỷ lệ áp dụng cho hai loại token riêng; không có nghĩa mọi ứng dụng tự giảm tổng hóa đơn theo cùng tỷ lệ. Đưa nhiều tài liệu hơn vào cửa sổ 128K vẫn làm tăng lượng token phải xử lý.
Với Vision, nguồn cho biết giá phụ thuộc kích thước ảnh và đưa ví dụ ảnh 1080×1080 có giá 0,00765 USD. Đây là ví dụ lịch sử trong công bố, không phải báo giá hiện hành hay đơn giá cố định cho mọi ảnh. Chi phí công cụ, truy xuất dữ liệu và vận hành ứng dụng cần được tính riêng.
Giới hạn khi xây ứng dụng
Tham số seed được giới thiệu ở dạng beta nhằm tạo kết quả nhất quán phần lớn thời gian, không cam kết tính xác định tuyệt đối. Vì vậy, kiểm thử không nên yêu cầu mọi câu trả lời tự nhiên phải giống từng ký tự; cần kiểm các tiêu chí nghiệp vụ và lưu cấu hình mô hình thực tế.
Assistants API, Retrieval và Code Interpreter cũng được giới thiệu tại DevDay nhưng là lớp nền tảng và công cụ, không phải năng lực tự có của mọi lời gọi GPT-4 Turbo. Thread dài ở lớp ứng dụng không biến cửa sổ ngữ cảnh mô hình thành vô hạn. Khi đánh giá, phải tách chất lượng mô hình, dữ liệu truy xuất và kết quả thực thi công cụ.
Vị trí trong chuỗi OpenAI
So với GPT-3.5, GPT-4 Turbo nhấn mạnh ngữ cảnh lớn, định dạng và tích hợp công cụ cho ứng dụng. Embeddings ada-002 vẫn có vai trò riêng trong truy xuất tài liệu: ngữ cảnh lớn không tự thay thế mọi chỉ mục tìm kiếm. Giá trị triển khai cần được đo bằng độ đúng, độ trễ và tổng chi phí trên tác vụ thật.
Nguồn chính thức
OpenAI, New models and developer products announced at DevDay, 06/11/2023. Thông số và giá trong bài được đặt trong bối cảnh công bố ban đầu, không đại diện bảng giá hiện tại.
Tác giả
Chăm Sóc Khách Hàng
