text-embedding-3-large: năng lực, chi phí và giới hạn qua nguồn chính thức

text-embedding-3-large được OpenAI công bố ngày 25/01/2024, cùng text-embedding-3-small. Đây là mô hình tạo biểu diễn vector cho nội dung, phục vụ truy xuất, phân cụm và các ứng dụng học máy. Nó không phải mô hình hội thoại và không tự viết câu trả lời có trích dẫn.

Năng lực được công bố

Theo thông cáo OpenAI, large tạo embeddings tới 3.072 chiều và là mô hình embeddings có hiệu năng tốt nhất của hãng ở thời điểm giới thiệu. So với ada-002, điểm trung bình MIRACL tăng từ 31,4 lên 54,9; MTEB tăng từ 61,0 lên 64,6. MIRACL được dùng để đánh giá truy xuất đa ngôn ngữ, còn MTEB trong công bố đại diện các tác vụ tiếng Anh.

Các điểm này mô tả bộ đánh giá và điều kiện của tác giả, không phải xác suất một truy vấn bất kỳ trả đúng. Chênh lệch MIRACL lớn hơn chênh lệch MTEB cũng không có nghĩa mọi ngôn ngữ đều hưởng lợi giống nhau. Với dữ liệu tiếng Việt, cần đo khả năng lấy đúng đoạn trả lời trên tập truy vấn đại diện.

Vector nhiều chiều có ý nghĩa gì?

Mỗi nội dung được mã hóa thành dãy số. Hệ thống có thể so sánh vector để xếp hạng những tài liệu liên quan đến truy vấn. Số chiều là đặc điểm biểu diễn, không phải số từ mà mô hình nhớ hoặc số chủ đề được bảo đảm phân biệt. Nhiều chiều hơn không tự chứng minh chất lượng tốt hơn cho mọi kho dữ liệu.

Ở cấu hình tới 3.072 chiều, lưu trữ vector thô cần nhiều giá trị hơn cấu hình ít chiều nếu số tài liệu và kiểu số giữ nguyên. Chi phí thực của chỉ mục còn phụ thuộc cấu trúc tìm kiếm, metadata, bản sao và tải truy vấn. Không thể suy tổng RAM hoặc hóa đơn chỉ từ số chiều của model.

Chi phí lịch sử: trả thêm cho chất lượng truy xuất

Giá ra mắt được nêu là 0,00013 USD cho 1.000 token. Theo đơn giá đó, một triệu token tương đương 0,13 USD tiền tạo embeddings, chưa tính các dịch vụ khác. Cùng mốc công bố, small có giá 0,00002 USD cho 1.000 token, tức large cao hơn 6,5 lần về đơn giá token. Đây là giá lịch sử tháng 01/2024, không phải báo giá hiện hành.

Tỷ lệ giá không nói rằng toàn bộ hệ thống đắt hơn 6,5 lần: lưu chỉ mục, xử lý truy vấn và công sức sửa kết quả có cơ cấu chi phí khác. Ngược lại, điểm benchmark cao hơn không tự chứng minh phần tiền trả thêm mang lại lợi ích đủ lớn. Cần so sánh độ liên quan, khả năng lấy đúng bằng chứng và tổng chi phí trên cùng dữ liệu.

Chọn large hay small?

text-embedding-3-small đạt MIRACL 44,0 và MTEB 62,3 trong bảng công bố. Large có điểm cao hơn ở cả hai phép đo, còn small có đơn giá thấp hơn. Bài toán thực tế là xác định large có sửa được các trường hợp truy xuất thất bại quan trọng hay không, chứ không chỉ chọn model có điểm trung bình cao nhất.

Nếu đổi từ ada-002 hoặc model khác, cần kiểm tra việc lập lại chỉ mục. Không trộn vector của các mô hình khác nhau chỉ vì chúng có cùng độ dài: không gian biểu diễn có thể khác nhau. Chi phí chuyển đổi gồm cả tạo lại vector và đánh giá hồi quy.

Giới hạn: độ liên quan không phải sự thật

Embeddings có thể tìm tài liệu gần về ý nghĩa nhưng sai phiên bản, không chứa câu trả lời hoặc không thuộc quyền xem của người hỏi. Kiểm soát truy cập phải được thực hiện độc lập với điểm tương đồng. Tên riêng, mã hàng, ngày tháng và phủ định cũng cần được kiểm riêng; đối sánh từ khóa và bộ lọc có thể bổ sung cho tìm kiếm ngữ nghĩa.

Trong RAG, chất lượng embeddings chỉ là một phần của chuỗi xử lý. Chia đoạn, chỉ mục, xếp hạng lại và mô hình sinh đều ảnh hưởng đầu ra. Một câu trả lời trôi chảy không chứng minh truy xuất đúng, và truy xuất đúng cũng không bảo đảm mô hình sinh không diễn giải sai. Nên đo riêng từng tầng để biết lỗi nằm ở đâu.

Kết luận và nguồn

Large là lựa chọn đáng thử khi ưu tiên chất lượng truy xuất và sẵn sàng trả thêm đơn giá token so với small. Quyết định triển khai phải dựa vào dữ liệu thực, không phải suy từ tên kích thước hoặc điểm benchmark sang bảo đảm ứng dụng. Nguồn: OpenAI, New embedding models and API updates, 25/01/2024.