text-embedding-3-small: năng lực, chi phí và giới hạn qua nguồn chính thức

text-embedding-3-small là mô hình embeddings được OpenAI công bố ngày 25/01/2024, hướng đến hiệu quả truy xuất với chi phí thấp. Nó biểu diễn nội dung thành dãy số để phục vụ tìm kiếm, phân cụm và gợi ý, không trực tiếp viết câu trả lời như mô hình GPT.

Cải thiện so với ada-002

Trong công bố chính thức, OpenAI so sánh small với text-embedding-ada-002: điểm trung bình MIRACL tăng từ 31,4 lên 44,0, còn MTEB tăng từ 61,0 lên 62,3. MIRACL đo truy xuất đa ngôn ngữ; MTEB trong thông cáo đại diện nhóm tác vụ tiếng Anh. Các điểm này không phải tỷ lệ mọi truy vấn thực tế được trả đúng.

Mức tăng trên hai bộ đánh giá khác nhau cũng không chứng minh chất lượng đồng đều ở mọi ngôn ngữ. Với kho tài liệu tiếng Việt, cần đánh giá câu hỏi thật, tên riêng, thuật ngữ và nội dung có phủ định. Không suy từ điểm trung bình đa ngôn ngữ thành cam kết riêng cho tiếng Việt.

Vai trò trong hệ thống tìm kiếm

Embeddings giúp so sánh nội dung theo biểu diễn số thay vì chỉ tìm từ khóa trùng khớp. Một ứng dụng có thể tạo vector cho tài liệu và truy vấn, rồi dùng chỉ mục để tìm các đoạn gần nhau. Mô hình không tự cung cấp cơ sở dữ liệu, bộ phân quyền hay giao diện truy xuất.

Với RAG, đoạn truy xuất được đưa cho mô hình sinh làm ngữ cảnh. Đó là hai công đoạn khác nhau: tìm đúng đoạn không bảo đảm mô hình sinh diễn giải đúng, còn câu trả lời trôi chảy không chứng minh chỉ mục đã lấy đúng tài liệu. Cần kiểm tra cả độ liên quan và khả năng trả lời từ bằng chứng.

Chi phí tại thời điểm công bố

Giá ra mắt được nêu là 0,00002 USD cho 1.000 token, thấp hơn năm lần so với mức 0,0001 USD cho 1.000 token của ada-002 trong phép so sánh. Theo phép nhân đơn giản, một triệu token có chi phí embeddings 0,02 USD theo đơn giá này, chưa gồm lưu trữ, truy vấn hay các dịch vụ khác. Đây là giá lịch sử tháng 01/2024, không phải báo giá hiện hành.

Chi phí tổng còn phụ thuộc số lần tạo lại vector khi tài liệu đổi, cách chia đoạn và hạ tầng chỉ mục. Giá model giảm năm lần không đồng nghĩa tổng chi phí hệ thống giảm năm lần. Nếu thay mô hình, cần kiểm tra khả năng phải lập lại chỉ mục thay vì dùng lẫn vector từ hai không gian biểu diễn.

Small hay large?

Cùng công bố, text-embedding-3-large có điểm MIRACL 54,9 và MTEB 64,6, với giá 0,00013 USD cho 1.000 token. Small có lợi thế đơn giá; large có điểm benchmark cao hơn trong phép đo được công bố. Lựa chọn cần dựa trên chất lượng truy xuất của dữ liệu thực và ngân sách, không chỉ tên kích thước.

OpenAI cũng cho biết không ngừng hỗ trợ ada-002 ở thời điểm thông cáo. Do đó, khuyến nghị dùng model mới không phải thông báo mọi ứng dụng cũ phải đổi ngay. Quyết định chuyển đổi nên tính cả thử nghiệm, tạo lại vector và kiểm tra hồi quy.

Giới hạn và kiểm soát

Độ gần vector không xác nhận tính đúng đắn, phiên bản hay quyền xem tài liệu. Một đoạn có thể gần về chủ đề nhưng không chứa câu trả lời. Các truy vấn mã sản phẩm và số liệu cần được kiểm riêng; đối sánh từ khóa hoặc bộ lọc metadata có thể bổ sung cho truy xuất ngữ nghĩa.

Với ứng dụng doanh nghiệp, cần tách kiểm soát quyền khỏi xếp hạng tìm kiếm, đo khả năng lấy đúng bằng chứng và theo dõi chi phí cập nhật. So với ada-002, small là một lựa chọn mới về hiệu quả; nó không thay thế lớp kiểm chứng của hệ thống. GPT-4 Turbo hoặc mô hình sinh khác vẫn là thành phần riêng nếu cần viết câu trả lời.

Nguồn chính thức

OpenAI, New embedding models and API updates, 25/01/2024. Benchmark và giá được trình bày theo công bố, không thay cho đánh giá độc lập trên dữ liệu triển khai.