text-embedding-ada-002: năng lực, chi phí và giới hạn qua nguồn chính thức

text-embedding-ada-002 là mô hình embeddings được OpenAI công bố ngày 15/12/2022. Thay vì sinh câu trả lời như GPT, nó chuyển văn bản hoặc mã thành vector số để so sánh, tìm kiếm và xây hệ thống gợi ý. Điểm thay đổi lớn của đợt phát hành này là hợp nhất nhiều chức năng từng cần các mô hình riêng vào một biểu diễn chung.

Một mô hình thay cho năm vai trò

Công bố OpenAI mô tả việc thay năm vai trò text-similarity, text-search-query, text-search-doc, code-search-text và code-search-code bằng một mô hình. Với cách cũ, người xây ứng dụng phải phân biệt biểu diễn của truy vấn và tài liệu hoặc của mô tả và mã. Một biểu diễn thống nhất giúp đơn giản hóa lựa chọn model và luồng lập chỉ mục.

Hợp nhất không có nghĩa mọi tác vụ đều đạt chất lượng giống nhau. Mô hình tạo biểu diễn để ứng dụng tính độ gần; nó không tự cung cấp cơ sở dữ liệu vector, phân quyền tài liệu, giao diện tìm kiếm hay câu trả lời có trích dẫn. Các thành phần ấy vẫn phải được thiết kế ở cấp hệ thống.

Vector 1.536 chiều và ngữ cảnh dài hơn

Vector đầu ra có 1.536 chiều, bằng một phần tám kích thước embeddings davinci-001 được dùng để đối chiếu trong thông cáo. Giới hạn ngữ cảnh được công bố tăng từ 2.048 lên 8.192 token. Đây là số token đầu vào, không phải số từ tiếng Việt hoặc độ dài câu trả lời sinh ra.

Vector nhỏ hơn có thể giảm lượng dữ liệu cần lưu và xử lý trong chỉ mục khi các điều kiện khác giữ nguyên. Tuy nhiên, mức giảm tổng chi phí không tự bằng tỷ lệ giảm số chiều: cấu trúc chỉ mục, metadata, bản sao dữ liệu và tải truy vấn cũng chiếm tài nguyên. Khả năng nhận văn bản dài hơn cũng không loại bỏ việc chia đoạn; đoạn quá rộng có thể chứa nhiều chủ đề khiến kết quả tìm kiếm khó dùng hơn.

Hiệu năng: đọc đúng phép so sánh

OpenAI báo cáo mô hình mới tốt hơn các embeddings cũ trên tìm kiếm văn bản, tìm kiếm mã và độ tương đồng câu, trong khi phân loại văn bản có hiệu năng tương đương. Bảng BEIR trong công bố ghi 53,3 cho ada-002 và 52,8 cho text-search-davinci-*-001 trên tập dữ liệu được liệt kê. Đây là điểm benchmark của tác giả, không phải phần trăm mọi truy vấn ngoài thực tế trả đúng.

Đặc biệt, phần giới hạn nêu ada-002 không vượt text-similarity-davinci-001 trên SentEval linear probing classification. Với tác vụ huấn luyện một lớp tuyến tính nhẹ trên vector để phân loại, OpenAI khuyên so sánh hai mô hình và chọn theo kết quả thực. Vì vậy, khẳng định “thay thế hoàn toàn và tốt hơn ở mọi tác vụ” sẽ sai với chính nguồn gốc.

Chi phí: hai tỷ lệ giảm giá có mẫu số khác nhau

Thông cáo nêu giảm giá 90% so với model cũ cùng kích thước và thấp hơn 99,8% so với các model Davinci cũ trong phép so sánh hiệu năng. Hai con số dùng hai nhóm đối chiếu khác nhau; không được cộng lại hoặc diễn giải thành mức tiết kiệm cho toàn bộ hệ thống tìm kiếm. Đây là thông tin giá lịch sử tại công bố, không phải bảng giá hiện hành.

Ngân sách triển khai còn gồm việc tạo vector cho kho tài liệu, cập nhật khi nội dung thay đổi, lưu chỉ mục và chạy truy vấn. Nếu đổi sang một mô hình embeddings khác, cần đánh giá việc tạo lại vector cho tài liệu và truy vấn; không nên trộn vector từ các không gian biểu diễn khác nhau chỉ vì số chiều trùng nhau. Nguồn này không đủ để đưa một đơn giá tuyệt đối cho mọi cấu hình ứng dụng.

Giới hạn khi dùng tìm kiếm ngữ nghĩa

Độ gần vector không chứng minh hai phát biểu tương đương về sự thật. Tài liệu có thể liên quan về chủ đề nhưng sai phiên bản, thiếu điều kiện hoặc không thuộc quyền truy cập của người hỏi. Tìm kiếm tên riêng, mã sản phẩm và con số cũng cần đánh giá riêng thay vì mặc định ngữ nghĩa sẽ thay thế mọi đối sánh từ khóa.

Ứng dụng nên đo chất lượng truy xuất trên câu hỏi thật, kiểm tra đoạn được lấy có chứa bằng chứng cần thiết hay không và tách quyền truy cập khỏi điểm tương đồng. Nếu kết hợp với mô hình sinh để làm RAG, truy xuất đúng là một điều kiện quan trọng nhưng không bảo đảm câu trả lời cuối không bịa đặt.

Vị trí trong chuỗi OpenAI

So với Embeddings đời đầu, ada-002 đơn giản hóa giao diện bằng mô hình thống nhất, tăng ngữ cảnh và giảm kích thước vector. Nó khác GPT-3.5 ở vai trò: embeddings phục vụ biểu diễn và truy xuất, còn mô hình sinh tạo văn bản. Bài học triển khai là chọn theo tác vụ và đo chất lượng, không suy rằng tên mới hơn đồng nghĩa tốt hơn mọi benchmark.

Nguồn chính thức

OpenAI, New and improved embedding model, 15/12/2022; Introducing text and code embeddings, dùng làm bối cảnh thế hệ trước.