Embeddings đời đầu: năng lực, chi phí và giới hạn qua nguồn chính thức

Ngày 25/01/2022, OpenAI giới thiệu endpoint embeddings cho văn bản và mã nguồn. Khác mô hình sinh câu trả lời, các model này trả về vector số để phục vụ tìm kiếm ngữ nghĩa, phân cụm và phân loại. Công bố gốc chia sản phẩm thành ba họ chuyên biệt; đây chưa phải text-embedding-ada-002 hay thế hệ text-embedding-3.

Ba họ model, ba cách sử dụng

Họ text-similarity-{ada, babbage, curie, davinci}-001 phục vụ độ tương đồng giữa các đoạn văn bản. Họ text-search-{ada, babbage, curie, davinci}-{query, doc}-001 dùng các bộ mã hóa riêng cho truy vấn và tài liệu. Họ code-search-{ada, babbage}-{code, text}-001 hỗ trợ tìm mã bằng mô tả ngôn ngữ tự nhiên. Không nên hoán đổi các bộ mã hóa mà bỏ qua vai trò đầu vào của từng họ.

OpenAI mô tả các model là hậu duệ của GPT-3, ánh xạ đầu vào sang không gian vector nhiều chiều. Các vector phù hợp được so sánh để xếp hạng mức tương đồng. Có thể tính trước vector tài liệu rồi chỉ tính vector truy vấn lúc tìm kiếm. Điều này tách chi phí lập chỉ mục ban đầu khỏi chi phí truy vấn thường xuyên.

Năng lực và điều kiện benchmark

Theo OpenAI, text-similarity-davinci-001 đạt 92,2% trong phép đánh giá linear probe trên bảy bộ dữ liệu SentEval, so với 90,2% của kết quả trước được đối chiếu. Linear probe có huấn luyện bộ phân loại tuyến tính trên biểu diễn; không phải mô hình tự phân loại mọi dữ liệu mà không cần nhãn.

Với tìm kiếm, công bố nêu điểm trung bình 52,8% trên 11 tác vụ BEIR cho text-search-davinci, so với 50,2% của phương pháp trước được chọn so sánh. Đây là kết quả trên tập tác vụ và cách đo cụ thể, không phải tỷ lệ tìm đúng trên mọi kho tài liệu doanh nghiệp. Khả năng giảm phụ thuộc vào từ khóa chính xác có ích, nhưng vẫn cần đánh giá truy vấn thật và tài liệu đúng miền.

Chi phí: phải tính cả lập chỉ mục

Bài công bố gốc không đưa bảng giá theo token cho từng model. Vì vậy, không dùng giá của các thế hệ embedding sau để gán cho thời điểm tháng 1/2022. Chi phí hệ thống không chỉ là lời gọi API: còn có lưu vector, xây chỉ mục, tìm kiếm và cập nhật khi tài liệu thay đổi.

Tính trước embeddings giúp giảm việc xử lý lại tài liệu không đổi. Ngược lại, đổi model có thể đòi hỏi tạo lại vector của cả kho; vector từ các không gian khác nhau không nên được so sánh trực tiếp như thể cùng một mô hình. Lựa chọn model cần dựa trên chất lượng truy hồi, độ trễ và tổng chi phí của ứng dụng, không chỉ một điểm benchmark.

Giới hạn: tương đồng không phải sự thật

Một tài liệu gần truy vấn trong không gian vector có thể vẫn sai, cũ hoặc không được phép truy cập. Embeddings không tự xác minh nội dung và không thay thế kiểm soát quyền. Phân quyền cần được áp dụng trước khi trả kết quả, còn chất lượng tìm kiếm phải được kiểm bằng các câu hỏi có đáp án đối chiếu.

Cách chia đoạn, ngôn ngữ và đặc thù thuật ngữ có thể ảnh hưởng kết quả. Những khuyến nghị này là yêu cầu đánh giá hệ thống thực tế, không phải kết quả thử nghiệm độc lập trong bài. Với mã nguồn, tìm được đoạn gần nghĩa cũng không bảo đảm đoạn mã chạy đúng hoặc an toàn; điều này khác cả nhiệm vụ sinh mã của Codex đời đầu.

Vị trí trong hệ sinh thái OpenAI

Nếu GPT-3 nổi bật ở sinh văn bản, endpoint embeddings đưa biểu diễn ngữ nghĩa thành thành phần để xây công cụ tìm kiếm và phân tích. Giá trị nằm ở việc tìm ứng viên liên quan; quyết định cuối vẫn cần dữ liệu đúng, kiểm soát quyền và đánh giá phù hợp.

Nguồn chính thức

OpenAI — Introducing text and code embeddings, 25/01/2022. Các kết quả benchmark là số liệu OpenAI công bố, không phải phép đo mới. Bìa là minh họa AI.