Codex đời đầu là mô hình OpenAI chuyên sinh mã từ ngôn ngữ tự nhiên và ngữ cảnh lập trình. Ngày 29/06/2021, GitHub công bố Copilot dùng OpenAI Codex. Bài nghiên cứu xuất hiện ngày 07/07; bản Codex cải tiến được mở API private beta ngày 10/08. Ba mốc này không phải cùng một lần phát hành. Bài viết tập trung vào thế hệ năm 2021, không phải agent Codex ra mắt về sau.
Từ mô tả đến chương trình
Codex là hậu duệ của GPT-3, được học thêm từ mã nguồn công khai. Nghiên cứu tập trung đánh giá khả năng viết Python; phiên bản sản xuất riêng hỗ trợ GitHub Copilot. Không nên coi kết quả của mô hình nghiên cứu là phép đo trực tiếp mọi gợi ý Copilot hoặc bản API cải tiến.
Trong thông báo tháng 8, OpenAI mô tả Python là ngôn ngữ mạnh nhất của Codex, đồng thời liệt kê JavaScript, Go, Perl, PHP, Ruby, Swift, TypeScript và Shell. Các tác vụ minh họa gồm chuyển đổi ngôn ngữ, giải thích và tái cấu trúc mã. Độ thành công phụ thuộc yêu cầu; khả năng sinh mã không bảo đảm chương trình đúng hoặc an toàn.
HumanEval: phải đọc cả điều kiện lấy mẫu
Nghiên cứu Evaluating Large Language Models Trained on Code báo cáo Codex giải được 28,8% bài trên HumanEval, so với GPT-3 là 0% và GPT-J là 11,4% trong thiết lập nghiên cứu. Khi lấy 100 mẫu cho mỗi bài, nhóm đạt 70,2% bài có lời giải. Con số sau không phải tỷ lệ đúng của một lần sinh: nó dựa vào nhiều ứng viên và điều kiện kiểm thử của bộ đánh giá.
HumanEval đo tính đúng chức năng của các chương trình sinh từ docstring. Đây không phải đánh giá đầy đủ khả năng sửa một kho mã lớn, bảo trì dài hạn, hiểu yêu cầu kinh doanh hay bảo mật. Khi áp dụng thực tế, cần kiểm thử độc lập và review mã thay vì dùng điểm benchmark làm bảo đảm chất lượng.
Chi phí: miễn phí ở giai đoạn beta ban đầu
Thông báo API ngày 10/08/2021 nói Codex được cung cấp miễn phí trong giai đoạn ban đầu. Điều này không đồng nghĩa miễn phí vĩnh viễn, không phải bảng giá Copilot và không mô tả giá sản phẩm Codex hiện tại. Nguồn không đưa ra tổng chi phí huấn luyện bằng tiền, nên không thể suy một con số đáng tin cậy chỉ từ quy mô mô hình.
Chi phí sử dụng thực tế còn gồm thời gian kiểm tra mã, chạy test, xử lý lỗi và quản trị quyền thực thi. Lấy nhiều ứng viên có thể tăng khả năng tìm được lời giải nhưng cũng tăng lượng sinh và công việc đánh giá. Đây là đánh đổi cần đo trên chính tác vụ, không thể lấy tỷ lệ 70,2% để suy thẳng mức tiết kiệm lao động.
Giới hạn và rủi ro thực thi
Nghiên cứu ghi nhận khó khăn với docstring mô tả chuỗi thao tác dài và việc gắn các thao tác với đúng biến. Một đoạn mã nhìn hợp lý vẫn có thể sai khi gặp dữ liệu biên. Bài nghiên cứu cũng bàn tới tác động về an toàn, bảo mật và kinh tế của công nghệ sinh mã.
Không nên chạy tự động mã sinh với quyền truy cập dữ liệu thật hoặc hệ thống sản xuất. Cách triển khai thận trọng là cô lập môi trường, hạn chế quyền, kiểm đầu vào và có bộ test phù hợp. Đây là khuyến nghị vận hành, không phải tuyên bố Codex đã tự cung cấp các biện pháp đó.
Đọc Codex đúng bối cảnh lịch sử
So với GPT-3, Codex tập trung hơn vào mã nguồn. Trang OpenAI hiện ghi các model Codex cũ đã bị deprecated vào tháng 3/2023 và dẫn sang các sản phẩm mới. Vì vậy, các mô tả năm 2021 không nên được dùng làm hướng dẫn chọn API hiện tại. Bìa bài là minh họa AI, không phải ảnh giao diện sản phẩm.
Nguồn
GitHub: công bố Copilot, 29/06/2021; nghiên cứu Codex, nộp lần đầu 07/07/2021; OpenAI: bản cải tiến và API private beta, 10/08/2021.
Tác giả
Chăm Sóc Khách Hàng
