Claude 3.5 Sonnet bản nâng cấp ngày 22/10/2024 tập trung vào lập trình, sử dụng công cụ và khả năng điều khiển giao diện máy tính. Anthropic giữ tên Claude 3.5 Sonnet, vì vậy cần phân biệt bản này với lần ra mắt đầu tiên tháng 6/2024. Điểm mới đáng chú ý là computer use được mở dưới dạng public beta cho nhà phát triển. [1]
Lập trình và sử dụng công cụ
Theo Anthropic, SWE-bench Verified tăng từ 33,4% ở bản trước lên 49,0% ở bản nâng cấp. Bài đánh giá yêu cầu mô hình xử lý vấn đề trong kho mã Python thực tế, dùng công cụ sửa mã và chạy kiểm thử. Mức tăng là 15,6 điểm phần trăm, không đồng nghĩa mọi nhóm phát triển sẽ tăng năng suất tương ứng. [1] [3]
Ở TAU-bench, kết quả bán lẻ tăng từ 62,6% lên 69,2%; hàng không tăng từ 36,0% lên 46,0%. Đây là các tình huống chăm sóc khách hàng mô phỏng, kết hợp hội thoại, API và chính sách nghiệp vụ. Model card ghi các số trên theo pass^1; chúng không chứng minh agent luôn hoàn thành đúng một quy trình dài qua nhiều lần chạy. [3]
Các kết quả này do Anthropic công bố với cấu hình đánh giá của hãng. Khi chọn mô hình cho kho mã hoặc dịch vụ cụ thể, nên đo tỷ lệ hoàn thành cùng lỗi phát sinh và chi phí kiểm tra lại, thay vì chỉ nhìn điểm tổng.
Computer use: cách hoạt động và giới hạn
Computer use cho phép Claude đọc ảnh chụp màn hình rồi đề xuất lệnh tương tác như di chuyển con trỏ, nhấp chuột và nhập văn bản. Nhà phát triển phải tích hợp công cụ thực thi; mô hình không tự có quyền điều khiển mọi máy tính. Đây là năng lực beta của bản Sonnet nâng cấp, không phải một mô hình riêng. [1] [3]
Trên OSWorld với đầu vào chỉ là ảnh chụp màn hình, tỷ lệ thành công đạt 14,9% ở giới hạn 15 bước. Khi Anthropic tối ưu prompt và nâng giới hạn lên 50 bước, kết quả đạt 22,0%; mức con người được tài liệu dẫn là 72,36%. Vì cả prompt lẫn ngân sách bước đều thay đổi, không nên quy toàn bộ cải thiện cho riêng số bước. [3]
Khoảng cách với con người còn lớn. Anthropic nêu cuộn trang, kéo thả và phóng to là những thao tác còn khó. Thử nghiệm phù hợp là tác vụ ít rủi ro trong môi trường cách ly; việc gửi biểu mẫu, thanh toán hoặc thay đổi dữ liệu quan trọng nên có bước xác nhận của con người. Đây là biện pháp kiểm soát triển khai, không phải cam kết an toàn từ điểm benchmark. [1]
Truy cập và giá API tại ngày ra mắt
Tại thời điểm công bố, bản Sonnet nâng cấp có sẵn cho người dùng; nhà phát triển có thể dùng computer use beta qua Anthropic API, Amazon Bedrock và Google Cloud Vertex AI. Không nên hiểu thông tin lịch sử này là xác nhận tình trạng cung cấp hiện nay. [1]
Thông cáo tháng 10 nói bản mới giữ nguyên giá và tốc độ bản trước. Mức API tiêu chuẩn được công bố cho Claude 3.5 Sonnet tháng 6 là 3 USD mỗi triệu token đầu vào và 15 USD mỗi triệu token đầu ra. Đây là giá lịch sử tại thời điểm ra mắt, không phải báo giá hiện hành hoặc giá trọn gói cho một agent. [1] [2]
Ví dụ, 1 triệu token đầu vào và 100.000 token đầu ra tương ứng 4,50 USD theo hai đơn giá trên, trước các khoản khác. Một tác vụ computer use nhiều vòng có thể dùng thêm ảnh chụp màn hình và nhiều lượt gọi; vì vậy số bước thành công chưa đủ để suy ra chi phí thực tế.
Bản nâng cấp phù hợp với nhu cầu nào?
Điểm lập trình và tool use khiến bản tháng 10 đáng chú ý với nhóm xây trợ lý sửa mã hoặc quy trình cần nhiều lời gọi công cụ. Computer use mở thêm hướng thử nghiệm với phần mềm chỉ có giao diện đồ họa, nhưng kết quả OSWorld cho thấy chưa thể coi nó như nhân viên tự động đáng tin cậy.
Khi đọc tài liệu hoặc tái lập kết quả cũ, cần ghi rõ phiên bản Sonnet tháng 10/2024, cấu hình công cụ và điều kiện đánh giá. Cùng tên thương mại không có nghĩa hai bản tháng 6 và tháng 10 có cùng năng lực. Không lấy giá hay trạng thái beta năm 2024 làm thông tin vận hành hiện tại.
Nguồn tham khảo
[1] Anthropic: bản Sonnet nâng cấp và computer use
[2] Anthropic: Claude 3.5 Sonnet, công bố tháng 6/2024
[3] Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet, mục 2.1–2.2
Tác giả
Chăm Sóc Khách Hàng
