Computer-Using Agent — CUA: năng lực, chi phí và giới hạn qua nguồn chính thức

Computer-Using Agent (CUA) là mô hình đứng sau research preview Operator được giới thiệu ngày 23/01/2025. Theo OpenAI, nó kết hợp thị giác GPT-4o với suy luận được huấn luyện bằng reinforcement learning, nhằm thao tác trên giao diện đồ họa thay vì cần API riêng cho từng ứng dụng.

Vòng lặp nhìn, quyết định và thao tác

CUA nhận ảnh chụp màn hình để nhận biết trạng thái, chọn bước tiếp theo rồi điều khiển chuột và bàn phím ảo: click, cuộn hoặc nhập chữ. Sau hành động, ảnh mới cung cấp phản hồi cho bước kế tiếp. Mô hình có thể điều chỉnh khi gặp lỗi, nhưng một click thành công không chứng minh tác vụ nghiệp vụ đã hoàn tất.

Ưu điểm là tiếp cận phần mềm thiết kế cho con người mà không cần tích hợp API chuyên biệt. Đổi lại, thay đổi bố cục, cửa sổ bất ngờ và nhiều bước liên tiếp tạo thêm điểm thất bại. Không nên đồng nhất tính linh hoạt của giao diện chung với độ tin cậy tuyệt đối.

Benchmark và điều kiện đọc số liệu

OpenAI báo cáo tỷ lệ thành công 38,1% trên OSWorld, 58,1% trên WebArena và 87% trên WebVoyager. Đây là ba bộ tác vụ khác nhau, không phải ba phép đo có thể lấy trung bình để dự báo tỷ lệ thành công trên website bất kỳ. OSWorld đánh giá sử dụng máy tính; hai bộ còn lại tập trung vào web.

Hãng quan sát chất lượng tăng khi cho phép thêm bước trong OSWorld. Vì vậy ngân sách hành động là một điều kiện quan trọng của phép đo. Kết quả do tác giả công bố không phải kiểm thử độc lập trên giao diện và dữ liệu của người triển khai.

CUA không đồng nghĩa Operator hay API đã mở

CUA là mô hình; Operator là trải nghiệm sản phẩm sử dụng mô hình đó. Trang công bố nói hãng đang làm việc để đưa CUA lên API, nên không thể dùng mốc giới thiệu Operator để khẳng định API đã khả dụng đại trà cùng ngày. Bài không gán đơn giá API từ các phiên bản phát hành sau.

Nguồn kỹ thuật được dẫn không cung cấp bảng giá đủ để tính chi phí mỗi tác vụ. Chi phí thực còn phụ thuộc số vòng ảnh–hành động, lần thử lại và hạ tầng thực thi. Không suy số tiền từ điểm benchmark hoặc thời gian thao tác trong một trình diễn.

An toàn và quyền quyết định

Công bố mô tả CUA tìm sự tham gia của người dùng ở bước nhạy cảm như thông tin đăng nhập hoặc CAPTCHA. Hệ thống có quyền tác động thế giới số cần phân biệt dữ liệu trên trang với chỉ thị của người dùng: nội dung web không được tự nâng quyền thành lệnh thực thi.

Với giao dịch, gửi thông tin hoặc sửa dữ liệu, cần giới hạn quyền và kiểm tra kết quả độc lập. Một chuỗi thao tác trông hợp lý vẫn có thể chọn sai đối tượng. Người vận hành nên xác minh trạng thái cuối thay vì chỉ đọc mô tả hoàn tất của mô hình.

Vị trí trong chuỗi OpenAI

CUA mở rộng từ hiểu hình ảnh của GPT-4o sang hành động trên giao diện, kết hợp hướng suy luận của dòng o1. Giá trị nằm ở khả năng dùng phần mềm không có API phù hợp; giới hạn nằm ở độ tin cậy của cả chuỗi quan sát và thao tác. Nguồn: OpenAI, Computer-Using Agent, mốc giới thiệu 23/01/2025.