DALL·E được OpenAI công bố ngày 05/01/2021, tạo hình ảnh từ mô tả ngôn ngữ tự nhiên bằng mô hình 12 tỷ tham số. Bản nghiên cứu đời đầu cho thấy văn bản có thể điều khiển nhiều thuộc tính thị giác, từ hình dáng và chất liệu đến sự kết hợp giữa những khái niệm vốn ít xuất hiện cùng nhau. Đây là DALL·E đầu tiên, không phải DALL·E 2 hay các dịch vụ tạo ảnh về sau. Công bố gốc của OpenAI là nguồn chính cho bài viết.
Tạo ảnh bằng một chuỗi văn bản và hình ảnh
OpenAI mô tả DALL·E là một biến thể GPT-3 được huấn luyện trên các cặp văn bản–hình ảnh. Giống GPT-3, nó dùng Transformer và sinh dữ liệu theo thứ tự. Văn bản cùng hình ảnh được biểu diễn thành một luồng tối đa 1.280 token. Không nên diễn giải con số đó thành giới hạn ngữ cảnh văn bản thuần như ở một chatbot.
Quy trình huấn luyện cho phép tạo ảnh mới và tái tạo một vùng chữ nhật kéo dài đến góc dưới phải của ảnh có sẵn, sao cho phù hợp mô tả. Đây là phạm vi cụ thể của bản nghiên cứu; không đồng nghĩa một công cụ chỉnh sửa tổng quát có thể xử lý mọi vùng tùy ý.
Năng lực: kết hợp khái niệm và điều khiển thuộc tính
Các ví dụ chính thức gồm động vật hoặc vật thể được nhân hóa, ghế có hình quả bơ, biến đổi chất liệu và tạo một số dạng chữ. Khả năng đáng chú ý là kết hợp những mô tả khác nhau thành hình ảnh có vẻ hợp lý, thay vì chỉ tái hiện một loại vật thể quen thuộc.
Tuy nhiên, các ảnh trong phần tương tác của công bố là 32 mẫu đứng đầu trong 512 mẫu sau khi xếp hạng lại bằng CLIP. OpenAI nói không lựa chọn thủ công trong tập đó, nhưng có ngoại lệ với thumbnail và ảnh độc lập bên ngoài. Vì vậy, ảnh trình diễn không đại diện cho chất lượng của một lần sinh duy nhất.
Chi phí: chưa có giá dịch vụ trong công bố đời đầu
Bài giới thiệu ngày 05/01/2021 không cung cấp bảng giá API hoặc giá cho mỗi ảnh. Không thể dùng giá của DALL·E 2, DALL·E 3 hay một công cụ hiện tại để gán cho bản nghiên cứu này. Số tham số cũng không đủ để suy ra tổng chi phí huấn luyện hoặc chi phí triển khai bằng tiền.
Việc lấy nhiều mẫu rồi xếp hạng còn nhắc rằng chất lượng cuối cùng phụ thuộc cả quy trình lựa chọn, không chỉ mô hình sinh. Khi so sánh hệ thống tạo ảnh, cần làm rõ số mẫu, bước lọc và mức can thiệp của con người; một ảnh được chọn từ hàng trăm mẫu không tương đương một ảnh sinh ngay lần đầu.
Giới hạn: đếm, gắn thuộc tính và quan hệ không gian
OpenAI ghi nhận mô hình không đếm đáng tin cậy quá ba đối tượng. Điều khiển đồng thời nhiều vật thể, màu sắc và quan hệ không gian cũng khó hơn điều khiển một thuộc tính riêng lẻ. Với một số hình dạng hiếm, tỷ lệ thành công thấp hơn; đôi khi lặp lại mô tả bằng cách diễn đạt khác giúp kết quả nhất quán hơn.
Những hạn chế này quan trọng với minh họa đòi hỏi đúng số lượng, đúng màu gắn với từng vật thể hoặc bố cục chính xác. Cần kiểm tra ảnh cuối thay vì mặc định mô hình hiểu toàn bộ câu lệnh. OpenAI cũng nêu các vấn đề xã hội cần nghiên cứu thêm, gồm tác động nghề nghiệp, thiên lệch và thách thức đạo đức.
Vị trí của DALL·E trong chuỗi OpenAI
Nếu GPT-3 khai thác hướng dẫn và ví dụ trong văn bản, DALL·E mở rộng hướng điều khiển bằng ngôn ngữ sang hình ảnh. Điểm cần giữ khi đọc lại nghiên cứu là tách khả năng trình diễn khỏi độ tin cậy sản xuất. Bìa bài này là minh họa AI hiện đại, không phải mẫu đầu ra của DALL·E năm 2021.
Nguồn chính thức
OpenAI — DALL·E: Creating images from text, 05/01/2021. Thông số, thiết lập chọn mẫu và giới hạn được trình bày theo bản công bố này.
Tác giả
Chăm Sóc Khách Hàng
