Whisper là hệ thống nhận dạng giọng nói tự động được OpenAI công bố và mở mã nguồn ngày 21/09/2022. Mô hình được huấn luyện trên 680.000 giờ dữ liệu giám sát đa ngôn ngữ, đa tác vụ thu thập từ web. Điểm đáng chú ý không chỉ là chuyển tiếng nói thành chữ, mà là khả năng thích ứng với nhiều giọng nói, tiếng ồn và ngữ cảnh khác nhau mà không cần tinh chỉnh riêng cho từng bộ dữ liệu.
Whisper làm được gì?
Theo công bố của OpenAI, Whisper hỗ trợ chép lời nhiều ngôn ngữ và dịch lời nói từ những ngôn ngữ đó sang tiếng Anh. Khoảng một phần ba dữ liệu âm thanh huấn luyện không phải tiếng Anh. Cần phân biệt hai chức năng: chép lời giữ ngôn ngữ gốc, còn tác vụ dịch được mô tả trong công bố hướng đến đầu ra tiếng Anh; không nên diễn giải thành khả năng dịch giọng nói trực tiếp giữa mọi cặp ngôn ngữ.
Ứng dụng phù hợp gồm tạo bản nháp phụ đề, chuyển bản ghi âm thành văn bản để tra cứu và xây giao diện nhập liệu bằng giọng nói. Độ chính xác trên một bản ghi cụ thể vẫn phụ thuộc ngôn ngữ, chất lượng âm thanh, tiếng chồng lấn và thuật ngữ chuyên ngành. Một bản chép lời dễ đọc không tự chứng minh rằng tất cả tên riêng hay con số đã đúng.
Kiến trúc: từ âm thanh đến văn bản
Whisper sử dụng Transformer encoder–decoder theo hướng end-to-end. Âm thanh đầu vào được chia thành các đoạn 30 giây, chuyển thành phổ log-Mel rồi đưa qua encoder. Decoder dự đoán văn bản cùng các token đặc biệt để chỉ dẫn tác vụ, chẳng hạn nhận diện ngôn ngữ, đánh dấu thời gian ở mức cụm từ, chép lời đa ngôn ngữ hoặc dịch sang tiếng Anh.
Đoạn 30 giây là đơn vị xử lý trong mô tả kiến trúc, không có nghĩa mọi ứng dụng chỉ nhận được tệp dài tối đa 30 giây. Xử lý bản ghi dài cần cơ chế chia đoạn và ghép kết quả. Tương tự, timestamp trong mô hình không nên bị hiểu thành bảo đảm căn chỉnh từng từ hoặc xác định danh tính người nói.
Độ bền vững khác với đứng đầu mọi benchmark
OpenAI nêu rõ Whisper không vượt các mô hình chuyên biệt trên LibriSpeech, một benchmark nhận dạng tiếng nói cạnh tranh cao. Lợi thế được nhấn mạnh là zero-shot trên nhiều bộ dữ liệu đa dạng: trong phép so sánh ấy, tác giả báo cáo ít lỗi hơn 50% so với các mô hình được đối chiếu. Không được biến con số này thành “chính xác hơn 50%” cho mọi ngôn ngữ hoặc mọi tệp âm thanh.
Công bố cũng báo cáo kết quả dịch tiếng nói sang tiếng Anh zero-shot trên CoVoST2 vượt mốc supervised SOTA được dùng trong nghiên cứu. Đây là kết quả có điều kiện của tác giả. Khi triển khai cho tiếng Việt, cuộc gọi nhiều người hoặc môi trường nhà máy, cần đánh giá riêng bằng âm thanh đại diện và kiểm cả lỗi tên riêng, con số, phủ định, thay vì chỉ nhìn điểm tổng.
Chi phí tự triển khai và ranh giới với API
Đợt công bố năm 2022 phát hành mô hình và mã suy luận để cộng đồng nghiên cứu, xây ứng dụng. Đây không phải bảng giá API whisper-1 ra đời sau. Vì vậy, không áp một đơn giá API của thời điểm khác để mô tả chi phí phát hành ban đầu.
Mã và trọng số được cung cấp không khiến vận hành trở thành miễn phí: hệ thống vẫn cần phần cứng, lưu trữ âm thanh, xử lý đầu vào, thời gian suy luận và công sức sửa bản chép lời. Chi phí thực phụ thuộc cấu hình mô hình, thiết bị, độ dài âm thanh và yêu cầu tốc độ. Nguồn công bố không cung cấp một đơn giá tiền cho mọi cấu hình tự triển khai, nên không thể suy con số ấy chỉ từ lượng dữ liệu huấn luyện.
Giới hạn cần kiểm soát
“Robust” không đồng nghĩa với không sai. Chất lượng tổng hợp đa ngôn ngữ không chứng minh chất lượng đồng đều giữa các ngôn ngữ; khả năng xử lý tiếng ồn tốt hơn không loại bỏ nhu cầu kiểm tra đầu ra. Tác vụ chép lời cũng khác nhận diện người nói, xác thực giọng nói hoặc suy luận cảm xúc. Không nên gán các chức năng đó cho Whisper chỉ vì mô hình tiếp nhận âm thanh.
Với bản ghi pháp lý, y tế hoặc giao dịch tài chính, nên coi văn bản sinh ra là bản nháp cần đối chiếu âm thanh gốc. Việc lựa chọn tự triển khai hay dịch vụ bên ngoài còn liên quan đến quyền truy cập, thời gian lưu trữ và sự đồng ý của người có giọng nói trong bản ghi. Đây là yêu cầu thiết kế ứng dụng, không phải thuộc tính bảo mật được bảo đảm bởi độ chính xác ASR.
Vai trò trong chuỗi mô hình OpenAI
Khác InstructGPT tinh chỉnh hành vi trả lời, Whisper giải quyết bài toán đưa âm thanh về văn bản. Đầu ra ấy có thể trở thành đầu vào cho hệ thống ngôn ngữ hoặc tìm kiếm bằng embeddings, nhưng khả năng của các thành phần sau không phải năng lực sẵn có của ASR.
Giá trị của đợt phát hành đầu tiên là một nền tảng xử lý lời nói có thể sử dụng và nghiên cứu rộng rãi, cùng bằng chứng về lợi ích của dữ liệu đa dạng quy mô lớn. Khi đánh giá Whisper, câu hỏi hữu ích không phải chỉ là có chép được lời hay không, mà là chép đúng đến đâu trên ngôn ngữ và điều kiện âm thanh thực tế, với mức tài nguyên chấp nhận được.
Nguồn chính thức
OpenAI, Introducing Whisper, 21/09/2022; bài nghiên cứu Whisper; kho mã OpenAI Whisper. Phạm vi bài tập trung vào công bố gốc, không gán tính năng của các phiên bản cập nhật sau cho năm 2022.
Tác giả
Chăm Sóc Khách Hàng
