Việc cần làm là biến file ghi âm cuộc họp online dài 2 giờ thành một biên bản gọn cho cả nhóm đọc lại, và coi là xong khi bản tóm tắt có đủ quyết định, đầu việc kèm người phụ trách, mốc thời gian, cùng một danh sách các đoạn còn mơ hồ cần hỏi lại. Phép thử đặt ra cho Copilot là làm được bao nhiêu phần trong số đó.
Chuẩn bị đầu vào trước khi gõ lệnh
File ghi âm 2 giờ 07 phút, bản chép tự động có 1.184 dòng, người nói được gắn nhãn theo kiểu Người nói 1 đến Người nói 6. Tôi cắt bản chép thành bốn khối theo mốc thời gian, mỗi khối khoảng 30 phút. Nhồi cả 1.184 dòng vào một lần dễ bị bỏ sót đoạn giữa. Mỗi khối dán kèm một đoạn nhắc giống nhau, chỉ khác phần mốc thời gian.
Đoạn nhắc gõ nguyên văn như sau: “Đây là bản chép cuộc họp từ phút 30 đến phút 60. Hãy trả về bảng gồm ba cột: Quyết định, Đầu việc kèm người phụ trách, Câu hỏi còn treo. Chỉ ghi những gì có trong bản chép, không suy đoán, không thêm tên người không xuất hiện. Nếu một câu không rõ ai nói, ghi là ‘chưa xác định’.”
Chạy Copilot bốn lần cho bốn khối, mỗi lần mất trung bình 18 giây. Tổng khoảng 1 phút 12 giây cho phần máy trả lời. Cộng thời gian cắt khối và dán, cả lượt đầu hết 12 phút.
Đối chiếu với cách làm tay cùng một khối 30 phút
- Copilot: 1 phút 12 giây cho 4 khối, ra 14 đầu việc, 6 quyết định, 5 câu hỏi treo.
- Làm tay trên đúng 1 khối 30 phút: 26 phút, ra 5 đầu việc, 2 quyết định, 2 câu hỏi treo.
- Số đầu việc Copilot bỏ sót khi dò lại toàn bộ bản chép: 2 trên 16, tức khoảng 12%.
- Số đầu việc làm tay bỏ sót ở khối đối chứng: 1 trên 6.
Con số đáng chú ý nằm ở chỗ Copilot gom nhanh hơn nhiều nhưng vẫn sót. Làm tay sót ít hơn trên một khối nhỏ, nhưng không ai đủ sức làm tay cả 2 giờ trong một buổi chiều.
Chỗ công cụ trả sai và cách phát hiện
Ở khối phút 60 đến 90, Copilot ghi một quyết định là “chốt ngân sách quý sau ở mức 400 triệu”. Bản chép gốc không có câu đó. Người nói 3 chỉ nói “khoản này để quý sau tính”, còn con số 400 triệu xuất hiện ở một đoạn trước đó nói về hạng mục khác. Đây là kiểu sai gộp hai đoạn rời thành một câu hoàn chỉnh, và nó nghe rất hợp lý nên dễ bị đưa thẳng vào biên bản.
Cách phát hiện là đối chiếu từng con số trong bảng với bản chép bằng chức năng tìm kiếm, bắt buộc với mọi dòng có số hoặc tên người. Cách kiểm lại là mở đúng mốc thời gian trong file ghi âm, nghe lại 40 giây quanh câu đó. Sau khi sửa, tôi thêm vào đoạn nhắc một dòng: “Mọi con số phải kèm mốc thời gian xuất hiện trong bản chép; nếu không tìm thấy mốc, ghi là ‘không có căn cứ’.” Lần chạy lại cho khối đó mất 21 giây và không còn câu sai thứ hai.
So với bản chép tự động có sẵn trong ứng dụng họp
- Bản chép tự động của ứng dụng họp: giữ nguyên 1.184 dòng, không gom nhóm, đọc hết mất 34 phút.
- Copilot sau bốn lần chạy: bảng 3 cột, độ dài khoảng 2 trang, đọc hết mất 6 phút.
- Thời gian dò lại và sửa lỗi: 22 phút cho cả bốn khối.
- Tổng thời gian từ file ghi âm đến biên bản dùng được: 35 phút, so với ước tính 2 giờ 30 phút nếu chép tay toàn bộ.
Điểm yếu của bản chép tự động là không phân biệt được đâu là quyết định, đâu là câu nói đùa, đâu là câu bị cắt giữa dòng. Copilot bù được phần gom nhóm nhưng lại có xu hướng lấp chỗ trống bằng suy đoán. Bước dò lại là phần không thể bỏ.
Quy trình còn lại sau khi thử
Cách làm giữ lại gồm bốn bước cố định: cắt bản chép thành khối 30 phút; dán kèm đoạn nhắc có yêu cầu mốc thời gian cho mọi con số; chạy Copilot rồi dò lại từng dòng có số hoặc tên người; cuối cùng gửi bản nháp cho người chủ trì cuộc họp xác nhận trong 10 phút. Phần xác nhận của người chủ trì vẫn là chốt chặn cuối, vì công cụ không phân biệt được điều đã chốt với điều mới chỉ được nêu ra.
Có một lần tôi phải nghe lại đoạn ghi âm phút thứ 74 để xác nhận con số bị gộp sai. Đó là câu duy nhất trong bài nhắc tới chuyện của chính người viết.
Với cuộc họp 2 giờ, Copilot rút phần gom nhóm từ khoảng 2 giờ 30 phút xuống còn dưới 10 phút, nhưng phần kiểm chứng vẫn ngốn gần 25 phút. Tỉ lệ đáng nhớ là cứ khoảng 8 dòng máy trả về thì có 1 dòng cần sửa hoặc xác minh lại. Ai định dùng cách này nên tự lượng sức trước phần dò lại, vì công cụ không thay được người chịu trách nhiệm cuối cùng.
Đọc thêm: Chỉnh podcast bằng cách sửa văn bản: một tuần làm thật với Descript
