Bạn có một tấm ảnh chân dung, một đoạn script, và không muốn ngồi quay 30 phút trước camera. Repo andyhuo520/digital-human-koubo giải đúng bài toán đó: từ một ảnh duy nhất, nó dựng ra video digital human nói khớp khẩu hình, có voice đã làm sạch, có phụ đề, có luôn phần “packaging” kiểu YouTuber chuyên nghiệp. Tất cả chạy qua agent AI của bạn.
Nó làm gì, cụ thể
Đầu vào là một file persona.json mô tả nhân vật: mặt, trang phục, mô tả giọng, prompt template. Từ đó mỗi video đều ra cùng một người. Bạn có thể ghép nhân vật này vào bất kỳ bối cảnh nào (studio livestream, cửa hàng, lớp học, phố Kyoto) bằng GPT Image trước, rồi mới cho cô ấy nói.
Phần nói được xử lý theo từng đoạn, mỗi đoạn tối đa 15 giây, sinh bằng Grok Video 1.5 thông qua Renoise MCP. Script được chia nhỏ trước, không phải đưa cả bài vào một lần.
Có một chi tiết tôi thích: repo đặt “cost gate” ở giữa pipeline. Agent luôn báo trước segments · seconds · credits · balance rồi chờ bạn gõ “yes”. Sau đó nó chỉ generate đoạn 1 để bạn kiểm tra, ổn rồi mới batch phần còn lại. Với ai từng đốt tiền credits vì lỡ bấm generate cả loạt, đây là thiết kế đúng.
Phần QC cũng không phải cho có. Mỗi đoạn được transcribe bằng whisper rồi so với script gốc, đồng thời trích 4 frame mỗi đoạn để kiểm tra. Lý do có bước này: Grok đôi khi burn phụ đề thẳng vào hình, đoạn nào dính thì phải quay lại. Ngoài ra còn bước “voice unification” dùng spectral matching 1/3 octave, de-essing, reverb phòng nhỏ dùng chung và chuẩn hóa loudness, để 30 clip sinh riêng lẻ nghe như một lần thu. Theo README, độ lệch sibilance giảm từ 13.2 dB xuống 5.9 dB trong test của tác giả.
Vì sao repo này đang được chú ý
705 sao, ngôn ngữ TypeScript, license MIT, tạo ngày 2026-10-26 và cập nhật cùng ngày. Con số 705 sao không khổng lồ, nhưng với một repo mới ra lò thì đó là mức tín hiệu tốt, và nó khớp với nhu cầu thật: ai làm content cũng cần video talking-head, nhưng chi phí quay dựng và thuê MC vẫn cao.
Điểm khác biệt không nằm ở chỗ “làm digital human” (cái đó nhiều tool làm được), mà ở chỗ nó là một Agent Skill chuẩn hóa, đóng gói cả pipeline từ script tới render. Repo còn kèm 48 packaging component được đo frame-by-frame từ 25 video của các creator lớn (MrBeast, Mark Rober, MKBHD, 影视飓风, 何同学, Johnny Harris, Vox, Kurzgesagt, 半佛仙人, 差评…). Mỗi style có recipe packaging mặc định, thêm bớt kỹ thuật bằng cách yêu cầu agent.
Con số ấn tượng nhất: video quảng cáo livestream 27 giây trong demo tốn tổng cộng 482 Renoise credits, input chỉ là một câu mô tả. Không presenter thật, không studio thật.
Cài và chạy thử
Repo không có lệnh “npm install” một phát là xong. Nó là một folder chứa SKILL.md (format Agent Skills mở) cộng script Python, shell và Remotion. Để chạy toàn bộ pipeline, agent của bạn cần đủ 3 thứ: load được Agent Skills, kết nối được remote MCP server (Renoise, streamable HTTP, login bằng browser, không cần API key), và chạy được lệnh local (ffmpeg, Python, Node).
Với Claude Code, copy skill vào thư mục:
~/.claude/skills/Rồi cài Renoise MCP qua /plugin. Với Codex CLI hoặc desktop, đường dẫn là ~/.codex/skills/ và lệnh:
codex mcp addVới OpenClaw:
openclaw plugins installSau khi agent đã load skill và kết nối MCP, pipeline gồm 8 bước (setup check, diagnose content, script.json, quote credits, download kèm QA, voice unification, word-level timeline, edit bằng Remotion rồi render). Bước 0 là setup check cho Renoise MCP / ffmpeg / whisper, cái nào có rồi thì bỏ qua.
Một lưu ý thực tế từ bảng hỗ trợ agent trong README: Claude Code được test thật (repo này build bằng nó), Codex “expected to work”, OpenClaw và WorkBuddy ở mức “should work”. Với Claude desktop hoặc claude.ai thì chỉ chạy được phần viết script, thiết kế cảnh và báo giá, phần render local bị giới hạn sandbox.
Ai nên dùng, dùng vào việc gì
- Người làm content một mình: cần ra video đều đặn mà không muốn lộ mặt hoặc không có thời gian quay. Một photo, một script, ra video có caption và packaging.
- Team marketing nhỏ: làm video quảng cáo sản phẩm, video giải thích tài chính, công nghệ có chart, tài liệu, chapter card (Style A).
- Dev muốn thử agent pipeline: repo này là ví dụ khá đầy đủ về cách đóng gói một workflow phức tạp thành Agent Skill có cost gate và QA.
- Ai cần “text behind the presenter”: chữ hoặc số cỡ lớn nằm giữa background và người, làm bằng macOS Vision person segmentation rồi composite 3 lớp. Cái này ít tool làm sẵn.
Đa ngôn ngữ cũng đã test: Anh, Nhật, Hàn, Pháp, Tây Ban Nha, Ả Rập, whisper back-check đạt 94 đến 100%. Nếu bạn làm content đa thị trường thì đây là điểm cộng thật.
So với lựa chọn khác
Tôi không đủ chắc để so sánh chi tiết với các tool thương mại như HeyGen hay Synthesia vì không có số liệu đo trực tiếp, nên bỏ qua phần đó. Điều chắc chắn: các tool đóng (SaaS) cho bạn giao diện bấm nút và avatar dựng sẵn, còn repo này cho bạn pipeline chạy local qua agent, tự chọn model, tự chỉnh packaging, tự kiểm soát chi phí theo từng segment. Đánh đổi là bạn phải có agent biết chạy skill và môi trường ffmpeg/Python/Node sẵn sàng.
Ưu điểm và những chỗ cần cân nhắc
Ưu: MIT license, thoáng. Pipeline có cost gate rõ ràng, QA bằng whisper và frame check, voice unification xử lý đúng vấn đề nhức đầu của video sinh nhiều đoạn. 48 packaging component là tài sản thật, không phải list tính năng trang trí. Tài liệu README khá chi tiết, có bảng hỗ trợ agent minh bạch cả những chỗ “should work”.
Hạn chế: Repo mới, tạo và cập nhật cùng ngày 2026-10-26, nên độ trưởng thành chưa kiểm chứng được theo thời gian. Phụ thuộc Renoise MCP và Grok Video 1.5, tức là vẫn dính dịch vụ bên ngoài và credits. Chạy full pipeline đòi hỏi môi trường local tương đối nặng (ffmpeg, Python, Node, Remotion). “Text behind the presenter” dùng macOS Vision nên ai trên Linux hoặc Windows sẽ phải tìm cách khác cho phần đó.
Cần lưu ý: mọi demo trong repo đều gắn nhãn “内容由 AI 数字人演绎” (do AI digital human diễn), và tác giả ghi rõ presenter nam là digital twin làm từ ảnh của chính mình. Nếu bạn định dùng ảnh người khác, hãy xử lý phần consent và nhãn gắn AI cho tử tế, vì đó là chuyện pháp lý chứ không phải chuyện kỹ thuật.
Nếu bạn đã có Claude Code hoặc Codex trong máy, có ffmpeg, và làm content video thường xuyên, đáng bỏ một buổi tối để thử. Còn nếu bạn chỉ cần một video lẻ tẻ thì công sức setup 3 tầng (skill, MCP, local commands) có thể không đáng. Con số 482 credits cho một video 27 giây là mốc để bạn tự tính xem có hợp ví không trước khi batch.
Câu hỏi thường gặp
Digital Human Koubo có miễn phí không?
Repo dùng license MIT nên phần code là miễn phí và thoáng. Tuy nhiên pipeline vẫn phụ thuộc Renoise MCP và Grok Video 1.5, tức là bạn vẫn tốn credits khi generate video. Mốc tham chiếu trong bài là video quảng cáo livestream 27 giây tốn tổng cộng 482 Renoise credits.
Digital Human Koubo cần cài những gì để chạy?
Bạn cần đủ 3 tầng: agent load được Agent Skills, kết nối được remote MCP server Renoise (streamable HTTP, login bằng browser, không cần API key), và chạy được lệnh local gồm ffmpeg, Python, Node. Với Claude Code thì copy skill vào ~/.claude/skills/ rồi cài Renoise MCP qua /plugin.
Digital Human Koubo có dùng được ảnh người khác để làm avatar không?
Về mặt kỹ thuật thì được, vì đầu vào chỉ là một ảnh và một file persona.json. Nhưng tác giả ghi rõ presenter nam trong demo là digital twin làm từ ảnh của chính mình, và mọi demo đều gắn nhãn do AI digital human diễn. Nếu dùng ảnh người khác, bạn phải xử lý consent và nhãn gắn AI cho tử tế vì đó là chuyện pháp lý.
