DeepSeek vừa mở mã nguồn DeepInfer, framework inference dùng trong chính hệ thống production quy mô lớn của họ. Không phải bản demo cho vui. Đây là công cụ chạy model DeepSeek-V4.1-Flash với các kernel tối ưu, parallelism cho attention và MoE, cùng một loạt tính năng phục vụ serving thật.
Nói gọn: nếu bạn muốn chạy DeepSeek-V4.1-Flash trên NVIDIA SM100 hoặc Huawei Ascend 950 với hiệu năng cao, đây là con đường chính thức. Repo hiện có 9.185 sao, tạo ngày 16/10/2026 và cập nhật ngày 20/10/2026. Bốn ngày, hơn chín nghìn sao. Đủ hiểu mức độ quan tâm.
Nó giải quyết bài toán gì
Inference model lớn ở quy mô production không chỉ là “load model rồi generate”. Bạn cần kernel viết riêng cho kiến trúc GPU, cần chia batch sao cho không lãng phí compute, cần xử lý MoE với expert parallelism, cần đảm bảo kết quả ổn định khi batch thay đổi. DeepInfer gom những thứ đó vào một framework.
Cụ thể, README liệt kê các nhóm tính năng chính:
- Optimized kernels: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, và custom TileLang kernels.
- Parallelism: Attention DP (data parallel), balanced CP (context parallel), MoE EP (expert parallel) kèm EPLB.
- DSpark và confidence-scheduled verification: tăng tốc decode bằng draft token, dùng ước lượng confidence để lên lịch verify.
- SWA bounded replay: giảm công việc prefill của decoder bằng cách chỉ replay một đoạn suffix giới hạn.
- Asynchronous scheduling: batch scheduler chạy song song với device execution, mặc định bật.
- Batch-invariant inference: kết quả giống nhau bất kể batch được ghép thế nào.
- Deterministic sampling: cùng input token và tham số sampling thì ra cùng output.
- Structured outputs: ép generation theo regex, JSON schema hoặc EBNF grammar.
Vài tính năng trong đây đáng để ý riêng. Batch-invariant inference giải quyết một cơn đau rất thật: cùng một prompt, đổi batch size là output lệch đi, khiến việc test và tái lập kết quả thành ác mộng. Deterministic sampling cũng vậy, hữu ích khi bạn cần debug hoặc cần kết quả ổn định cho pipeline downstream. Cả hai đều chỉ chạy trên NVIDIA.
Vì sao đang hot
DeepSeek vốn nổi tiếng với việc công bố chi tiết kỹ thuật và mở mã nguồn. Nhưng đây là lần đầu họ mở framework inference “ăn tiền” của mình. Trước đó muốn chạy model DeepSeek ở hiệu năng cao, dev thường phải vá vLLM hoặc SGLang, tự viết kernel, tự lo parallelism. Giờ có một baseline chính chủ.
Con số 4 SM100 cho prefill và 64 SM100 cho decode trong phần benchmark cũng nói lên nhiều thứ. Nó cho thấy framework được thiết kế cho scale-up domain thật, không phải chạy một con GPU trên laptop. Và việc hỗ trợ cả Huawei Ascend 950 NPUs là điểm khác biệt lớn. Rất ít framework inference lớn hỗ trợ cả hai hệ sinh thái phần cứng ngay từ bản đầu.
Phần Acknowledgments ghi rõ DeepInfer được xây dựng chủ yếu trên vLLM, thêm cảm hứng từ SGLang và TensorRT-LLM. Nói cách khác, nó đứng trên vai những framework đã phổ biến, nhưng thêm phần tối ưu riêng cho model DeepSeek.
Cài đặt và chạy thử
Yêu cầu khá gắt: Linux, GCC >= 13.0, Python 3.12, CUDA 13 nếu dùng NVIDIA, CANN 9.2 nếu dùng Ascend. Bạn cần tạo một môi trường Python 3.12 trống trước khi build.
# Use `ascend` instead for the Ascend platform
# Keep it exported in the environment where you run DeepInfer
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
Checkpoint mặc định là deepseek-ai/DeepSeek-V4.1-Flash-1017, tự tải vào cache Hugging Face ở lần chạy đầu. Muốn dùng bản local thì set biến môi trường DEEPINFER_HF_MODEL_DIR trỏ tới thư mục chứa model.
python examples/offline_inference.py
Một vài biến môi trường đáng nhớ nếu bạn muốn bật tính năng cụ thể:
DEEPINFER_ENABLE_MTP_VARLEN=1để bật DSpark với verification.DEEPINFER_USE_NEXTN_DECODEgiới hạn độ dài draft, mặc định 5.DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compactvàDEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140cho cấu hình SWA replay mặc định của V4.1. Lưu ý đoạn suffix giữ lại phải phủ được SWA window cộng với độ dài backtracking tối đa.DEEPINFER_BATCH_INVARIANT=1để bật batch-invariant (chỉ NVIDIA).
Với deterministic sampling, README hướng dẫn set DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0 và truyền seq_seed cố định vào SamplingParams. Structured outputs thì truyền so_args={"schema_type": ..., "schema": ...} vào SamplingParams.
Ai nên dùng, dùng khi nào
Rõ ràng nhất là team đang tự vận hành DeepSeek-V4.1-Flash và muốn tối ưu chi phí phần cứng. Nếu bạn đang chạy model này qua vLLM mặc định và thấy throughput chưa đủ, DeepInfer là bản tham chiếu để so sánh kernel và cấu hình parallelism.
Nhóm thứ hai là ai làm việc trên hạ tầng NVIDIA SM100 hoặc Ascend 950. Hỗ trợ Ascend 950 là điểm cộng thực tế cho các team ở thị trường có ràng buộc phần cứng. Nhóm thứ ba là người cần structured outputs hoặc deterministic sampling trong pipeline có kiểm thử nghiêm ngặt.
Còn nếu bạn chỉ chạy model nhỏ trên một GPU consumer, hoặc đang dùng model khác DeepSeek, repo này không dành cho bạn. Nó chỉ hỗ trợ đúng một model: DeepSeek-V4.1-Flash.
Điểm trừ cần biết trước khi clone
README ghi rất thẳng: để có một inference service hoàn chỉnh, bạn còn thiếu ba thứ không nằm trong bản release này. Đó là KV cache system, disaggregation VE/Prefill/Decode (dù phần lớn engine đã implement), và load balancing giữa các data-parallel replica cho cả prefill lẫn decode. Nghĩa là bạn không thể cắm vào là có production ngay. Phải tự xây phần còn lại.
Phần cứng hỗ trợ hẹp: chỉ SM100 và Ascend 950. Không thấy mention H100, A100 hay GPU consumer trong README. Nếu hạ tầng của bạn là H100, khoan hãy mừng. Cần kiểm tra lại, có thể bản sau mở rộng, nhưng dữ liệu hiện tại chỉ nói tới SM100.
Tài liệu khá mỏng. README chủ yếu là danh sách tính năng và biến môi trường, không có hướng dẫn kiến trúc chi tiết hay troubleshooting. Repo mới tạo ngày 16/10/2026, tức là vài ngày tuổi. Độ trưởng thành chưa kiểm chứng được, cộng đồng chưa có nhiều issue thực tế để học từ đó. License Apache-2.0 thì thoáng, dùng thương mại thoải mái.
Về so sánh: README tự nhận xây trên vLLM. Nếu team bạn đã quen vLLM, việc chuyển sang DeepInfer có thể đỡ vất vả hơn vì nhiều khái niệm tương đồng. Còn SGLang và TensorRT-LLM được nhắc như nguồn cảm hứng, không có số liệu so sánh trực tiếp trong README nên tôi không đưa ra kết luận nào về cái nào nhanh hơn.
Nhận xét cuối
DeepInfer là bản release đáng đọc với người làm hạ tầng inference, nhất là ai đang chạy DeepSeek hoặc có GPU SM100 trong tay. Nhưng nó là framework cho offline inference trong bản này, thiếu KV cache system và load balancing, nên đừng kỳ vọng deploy production trong một buổi chiều. 9.185 sao sau bốn ngày là tín hiệu tốt, còn chất lượng thực tế thì phải chờ vài tuần nữa mới biết. Repo ở đây: deepseek-ai/DeepInfer.
