Mấy tool observability cho AI agent hiện nay làm đúng một việc: cho bạn xem con agent đã hỏng ở đâu. Rồi sao nữa? Bạn mở dashboard, thấy span đỏ, đọc log, sửa prompt, deploy, và cầu trời lỗi đó không quay lại. Không có gì đảm bảo cả. Tracely được xây để trả lời phần “rồi sao nữa” đó.
Repo này làm gì, giải quyết vấn đề gì
Tracely là CI/CD gắn với trace cho AI agent. Mô tả của repo rất gọn: “Production failures become regression tests”. Cụ thể, nó nhận trace qua OTLP, chấm điểm từng trace ngay khi trace đổ về bằng evaluator (LLM-as-judge ở cấp conversation, run hoặc span, cộng thêm các kiểm tra cấu trúc không cần model), gom các lần fail thành issue theo cụm cấu trúc và ngữ nghĩa. 31 run hỏng thành một issue kèm số đếm, không phải 31 dòng để ngồi đọc.
Điểm cốt lõi nằm ở bước tiếp: một cú click đóng băng trace lỗi thành test case hermetic. Input đã ghi, output của tool và LLM đóng gói thành fixture, kèm một “fail-to-pass contract”: case phải fail trên code cũ và pass trên code đã sửa, nếu không thì việc promote không được tin. Sau đó suite replay trong CI, offline, không cần API key, không tốn tiền gọi model. Lệnh tracely gate trả exit code khác 0, post commit status và comment lên PR. PR chở lại đúng lỗi cũ bị chặn.
Vấn đề nó nhắm vào rất thật: mọi eval tool khác bắt bạn tự viết dataset. Ngồi nghĩ câu hỏi, viết đáp án lý tưởng, cập nhật khi sản phẩm đổi. Cái dataset đó là phỏng đoán về những gì có thể hỏng. Trong khi production đã đưa bạn thứ thật: trace của chính lần chạy hỏng, với đúng input, đúng tool call, đúng model response. Tracely lấy trace đó làm test.
Vì sao nó đang hot
868 sao, tạo ngày 11/10/2026, cập nhật ngày 15/10/2026. Bốn ngày mà gần 900 sao, tốc độ này hiếm, và cũng đáng để nghi ngờ nhẹ: repo mới toanh, chưa có topics, mô tả gốc trống. Dù vậy nhu cầu thì có thật. Ai build agent cũng đang vật lộn với chuyện “sửa prompt xong có làm hỏng chỗ khác không”, và hầu hết đang trả lời bằng cách… không trả lời, cứ deploy rồi theo dõi.
Cái làm Tracely khác đám còn lại là chi phí replay. Dataset-first tool gọi model thật mỗi lần chạy CI, tốn tiền và không deterministic. Tracely replay trên fixture đã ghi, tài liệu ghi rõ “$0”. Một khi regression làm test fail, kết quả là PR bị block, không phải một con số trên dashboard nhảy. Và thay vì bạn phải vào xem, nó tự báo qua Slack, email hoặc webhook của bạn.
Cũng phải nói thêm: repo self-host được toàn bộ stack bằng một click, gồm API, worker, UI, Postgres, ClickHouse, Redis và MinIO, qua Railway hoặc Railyard. Với team ngại gửi trace ra ngoài, đây là điểm cộng lớn.
Cài đặt và dùng thử nhanh
SDK có trên PyPI với tên tracelyai-sdk. Phần deploy self-host, README đưa link template Railway:
# Self-host toàn bộ stack (API, worker, UI, Postgres, ClickHouse, Redis, MinIO)
# qua template Railway trong README
# SDK Python
pip install tracelyai-sdk
Trace gửi vào bằng OTLP/HTTP, nên không ràng buộc ngôn ngữ. Agent semantics như agent.id, conversation.id, turn, step được promote thành cột có index, nhờ vậy các run nhóm thành thread hội thoại thay vì một mớ span phẳng. Trong CI, lệnh gate là thứ bạn cắm vào pipeline:
tracely gate
Lệnh này exit non-zero khi có regression, post commit status và upsert comment lên PR. README cũng nhắc tới một “agent skill” và “guided tour”, cùng bản demo 2 phút, nên nếu muốn xem trước khi cài thì có chỗ để xem.
Ai nên dùng, dùng trong trường hợp nào
Team đang chạy multi-agent system thật trong production và đã có trace. Nếu bạn chưa có trace thì Tracely chưa giúp được gì, nó là lớp trên của observability, không thay thế observability.
Hai trường hợp thấy rõ lợi nhất. Một: team có agent trả lời khách hàng, mỗi lần sửa prompt hay đổi model là một lần hồi hộp, cần một cái gate chặn regression trước khi merge. Hai: team bị chính sách dữ liệu, không được gửi trace ra SaaS bên ngoài, cần self-host, và cần replay offline không gọi model ra ngoài. Phần “Fleet” render hội thoại thành pixel-art office với mỗi agent là một nhân vật, hand-off là đi bộ qua phòng, nghe thì màu mè nhưng ai từng phải giải thích multi-agent system cho người không đọc waterfall sẽ thấy nó hữu ích thật.
So sánh ngắn
Đối thủ trực tiếp là các nền tảng eval kiểu dataset-first. Khác biệt nằm ở bảng so sánh trong README: test đến từ trace fail thật thay vì bạn tự viết, replay tốn $0 thay vì gọi model, và hậu quả là PR bị block thay vì một con số nhảy trên dashboard. Nếu team bạn đã có dataset eval viết tay và thấy nó ổn, Tracely không thay thế hoàn toàn, nhưng lớp gate từ trace thật là thứ dataset tự viết khó bắt được.
Ưu điểm và những chỗ cần cân nhắc
Ưu điểm rõ: vòng lặp khép kín từ trace tới chặn PR, replay deterministic và miễn phí trong CI, self-host một click, license MIT (thoáng, dễ nhúng vào quy trình nội bộ), và hệ sinh thái khá đầy đủ cho một repo mới (SDK PyPI, badge CI, tài liệu, product guide, design dossier).
Chỗ cần cân nhắc thì cũng không ít. Repo mới 4 ngày tuổi, chưa có topics, mô tả gốc trống, tức là chưa qua thử thách cộng đồng. README dài và được viết rất khéo, đọc kỹ thì thấy nhiều thứ hay nhưng cũng nên tự kiểm chứng: fail-to-pass contract hoạt động ra sao trên trace có side effect, fixture LLM đóng băng thì làm sao phản ánh model đổi hành vi, chi phí vận hành stack Postgres + ClickHouse + Redis + MinIO cho team nhỏ. Tài liệu có vẻ đầy đủ nhưng là tài liệu tự viết cho sản phẩm tự viết. Một repo tăng 868 sao trong 4 ngày cũng nên xem lịch sử commit và issue trước khi đưa vào pipeline production.
Kết luận
Ý tưởng “trace đã ghi chính là test” là câu trả lời đúng cho một vấn đề có thật, và Tracely là implementation đầy đủ nhất của ý tưởng đó mà tôi thấy trên GitHub tính tới giờ. Cài thử, cắm tracely gate vào một pipeline nhỏ, xem nó có chặn được regression thật không, rồi hãy quyết định mở rộng. Repo ở đây: jwuthri-cloud/Tracely-ai.
Câu hỏi thường gặp
Tracely là gì và khác gì các tool observability cho AI agent?
Tracely là CI/CD gắn với trace cho AI agent, với mô tả gọn trong repo là “Production failures become regression tests”. Khác với tool observability chỉ cho bạn xem agent hỏng ở đâu, nó biến trace lỗi thật thành test case hermetic và chặn regression ngay trên PR qua lệnh tracely gate.
Replay test của Tracely có tốn tiền gọi model không?
Không. Trace lỗi được đóng băng thành fixture gồm input đã ghi cùng output của tool và LLM, nên suite replay chạy offline trong CI, không cần API key và tài liệu ghi rõ chi phí là “$0”. Đây là điểm khác so với các tool dataset-first vốn gọi model thật mỗi lần chạy CI, tốn tiền và không deterministic.
Tracely có self-host được không và cài SDK thế nào?
Có, repo self-host được toàn bộ stack bằng một click qua Railway hoặc Railyard, gồm API, worker, UI, Postgres, ClickHouse, Redis và MinIO, phù hợp với team không được gửi trace ra SaaS bên ngoài. SDK Python có trên PyPI với tên tracelyai-sdk, cài bằng pip install tracelyai-sdk, và trace gửi vào qua OTLP/HTTP nên không ràng buộc ngôn ngữ.
