Nếu bạn từng thử dùng AI để tư vấn chọn trường, viết kế hoạch nộp hồ sơ, rồi phát hiện model trả lời trơn tru nhưng chẳng đúng rubric nào, repo này đáng để xem. baoyan-agent-benchmark là bộ benchmark mã nguồn mở của 屿智同行 (Sprix AI) hợp tác với 保研岛, dùng để đánh giá các cấu hình agent (hệ thống thực thi ghép với model) trong bài toán tư vấn tuyển sinh sau đại học và lập kế hoạch nộp đơn. Kèm theo đó là khả năng cập nhật lời khuyên khi thông tin của sinh viên thay đổi.
Nói cách khác, đây không phải một con chatbot. Đây là thước đo xem agent của bạn làm được gì khi bị đặt vào một pipeline cụ thể, có task, có rubric, có đáp án tham chiếu. README ghi rõ: benchmark gồm 70 task tiếng Trung, 23 case và 83 answer stage, mỗi task có rubric riêng và chương trình tham chiếu. Dataset công khai, không cần xin quyền truy cập, nhưng tài liệu chấm điểm phải được giữ kín khỏi agent đang bị đánh giá.
Vì sao repo này đang thu hút dev
504 sao sau vài ngày, tạo 2026-10-12 và cập nhật 2026-10-15. Con số đó không khủng so với các repo AI lớn, nhưng tốc độ tăng trong 3 ngày cho thấy nhu cầu thật: dev đang cần một benchmark có rubric thay vì các leaderboard tự phong.
Điểm khác biệt nằm ở chỗ nó đo cả quá trình, không chỉ đầu ra cuối. Mỗi task 100 điểm. Task recommendation đầy đủ chia 70 điểm cho việc khớp chương trình tham chiếu và 30 điểm cho chất lượng khuyến nghị. Một reviewer riêng chấm toàn bộ câu trả lời, rubric nằm ngoài quá trình trả lời. Với 13 task hai giai đoạn, hệ thống đưa ngữ cảnh ban đầu S₀, rồi bổ sung thông tin S₁ trong cùng session, tạo ra câu trả lời A₀ và A₁ để chấm chung. Đây là kiểu test mà nhiều agent thực chiến sẽ vấp: trả lời lần đầu ổn, nhưng khi dữ kiện đổi thì không sửa lại lời khuyên cho đúng.
Cấu trúc task cũng cụ thể: 21 task recommendation, 36 task planning và decision, 13 task hai giai đoạn. Phân loại độ khó được chủ dự án xác nhận qua giáo viên: 14 easy (20%), 34 medium (48,57%), 22 hard (31,43%). README nói thẳng đây không phải double review độc lập, một chi tiết đáng ghi nhận vì nhiều benchmark khác im lặng chuyện này.
Cài đặt và chạy thử nhanh
Yêu cầu: macOS Seatbelt và Python 3.10 trở lên (3.11+ nếu cấu hình subscription Kimi). Framework chỉ dùng standard library, không cần pip install. Bạn cài client chính thức và chuẩn bị login subscription hoặc API key của mình.
Chọn agent ID từ registry, ví dụ gpt-6-1-sol cho Codex + GPT Sol 6.1, claude-opus-5-5 cho Claude Opus, deepseek-v4-1-flash cho DeepSeek Harness. Lưu ý các ID này dùng với cờ --agent, không phải tham số model của client.
AGENT=gpt-6-1-sol
python3 -m benchmark setup --agent "$AGENT"
python3 -m benchmark cli-check --agent "$AGENT"
python3 -m benchmark cli-batch \
--selection config/selections/current.json \
--agent "$AGENT" --out "./runs/current-$AGENT"
Sau khi cli-check trả về ready_for_trial, nên chạy thử một task trước. Batch execution mặc định chỉ preview 70 task và 83 stage mà không gọi model, thêm --execute để thực sự chạy và tiêu quota tài khoản. Muốn chạy nhiều model thì cấu hình từng cái, lặp cờ --agent, ví dụ --agent gpt-6-1-sol --agent claude-opus-5-5, và đổi thư mục output.
Việc chấm điểm có thể dùng một session Codex subscription riêng để review tài liệu đã export, hoặc API judging với cấu hình riêng. Bảng kết quả hiện tại trong README xếp Codex + GPT Sol 6.1 dẫn đầu với 79,08 điểm trung bình trên 70 task (completion 100%), tiếp theo là Codex + GPT Astra 6 với 78,36. Đáy bảng là Antigravity + Gemini 3.1 Pro với 55,55. Cả 8 cấu hình đều hoàn thành 70/70 task, không có task nào timeout.
Ai nên dùng và dùng thế nào
Đối tượng rõ nhất là team đang build agent trong vertical giáo dục, tư vấn học tập, hoặc bất kỳ domain nào mà câu trả lời phải khớp tiêu chí chấm và phải sửa khi dữ kiện thay đổi. Nếu bạn đang cân nhắc giữa hai pipeline cho cùng một model, hoặc muốn biết model mới có thực sự cải thiện ở task hai giai đoạn không, đây là cách đo minh bạch hơn việc tự viết vài prompt rồi cảm tính.
Một use case thực tế: bạn có sản phẩm tư vấn du học, muốn kiểm tra xem khi sinh viên đổi từ mục tiêu thạc sĩ sang học thẳng PhD thì agent có điều chỉnh kế hoạch nộp đơn không. README dẫn chứng task công khai O03-04 với kịch bản tháng 1 đến tháng 3, cùng 5 tiêu chí chấm E1 đến E5 trọng số 25, 25, 25, 15 và 10 điểm. Bạn có thể đọc rubric đó, hiểu cấu trúc, rồi map sang domain của mình.
Cũng nên dùng nó như công cụ regression test khi nâng cấp model. Thay vì tin vào benchmark marketing, chạy lại toàn bộ 70 task với cấu hình mới, so sánh mean score theo từng loại task recommendation, planning, hai giai đoạn.
Những điểm cần cân nhắc trước khi dùng
README tự nêu một cảnh báo quan trọng: kết quả hiện tại là tổng hợp từ nhiều lần chạy thật với phiên bản input và budget không hoàn toàn đồng nhất. Không phải bản ghi công khai nào cũng có đầy đủ tool trace, nên leaderboard không ngụ ý điều kiện thực thi giống hệt nhau. Đọc kỹ câu này trước khi trích dẫn con số. Cờ official=false là một flag chứng nhận kết quả riêng, đừng nhầm với nhãn chất lượng chấm.
Hạn chế khác: dataset là tiếng Trung, rubric cũng tiếng Trung. Nếu sản phẩm của bạn phục vụ thị trường Việt Nam, bạn phải tự dịch hoặc tự xây bộ task tương đương. Chuyện đó tốn công, nhưng cấu trúc 23 case, 83 answer stage và cách chia điểm 70/30 là template dùng lại được.
Về độ trưởng thành: repo mới vài ngày tuổi, chưa có topics, tài liệu khá gọn nhưng có link tới quick start, native CLI guide, data format và scoring rules. Framework chỉ dùng standard library, dễ đọc, nhưng đừng kỳ vọng ecosystem plugin phong phú. License MIT, thoải mái dùng và sửa, kể cả thương mại, miễn giữ copyright notice.
Một chi tiết dễ bỏ qua: việc chấm bằng subscription review hay API judging đều cần cấu hình riêng, và automated native execution yêu cầu macOS Seatbelt. Chạy trên Linux server sẽ phải xử lý phần này trước.
Tôi thấy điểm hay nhất của repo không nằm ở bảng xếp hạng 8 cấu hình, mà ở chỗ nó công khai cả những chỗ không hoàn hảo: budget không đồng nhất, thiếu tool trace, không double review. Với một benchmark 504 sao trong 3 ngày, sự thẳng thắn đó đáng giá hơn vài điểm mean score. Xem thêm tại yeyuxin777/baoyan-agent-benchmark.
