LoRA Router Evaluation Framework

数据集分层、批量评测、根因归类、版本对比与发布门槛 checking…

LoRA 评测中心

填写 Prompt 和人工期望,运行时自动提取 Intent。检索质量与 API 一致性分别统计。

导入测试集

简版只填 Prompt、底模、内容等级、期望 LoRA;禁止 LoRA、备注选填。Intent 在运行时自动提取,预检不调用 LLM。“目标检索”允许其他未标注选择和 partial_match,但不算完整验收,不能用于发布;禁选、缺失必需依赖仍失败。“完整路由”禁止未允许的额外选择,且必须覆盖必要能力。镜头锁定缺失不能算完整通过。期望留空报错,无需 LoRA 请填“无匹配”。历史用例不会重判。

测试集列表

Holdout 建议设置为密封并冻结;密封数据不提供逐条结果和失败导出。
数据集角色版本 / 用例状态Hash操作