LoRA Knowledge Router

Embedding、检索和知识库运行设置

Embedding 后端

本地模式需要 Python 运行依赖和实际模型文件。远程服务请选“通用兼容接口(input 格式)”:它适用于 SiliconFlow、OpenRouter、OpenAI 等兼容 /v1/embeddings 的服务,并不只限 OpenAI;“自定义 HTTP 接口”仅用于接收本项目 texts 字段的私有服务。
用于一键下载。已有本地模型时可不使用下载功能。
公开模型通常不需要 Token。
必须指向包含 config.json、Tokenizer 文件和模型权重的完整目录。相对路径以项目根目录为基准。
留空表示不修改已保存的 Key;密钥仅保存于本机 Windows 加密存储,不写入项目设置文件。
直接输入的 Key 优先。仅在未保存直接 Key 时读取此环境变量。
删除已保存的直接 Key保存设置后生效;之后将改用上方环境变量(如已设置)。
trust_remote_code只有模型明确要求时才开启。
归一化向量余弦检索建议开启。
自动补齐与自愈向量启动时处理 stale 记录;检索发现向量为空时自动重建并重试。
缓存评测 Query 向量同一批评测 Prompt 在多个 Patch Trial 中只编码一次,可显著减少本地模型重复计算。
按批次缓存,推荐 1024;修改 Embedding 配置或此项时会自动清空缓存。
每次测试均重新推理,可复用已加载模型;不会清空线上共享模型或保存设置。强制冷启动请在维护窗口按补丁说明执行。

本地模型文件

这里分别检查“模型文件完整”和“模型实际加载”。文件完整不代表 PyTorch 已成功加载权重;请以“测试 Embedding”的实际推理结果为准。
1. 保存设置
2. 运行依赖
3. 模型文件
4. 重建向量

本地 Embedding 运行环境

安装位置必须与 Router 实际运行的 Python 一致。依赖完整不等于模型文件已下载,两者都会单独检查。

LLM 服务:LoRA 意图提取与知识优化

该页面可复用 Provider、模型和 Endpoint,但两个任务保持隔离:LoRA 实时检索通过 API 核验候选可贡献的能力,原文始终参与召回。实时检索不使用规则式拆分,也不接受上游 lora_intents。

本阶段自动知识建议受证据审查门禁限制:失败记录不是已确认的知识缺陷。请先核对原文、实际 Intent 和候选决策,再人工编辑隔离候选库并复测。“测试通用 LLM”仅检查连接,不代表已生成建议。以下 Planner、Critic 和回退设置保留,但不能绕过门禁。

启用 LLM 服务关闭后 LoRA 实时检索会返回 intent_extractor_not_ready;人工候选编辑及复测入口仍保留,自动建议不能绕过证据门禁。
支持 OpenAI-Compatible /chat/completions。填写 /v1 或完整 /chat/completions 均可。
LoRA 意图提取固定读取 LORA_ROUTER_INTENT_LLM_API_KEY;两个密钥均不写入项目数据库。
trust_remote_code只有本地模型明确要求时才开启。
允许将 Prompt 发送给 APILoRA 意图提取需要发送最终 Prompt;关闭后实时检索会明确返回 extractor not ready,不会规则回退。
启用 Patch Critic使用第二次 LLM 调用预先淘汰宽泛、重复或高风险建议。
LLM 失败时回退API 超时、JSON 不合法或本地模型不可用时,继续使用确定性建议。
请求 JSON 响应格式不兼容的服务会自动移除 response_format 后重试。
主 LoRA 数量上限等于本次有效能力数;必需依赖另计,最多 64 个,不再手动填写 max_loras。
启用精确 Prompt 结果缓存只缓存严格校验成功的意图结果;身份哈希覆盖所有影响请求和模型输出的非敏感配置,不保存原始 Prompt 或 API Key。
合并并发重复请求同一 Prompt 同时到达时只调用一次意图 LLM,其余请求共享结果。
服务器使用 LORA_ROUTER_INTENT_LLM_PROVIDER / MODEL / ENDPOINT / REQUEST_PROTOCOL / API_KEY。核心贡献核验任务位于 src/domains/lora/retrieval/contribution.py;Intent 提取为可选辅助,并自动随请求发送;业务请求只提交 prompt、base_model、censoring_level。
仅对超时、429、500、502、503、504 重试,并按指数增加等待时间。
最近一次真实调用失败会在有效期内使 LoRA readiness 显示不可用,但不会阻止下一次请求尝试恢复。
审计中保存请求摘要默认关闭,避免在审计库中重复保存 Prompt 文本。
审计中保存响应摘要只保存前 2000 字符,不保存 API Key。
用于自定义网关。敏感请求头必须填写 env:环境变量名,例如 {"X-API-Key":"env:MY_API_KEY"}。

Intent V8 / 需求策略 V4 核对来源、角色、必要性声明与有限的否定/时段边界。明确镜头锁定仍需匹配真实能力。结构校验和目标命中不等于完整语义验收;人物归属及下游分段应用尚未完整验证。规则升级后必须重跑基线。

LLM 不会直接写正式知识库,也不能绕过单 Patch 复测、三套最终复测和 Release Gate。

LoRA 原文检索

原文始终参与检索。系统依据候选可提供的能力自动选用;Intent 注释不决定准入或数量。

启用可选 Intent 注释;失败不会阻断原文检索。

小知识库核验全部有效能力。相似度用于召回排序,不是选用概率;旧分数阈值、Intent 数量限制及兜底模式已停用。

Censoring Level 路由

内容等级由 Idea 工作流通过 censoring_level.content_label 声明。SFW 仅检索 SFW LoRA;NSFW 同时检索 SFW 与 NSFW LoRA。路由器不会分析扩写 Prompt 的成人语义,也没有成人加分、最低保底分或候选保留位。
当前策略:v19_censoring_level_declared_routing_v1。Censoring Level 内容等级为必填;知识库中的 content_label 决定资产是否具备候选资格。

LoRA 文件验证(可选)

知识库是唯一数据源。服务器目录和扫描只用于校验,不影响默认检索。
扫描 SHA256用于识别文件被替换。
限制在根目录内防止扫描任意路径。