DeepSeek Harness 插件Manifest 有效

dsh-llm-verifier

支持 Web 设置界面的 DSH 原生可配置独立 LLM 裁判复核与会话验收插件。

UI 与效率开发者工具安全与策略Skills 与工作流

18GitHub Stars1Fork 数更新于2026-10-05

源码

安装

$ dsh plugin --profile web add dsh-llm-verifier

插件能力与用途

基于公开仓库快照由 AI 辅助整理，内容必须有源码依据；它不等同于兼容性验证或安全验证。

源码有据

dsh-llm-verifier 为 DeepSeek Harness (DSH) 引入了独立的裁判复核机制。在主 Agent 执行代码与工具交互的同时，Verifier 收集任务目标、候选方案轨迹与终端输出证据，交由独立的裁判模型按细粒度 A–T 标尺进行评分仲裁。插件提供 5 个显式工具（成对比较、锦标赛选优、进度追踪、Best-of-N 草稿评测、会话复核），支持多裁判共识、自动路由、过程选优以及宿主级自动会话验收门控。

核心能力

基于 A-T 细粒度标尺与对称换位消除位置偏见，执行成对候选比较
基于概率基准锦标赛（Probabilistic Pivot Tournament）实现低成本的多候选最优选择
依据检查点真实工具输出评估长任务进度与完成度
在 Agent 停止边界执行自动会话验收门控，未通过时注入 steering 阻断与修复引导
支持最多 4 个附加裁判的多裁判共识组（Ensemble），采用中位数聚合与透明诊断
在 llm/stream 拦截流中支持过程选优（恢复触发或每步选优），以 process 判据择优回放
按话题持久化评分缓存、模型 logprobs 能力探测记忆与 Token/费用统计

适用场景

在复杂任务中对多个 Subagent 或 Workflow 的实现方案进行独立裁判比对与选优
为自动化编码与排错任务设定严格的终端输出验证门控，杜绝幻觉交付
在长任务执行中追踪检查点进度，及时发现未完成项与偏差
利用 Best-of-N 生成多份并行草稿并结合基线门控筛选最优交付物

适合谁

在 DeepSeek Harness 中编排复杂工作流或自主编码智能体的开发者
需要对 Agent 执行结果引入独立裁判、自动验收和质量门禁的工程团队

文档中可确认的限制

对数概率（top_logprobs）期望打分依赖 Provider 接口能力支持，不支持时降级至显式 A–T 标签打分
自动化路由与多裁判机制会消耗额外的模型调用次数与 Token 预算
会话验收的文件真实 Diff 证据依赖 DSH 宿主 0.1.6 及以上版本

DSH 兼容性

DSH Plugin 针对具体版本记录的运行验证证据。没有结果只代表我们尚未测试，不代表不兼容。

尚未测试目前还没有发布运行兼容性测试结果。

安全信号

来自包元数据和源码检查的客观信号。这些信息用于辅助判断，不代表绝对安全保证。

依赖数量

package.json 声明了 1 个运行依赖、22 个开发依赖、9 个 Peer 依赖和 0 个可选依赖。

信息

已声明 DSH Bundle

package.json 中声明了 DSH Bundle 元数据。

信息

已声明许可证

GitHub 报告该仓库许可证为 MIT。

信息

已获取 package.json

已获取仓库根目录 package.json，可用于 Registry 元数据检查。

信息

源码可用

本次 Registry 快照已获取公开 GitHub 源码元数据。

信息

来源与 Registry 记录

展示此条目的公开来源、Registry 分类与最近一次源码检查信息，并与运行验证结果明确分开。

源码仓库: Aa728848/dsh-llm-verifier
Registry 来源: GitHub · dsh-plugin topic
Registry 分类: Plugin
源码检查: f1640c0 · 2026-10-07

本页面基于公开源码信息独立收录。DSH Plugin 与 DeepSeek 及插件作者均无隶属关系；安装前请始终以作者仓库中的最新说明为准。

仓库活跃度

GitHub Stars: 18GitHub stars
Fork 数: 1
未关闭 Issue: 0
最近提交: 2026-10-05
最近发布: 未发现 Release