DeepSeek Harness 插件Manifest 有效

dsh-llm-verifier-pro

DeepSeek Harness 的大模型验证器插件，提供细粒度奖励工具、概率基准锦标赛与 Best-of-N 对话模式。

视觉与图像UI 与效率开发者工具安全与策略

0GitHub Stars0Fork 数更新于2026-10-07

源码

安装

$ dsh plugin --profile web add github:jmche/dsh-llm-verifier-pro

插件能力与用途

基于公开仓库快照由 AI 辅助整理，内容必须有源码依据；它不等同于兼容性验证或安全验证。

源码有据

dsh-llm-verifier-pro 是为 DeepSeek Harness 构建的 LLM-as-a-Verifier 质量门禁插件。它基于论文（arXiv:2607.05391）实现了细粒度 logprob 奖励评分、Bradley–Terry 聚合模型以及 O(N·k) 复杂度的概率基准锦标赛（PPT）。插件提供了三个智能体工具（verify_compare、verify_select、verify_track）、代码层面的 ctx.verifier 服务，以及可选的 Best-of-N 对话模式，可在生成文本时对多个候选回答进行评分并重放最优结果。

核心能力

verify_compare 工具：支持基于细粒度 logprob 奖励的双向成对对比
verify_select 工具：基于概率基准锦标赛（PPT）实现高效的 O(N·k) Best-of-N 候选筛选
verify_track 工具：支持离线多检查点任务轨迹进度跟踪
Best-of-N 对话重放模式，支持并行或串行生成候选并筛选最佳回复
多模型混合机制（Model Mix），支持跨模型和供应商生成候选样本
支持接入 TypeSafe Jev System One 作为轻量级成对打分引擎
深度集成 Web 设置面板与 Cordis patch 动态配置

适用场景

在最终呈现给用户前，自动对大模型生成内容进行多路采样与择优筛选
智能体多步骤推理过程的自我检验与质量评估
代码生成或文本输出的多方案成对对比与排序
追踪长任务执行过程中各节点的进度曲线

适合谁

希望通过测试时计算（Test-Time Compute）提升回答质量的 DeepSeek Harness 用户
构建自检验与高可靠推理工作流的智能体开发者
需要跨模型 Best-of-N 采样能力的进阶用户

文档中可确认的限制

依赖支持 token 级 logprob 的端点或兼容的 Jev System One 服务
不支持多模态（图像/视频）输入评分
Best-of-N 模式仅针对最终文本回答生效，工具调用轮次不予采样
进度跟踪采用离线单次调用模式，未实现严格的前缀流式跟踪

DSH 兼容性

DSH Plugin 针对具体版本记录的运行验证证据。没有结果只代表我们尚未测试，不代表不兼容。

尚未测试目前还没有发布运行兼容性测试结果。

安全信号

来自包元数据和源码检查的客观信号。这些信息用于辅助判断，不代表绝对安全保证。

依赖数量

package.json 声明了 0 个运行依赖、10 个开发依赖、6 个 Peer 依赖和 0 个可选依赖。

信息

已声明 DSH Bundle

package.json 中声明了 DSH Bundle 元数据。

信息

已声明许可证

GitHub 报告该仓库许可证为 NOASSERTION。

信息

已获取 package.json

已获取仓库根目录 package.json，可用于 Registry 元数据检查。

信息

源码可用

本次 Registry 快照已获取公开 GitHub 源码元数据。

信息

来源与 Registry 记录

展示此条目的公开来源、Registry 分类与最近一次源码检查信息，并与运行验证结果明确分开。

源码仓库: jmche/dsh-llm-verifier-pro
Registry 来源: GitHub · dsh-plugin topic
Registry 分类: Plugin
源码检查: fe3a63e · 2026-10-20

本页面基于公开源码信息独立收录。DSH Plugin 与 DeepSeek 及插件作者均无隶属关系；安装前请始终以作者仓库中的最新说明为准。

仓库活跃度

GitHub Stars: 0GitHub stars
Fork 数: 0
未关闭 Issue: 0
最近提交: 2026-10-07
最近发布: 未发现 Release