DeepSeek Harness 插件Manifest 有效

dsh-llm-as-a-verifier

用于 DeepSeek Harness 的工具插件，提供细粒度 LLM 候选验证、best-of-N 选择和步骤进度评分。

开发者工具

5GitHub Stars0Fork 数更新于2026-08-24

源码

安装

$ dsh plugin --profile web add dsh-llm-as-a-verifier

插件能力与用途

基于公开仓库快照由 AI 辅助整理，内容必须有源码依据；它不等同于兼容性验证或安全验证。

源码有据

dsh-llm-as-a-verifier 会注册三个 Cordis 智能体工具，利用 OpenAI 兼容验证模型返回的 token 级 logprob 分布来比较候选项、从多个候选中选择结果，并跟踪多步骤过程的进展。

核心能力

注册 `verify_compare`，按给定标准为两个候选项评分并返回细粒度奖励。
注册 `verify_select`，通过概率枢纽锦标赛进行 best-of-N 选择。
注册 `verify_track`，以 A–T（0–100%）量表为检查点进行进度评分。
支持配置模型端点、凭证、超时、并发数和各工具的注册开关。
也可通过 `Verifier` API 作为 TypeScript 库导入使用。

适用场景

按评估标准比较不同的代码实现或解决方案。
从多个生成答案中选择更合适的候选项。
评估修复步骤或推理步骤序列是否取得进展。
使用能够返回 token 级 logprob 的 DeepSeek、OpenAI 兼容、vLLM 或 SGLang 验证后端。

适合谁

构建智能体评估工作流的 DeepSeek Harness 用户。
需要比较生成代码或解决方案候选项的开发者。
运行兼容本地或托管 LLM 验证端点的团队。

文档中可确认的限制

需要 dsh 0.1.0-rc.6 或更高版本，以及 Node.js 18 或更高版本。
验证需要能够返回 token 级 logprob 的 OpenAI 兼容服务。
调用验证工具时需要配置 API 密钥或支持的环境变量凭证。
未配置凭证时，工具可以注册，但调用会抛出 `MissingAPIKeyError`。
文档中的默认模型行为和 DeepSeek 专用调用路径取决于已配置或自动推断的端点。

DSH 兼容性

DSH Plugin 针对具体版本记录的运行验证证据。没有结果只代表我们尚未测试，不代表不兼容。

尚未测试目前还没有发布运行兼容性测试结果。

安全信号

来自包元数据和源码检查的客观信号。这些信息用于辅助判断，不代表绝对安全保证。

依赖数量

package.json 声明了 0 个运行依赖、7 个开发依赖、4 个 Peer 依赖和 0 个可选依赖。

信息

已声明 DSH Bundle

package.json 中声明了 DSH Bundle 元数据。

信息

已声明许可证

GitHub 报告该仓库许可证为 NOASSERTION。

信息

已获取 package.json

已获取仓库根目录 package.json，可用于 Registry 元数据检查。

信息

源码可用

本次 Registry 快照已获取公开 GitHub 源码元数据。

信息

来源与 Registry 记录

展示此条目的公开来源、Registry 分类与最近一次源码检查信息，并与运行验证结果明确分开。

源码仓库: TaurenMountain/dsh-llm-as-a-verifier
Registry 来源: GitHub · dsh-plugin topic
Registry 分类: Plugin
源码检查: 4d69526 · 2026-09-14

本页面基于公开源码信息独立收录。DSH Plugin 与 DeepSeek 及插件作者均无隶属关系；安装前请始终以作者仓库中的最新说明为准。

仓库活跃度

GitHub Stars: 5GitHub stars
Fork 数: 0
未关闭 Issue: 0
最近提交: 2026-08-24
最近发布: 未发现 Release