DeepSeek Harness 插件Manifest 有效

dsh-plugin-abtest

用于 DeepSeek Harness 插件的配对 A/B 测试框架与确定性晋级评估门禁。

开发者工具安全与策略Skills 与工作流远程执行

0GitHub Stars0Fork 数更新于2026-08-26

源码

安装

$ dsh plugin --profile web add 'github:Morriaty-The-Murderer/dsh-plugin-abtest#<full-commit-sha>'

插件能力与用途

基于公开仓库快照由 AI 辅助整理，内容必须有源码依据；它不等同于兼容性验证或安全验证。

源码有据

dsh-plugin-abtest 为 DeepSeek Harness 插件提供可复现的配对 A/B 实验评估工具。它在隔离环境中并排运行对照组和候选组插件，按用例对比评估结果，并依据审计凭证和设定的规则输出确定性的晋级决策（PROMOTE、REVIEW、REJECT 或 INCONCLUSIVE）。

核心能力

在隔离的 DSH 运行环境中对对照组与候选组插件执行成对基准测试
针对任务成功率、Token 消耗、P95 延迟及工具报错率进行双盲比对与评估
基于清单规则生成确定性晋级决策（PROMOTE、REVIEW、REJECT、INCONCLUSIVE）
生成包含 JSON、Markdown 以及静态 HTML 的完整可审计证据包
支持通过 Cordis 补丁集成至 DSH Profile，或通过独立 CLI 运行

适用场景

在发布前验证 DSH 插件提示词、工具实现或代码变更的实际表现
评估插件版本更新过程中的延迟与 Token 成本回归情况
为 LLM 智能体插件构建可审计的 CI/CD 自动化晋级与发布门禁

适合谁

DeepSeek Harness 插件开发者
智能体评测与 QA 工程师
LLM 应用平台维护者

文档中可确认的限制

所有晋级决策均为离线建议，不会自动修改线上 DSH Profile 或自动发布插件
依赖 Node.js ^22.19.0 或 >=24.0.0 以及 DSH 0.1.0-rc.7 接口规范
面向模型的工具入口拒绝包含 command_test 的实验，以防止任意命令执行

DSH 兼容性

DSH Plugin 针对具体版本记录的运行验证证据。没有结果只代表我们尚未测试，不代表不兼容。

尚未测试目前还没有发布运行兼容性测试结果。

安全信号

来自包元数据和源码检查的客观信号。这些信息用于辅助判断，不代表绝对安全保证。

依赖数量

package.json 声明了 4 个运行依赖、9 个开发依赖、2 个 Peer 依赖和 0 个可选依赖。

信息

已声明 DSH Bundle

package.json 中声明了 DSH Bundle 元数据。

信息

已声明许可证

GitHub 报告该仓库许可证为 MIT。

信息

已获取 package.json

已获取仓库根目录 package.json，可用于 Registry 元数据检查。

信息

源码可用

本次 Registry 快照已获取公开 GitHub 源码元数据。

信息

来源与 Registry 记录

展示此条目的公开来源、Registry 分类与最近一次源码检查信息，并与运行验证结果明确分开。

源码仓库: Morriaty-The-Murderer/dsh-plugin-abtest
Registry 来源: GitHub · dsh-plugin topic
Registry 分类: Plugin
源码检查: bfff76f · 2026-08-28

本页面基于公开源码信息独立收录。DSH Plugin 与 DeepSeek 及插件作者均无隶属关系；安装前请始终以作者仓库中的最新说明为准。

仓库活跃度

GitHub Stars: 0GitHub stars
Fork 数: 0
未关闭 Issue: 0
最近提交: 2026-08-26
最近发布: 2026-08-26