DeepSeek Harness 插件Manifest 有效

dsh-llm-latency

面向 DeepSeek Harness 的分厂商/分模型 LLM 延迟遥测与对比基准插件。

UI 与效率开发者工具

0GitHub Stars0Fork 数更新于2026-08-29

源码

安装

$ dsh plugin --profile web add github:shengbinxu/dsh-llm-latency

插件能力与用途

基于公开仓库快照由 AI 辅助整理，内容必须有源码依据；它不等同于兼容性验证或安全验证。

源码有据

dsh-llm-latency 是为 DeepSeek Harness 设计的 LLM 延迟遥测与跨厂商基准评测插件。它无感拦截真实模型调用，精准统计首字延迟（TTFT）、端到端流耗时、生成吞吐（tokens/s）、缓存命中率以及失败分类（429/超时/5xx/中断）。插件自带本地 HTML 仪表盘、请求日志追踪、CSV 导出以及供智能体调用的 latency_report 统计工具。

核心能力

被动式遥测采集首字时间 (TTFT)、端到端耗时、每秒 Token 数与提示词缓存命中率
精细化错误分类统计（429 限流、超时、5xx 错误及用户中断）
支持同模型跨厂商多时间段对比，提供 P50/P90/P95/P99 分位数与中位数显著性分析
单会话模型表现横向对比功能
内置轻量化交互式 HTML 可视化面板
提供可供 Agent 调用的 latency_report 工具与请求日志检索功能

适用场景

横向对比不同 API 提供商在同一模型上的实际响应延迟与缓存命中表现
排查上游供应商的限流（429）、请求超时及服务异常波动
评估各厂商 Prompt 缓存机制的命中效率与性能增益
分析复杂智能体工作流执行中的模型调用耗时瓶颈

适合谁

DeepSeek Harness 开发者与管理员
需要进行多模型厂商路由选型与性能调优的 AI 工程师
希望监控 API 实际调用指标的进阶用户

文档中可确认的限制

依赖 dsh-base 提供的 llm 服务以拦截 llm/stream 调用
会话对比功能仅适用于全流程未切换模型的单一会话
中位数置信区间统计依赖设定的最小样本阈值（minSamplesForComparison）

DSH 兼容性

DSH Plugin 针对具体版本记录的运行验证证据。没有结果只代表我们尚未测试，不代表不兼容。

尚未测试目前还没有发布运行兼容性测试结果。

安全信号

来自包元数据和源码检查的客观信号。这些信息用于辅助判断，不代表绝对安全保证。

依赖数量

package.json 声明了 0 个运行依赖、3 个开发依赖、0 个 Peer 依赖和 0 个可选依赖。

信息

已声明 DSH Bundle

package.json 中声明了 DSH Bundle 元数据。

信息

未声明许可证

GitHub 当前没有为该仓库报告 SPDX 许可证。

低

已获取 package.json

已获取仓库根目录 package.json，可用于 Registry 元数据检查。

信息

源码可用

本次 Registry 快照已获取公开 GitHub 源码元数据。

信息

来源与 Registry 记录

展示此条目的公开来源、Registry 分类与最近一次源码检查信息，并与运行验证结果明确分开。

源码仓库: shengbinxu/dsh-llm-latency
Registry 来源: GitHub · dsh-plugin topic
Registry 分类: Plugin
源码检查: 535a3d0 · 2026-08-31

本页面基于公开源码信息独立收录。DSH Plugin 与 DeepSeek 及插件作者均无隶属关系；安装前请始终以作者仓库中的最新说明为准。

仓库活跃度

GitHub Stars: 0GitHub stars
Fork 数: 0
未关闭 Issue: 0
最近提交: 2026-08-29
最近发布: 未发现 Release