01
软件
目标：让特定用户在可接受的总成本和风险下，把一件事稳定做成。
先建立个人 / 小团队 / 企业等使用画像，再执行代表性任务。七格档案继续保留，但从“资料清单”升级为任务成功、功能边界、上手与协作、真实总成本、稳定与服务、数据退出与合规、厂商与 AI 可持续性。
输出：适合谁、不适合谁、在哪些约束下值得买，以及可核实的替代方案。
方法 · Method
先问目标，再定测法
软件、开源项目和 AI Skill 解决的问题不同。我们不再让它们共用一套看似精确、实际失焦的分数。
三只猫，三种判断
产品 logo 说明它是谁；猫说明 TruePick 的判断。三态互斥，不用置信度或收录状态自动换色。
判断：推荐判断：避雷判断：中立·待定
以上为规则图例。红猫＝推荐；黑猫＝避雷；白猫＝中立·待定。带分数的猫只出现在 TruePick 实测过的工具上。白猫可能是尚无结论，也可能是核实后保持中性。资料核实另用文字与实心/空心圆标识；公开结论应附证据、范围、时间与复核记录。
分数、专项指数和红线
每个工具最多有三样东西：
- 分数和猫：只给 TruePick 亲自实测过的工具。没有实测，就只显示「中立·待定」，不给分。
- 专项指数：不需要实测也能核对的公开信息，每一项都附来源和核验日期。指数高只说明信息公开、资料齐全，不代表好用，也不用于排名。
- 红线：比如退订困难、虚假宣传、数据导不出来。命中红线的工具只能是黑猫，并写明原因。
| 类型 | 专项指数 | 我们查什么 |
|---|---|---|
| 软件 | 透明度 | 价格公不公开、免费版限制写没写、怎么续费退订、数据能不能导出、会不会拿你的数据训练、有没有更新日志、公司是谁 |
| 开源项目 | 健康度 | 安全实践（OpenSSF Scorecard）、最近还有没有人维护、许可证清不清楚。Star 数不算分 |
| Skill | 封装规范 | 说明有没有写清什么时候用、步骤全不全、引用的文件在不在、许可清不清楚 |
| 插件 / MCP | 资料完整度 | TruePick 核清了多少：支持哪些客户端、怎么装、能动你哪些数据、来源是不是官方、能帮你做什么 |
| 提示词 | 资料完整度 | 目标、变量、示例、适用模型、已知局限是否写清 |
每项按「有且清楚 / 有但不完整 / 没有」记 1 / 0.5 / 0。对这类产品不适用的项不计入；TruePick 暂未核到的项按中间值 0.5 计入并在详情页标出，已核到的不足六成时不出指数。我们不收软件厂商的广告费和推广费；厂商可以提交带证据的事实更正，但只能改事实，不能改分。
同类水平线
每个分数和指数都和「同类」比：同一种指数、同一类工具（例如所有软件的透明度、所有 Skill 的封装规范、所有插件的资料完整度）。参照线用同类中位数——一半高于它、一半低于它，比算术平均更不容易被少数极端值拉偏；算术平均也一并列出供参考。不低于中位数显示「▲ 达到同类水平」，低于显示「▼ 低于同类水平」。参照线随数据更新自动重算，只计已公开的条目；资料不足的不计入；同类不足 5 个时不比较。
共同底线
- 先写清使用者、任务、环境和成功标准，再开始测
- 结论必须能回到证据；未核实、推断和实测结果分开标注
- 先过隐私、安全、许可、数据可退出等红线，再谈综合表现
- 不把不同目标的对象硬凑成一个排行榜，也不以单一总分代替判断
三条测评轨道
02
开源项目
目标：判断一个项目能否被采用、部署并长期维护，而不是判断它是否流行。
在干净环境复现安装并跑通核心任务；核验发布节奏、问题响应、贡献集中度、升级与回滚、依赖和供应链、安全与许可证。Star、Fork 等只作为发现线索，不直接换算成质量分。
输出：可直接采用 / 小范围试用 / 仅供参考，并列出维护成本和阻断项。
03
AI Skill
目标：验证 Skill 是否让 AI Agent 在目标任务上产生可重复的净增益。
同一模型、工具、上下文和任务，做“无 Skill 基线”与“启用 Skill”对照；覆盖常规、边界和失败任务并重复运行。比较任务成功率、结果质量、人工干预、耗时、Token / 工具成本、稳定性、安全边界和跨 Agent 兼容性。
输出：提升了什么、代价是什么、在哪些任务或 Agent 上有效，以及失败样例。
重点 · Skill Benchmark
Skill 怎么证明有效
Skill 的价值不是文档写得多漂亮，而是相对于同一 Agent 的无 Skill 基线，能否提高任务结果并控制额外成本。
01
定义目标
把“让 Agent 更好”改写成可验收任务和评分规则。
02
建立基线
固定模型版本、参数、工具权限、上下文和输入，先跑无 Skill 结果。
03
配对测试
只改变 Skill 这一项；常规 / 边界 / 对抗任务分别多次运行。
04
计算净增益
同时看成功率与质量提升，以及时间、Token、工具调用、人工接管的变化。
05
检查副作用
记录越权、错误自信、上下文冲突、过度流程化和跨 Agent 失效。
06
给条件结论
不只说好坏，而是明确适用任务、环境、成本和禁用条件。
结论怎么写
先报告红线和任务结果，再报告效率与成本，最后给出“推荐 / 避雷 / 中立·待定”之一，适用条件写入判断依据，不增加第四种猫色。置信度由证据质量、样本覆盖、重复一致性和核实新鲜度决定；置信度不足时不下强结论。