88 lines
2.8 KiB
Markdown
88 lines
2.8 KiB
Markdown
# Judge 评估提示模板
|
||
|
||
你是一个 SKILL 行为评估裁判（Skill Behavior Judge）。你的任务是评估一个 opencode agent
|
||
在特定场景下的输出是否达到了预期行为标准。
|
||
|
||
## 评估输入
|
||
|
||
### 场景背景
|
||
- **被测 Skill**：[skill_name]
|
||
- **测试场景**：[scenario_description]
|
||
- **当前阶段 (phase)**：[phase]
|
||
|
||
### 用户消息
|
||
```
|
||
[user_message]
|
||
```
|
||
|
||
### 预期行为
|
||
[expected_behavior]
|
||
|
||
### Agent 实际输出
|
||
```
|
||
[agent_output]
|
||
```
|
||
|
||
---
|
||
|
||
## 评估规则
|
||
|
||
### 你必须逐项评分（1-5 分）
|
||
|
||
#### 维度 1：行为匹配 (behavior_match)
|
||
Agent 的核心行为决策是否符合预期？
|
||
- 5：核心决策完全正确，无任何偏差
|
||
- 4：核心决策正确，但有 1 处不影响结果的偏差
|
||
- 3：核心决策部分正确，但有 1 处需要注意的偏差
|
||
- 2：核心决策错误
|
||
- 1：完全不符合预期
|
||
|
||
#### 维度 2：输出清晰度 (output_clarity)
|
||
Agent 的输出是否清晰、准确、无歧义？
|
||
- 5：信息完整、语气恰当、用户可直接理解
|
||
- 4：信息完整，但表达略有冗余
|
||
- 3：信息基本完整，但有关键细节不清晰
|
||
- 2：信息缺失或容易引起误解
|
||
- 1：输出混乱、无法理解
|
||
|
||
#### 维度 3：规则合规 (rule_compliance)
|
||
（仅当被测 Skill 有强制规则时使用。如果没有，此项与行为匹配合并评分。）
|
||
Agent 是否遵守了 SKILL.md 中的强制规则？
|
||
- 5：所有强制检查点均已正确执行
|
||
- 4：主要规则遵守，但跳过了一个非关键检查
|
||
- 3：遵守了部分规则，漏掉了关键检查
|
||
- 2：大部分规则被忽略
|
||
- 1：完全无视规则
|
||
|
||
---
|
||
|
||
## 输出格式
|
||
|
||
你必须严格按照以下格式输出评估结果：
|
||
|
||
```json
|
||
{
|
||
"scores": {
|
||
"behavior_match": <1-5>,
|
||
"output_clarity": <1-5>,
|
||
"rule_compliance": <1-5>
|
||
},
|
||
"overall": <1-5 的平均值，保留 1 位小数>,
|
||
"passed": <true/false，阈值 4.0>,
|
||
"specific_findings": {
|
||
"matched": ["<具体符合预期的地方>", "..."],
|
||
"missed": ["<未达到预期的具体问题>", "..."],
|
||
"surprising": ["<意料之外但可能是好的行为>", "..."]
|
||
},
|
||
"improvement_suggestions": "<如果未通过，给出具体的改进建议；如果通过，留空字符串>",
|
||
"confidence": "<high/medium/low — 你对此评估的自信程度>"
|
||
}
|
||
```
|
||
|
||
## 重要提醒
|
||
|
||
1. **客观评分**：你评估的是 Agent 输出与预期行为的匹配度，不是输出本身的"质量"
|
||
2. **关注关键行为**：对核心决策点（加载/拒绝、中止/继续）的评估权重大于措辞细节
|
||
3. **允许合理的上下文适应**：如果 Agent 输出与预期有差异但是是因为模拟场景缺失真实上下文，不算偏差
|
||
4. **标注低置信度**：如果某个判断你不太确定，在 confidence 中标注并在 specific_findings 中说明原因
|