TURN EXECUTION CHAOS INTO REUSABLE CAPABILITY

From raw Trace to
Executable Skill.

Trace2Skill 让 AgentTeams 从杂乱的执行过程里提炼可复用策略,再用确定性 Validator 在未见任务上证明它真的有效。

v0.3 MVPAgentTeams v1.1.2npm + pnpmEVIDENCE REPLAY · 非实时运行
Input: Raw Trace

$ npm ci

npm ERR! code ERESOLVE

npm ERR! ERESOLVE unable to resolve dependency tree

npm ERR!

npm ERR! While resolving: trace-fixture@1.0.0

npm ERR! Found: react@18.2.0

npm ERR! node_modules/react

npm ERR! react@"18.2.0" from the root project

npm ERR!

npm ERR! Could not resolve dependency:

npm ERR! peer react@"^17.0.0"

npm ERR! from legacy-widget@2.4.1

npm ERR! node_modules/legacy-widget

npm ERR!

agent.tool → inspect package.json

validator.install → exit_code: 1

CHAOSORDER
T2S
AI ABSTRACTIONextract · reason · validate
Output: Executable Skill
⌄ diagnose-javascript-
  dependency-failures/
◇ SKILL.md
⌄ references/
◇ decision-tree.md
◇ failure-patterns.md
⌄ validators/
◇ validate.py
⌄ evals/
◇ cases.json
◇ trace2skill.json

# SKILL.md

name: diagnose-ci-

  dependency-failure

trigger:

  - npm ERESOLVE

  - frozen lockfile

strategy:

  - detect package manager

  - inspect dependency graph

  - apply minimal fix

verify:

  - install

  - build

  - test

status: validated ✓

Inside the black box

把智能体经验变成工程资产

三层约束共同降低幻觉:角色分工负责提炼,Schema 负责结构,隔离评测负责最终裁决。

MULTI-AGENT PIPELINE

专业角色,有限上下文

AgentTeams 传递证据引用与阶段产物,而不是把全部历史塞给每个 Agent。

01
trace-analyst提取错误特征与成功路径
ANALYZE
02
skill-engineer生成策略、约束与 Validator
BUILD
03
evaluator在 held-out fixture 中验证
VERIFY
SCHEMA-DRIVEN

输出必须遵守契约

{ }
{
  "conclusion": "...",
  "evidence_refs": ["evt_017"],
  "confidence": 0.91,
  "scope": ["npm", "pnpm"]
}
CLOSED-LOOP EVALUATION

生成之后,必须证明

3 / 3
fixtures/held-out/baseline ↔ skill-assistedValidator: PASSED ✓
3真实训练任务与脱敏 Trace
1/3Skill v1 held-out 结果,真实暴露 pnpm 缺口
3/3Skill v2 held-out 全部通过
19API 验收连续事件,sequence 完整
The learning loop

不是总结,而是验证后再复用

候选 Skill 生成后必须进入未见任务。失败不会被覆盖,而是作为下一版 Skill 的唯一修订依据。

01

真实执行

隔离仓库中诊断、修改并验证 CI 故障。

02

Trace

保存消息、工具、错误、改动与 Validator 结果。

03

Experience

同时消费三条 Trace,结论绑定证据引用。

04

Skill v1

生成六文件、可安装、可审计能力包。

05

Held-out 失败

两个 pnpm 任务暴露 npm-only 假设。

06

Refine

根据失败类别加入包管理器检测与分支。

07

Skill v2

三个 held-out 全部由 Validator 判定通过。

AgentTeams mapping

协作由 Agent 完成,裁决留给程序

AgentTeams 负责角色、任务和上下文流转;Trace2Skill 负责学习闭环;确定性 Validator 拒绝 Agent 自证成功。

ORCHESTRATOR

Manager Agent

拆解阶段任务、分派 Worker、传递有限上下文和产物引用,并追踪每个阶段的状态。

queued → running → validating → succeeded / failed
WORKER 01

Execution Agent

修复隔离 fixture,产生完整执行过程。

WORKER 02

Trace Analyst

从多 Trace 提炼有范围、有证据的 Experience。

WORKER 03

Skill Engineer

生成 v1,再根据失败报告生成 v2。

WORKER 04

Evaluator

组织 held-out 试验,收集但不篡改结果。

DETERMINISTIC HOST

Validator · 唯一裁判

同时检查 install、build、test、原始错误消失和修改边界。

Version comparison

Skill 因失败证据而进化

v2 不是手工替换正确答案;它只接收 v1、失败阶段、命令、退出码、错误类别、输出哈希和 evidence refs。

1.0.0-candidate.1

Skill v1

FAILED · 1/3
npm peer conflictPASS
pnpm frozen lockfileFAIL
pnpm missing build dependencyFAIL
observed_package_managers: ["npm"]

训练数据中只观察到 npm,因此 v1 没有伪装成通用包管理器 Skill。

2.0.0-candidate.1

Skill v2

QUALIFIED · 3/3
npm peer conflictPASS
pnpm frozen lockfilePASS
pnpm missing build dependencyPASS
package-lock.json → npm
pnpm-lock.yaml → pnpm

新增 package-manager detection、命令映射,同时保留 v1 的安全 guardrails。

Evidence explorer

每个结论都能回到证据

下列内容是版本化证据的摘录。完整 JSON、Skill 文件和哈希均保存在公开仓库。

Sanitized trace

Agent 到底做了什么?

Trace 记录可观察的命令、结果、修改和最终验证,不保存密钥,也不向 Agent 暴露参考答案。

查看原始证据 ↗
{
  "trace_count": 3,
  "fixtures": [
    "train-npm-peer-conflict",
    "train-npm-lockfile-drift",
    "train-npm-missing-dev-dependency"
  ],
  "validator": "passed"
}
Failure is data

不给答案,只给可观察失败

Evaluator 返回失败阶段、真实命令、退出码、错误类别和哈希,Skill Engineer 据此修订。

查看失败矩阵 ↗
{
  "fixture_id": "heldout-pnpm-frozen-lockfile",
  "failed_stage": "install",
  "exit_code": 1,
  "error_category":
    "skill-package-manager-scope-gap",
  "reference_patch": null
}
Installable artifact

Skill 是一个工程,不是一句 Prompt

入口、决策树、失败模式、Validator、eval 描述和生成元数据共同构成可安装能力包。

查看 Skill v2 ↗
diagnose-ci-dependency-failure/
├── SKILL.md
├── references/
│   ├── decision-tree.md
│   └── failure-patterns.md
├── validators/validate.py
├── evals/cases.json
└── trace2skill.json
Real API acceptance

不是静态 JSON 拼图

FastAPI 的 full-loop 调用真实 orchestrator,并验证幂等、连续事件、Trace 和 Skill 入库。

查看 API 验收 ↗
{
  "status": "succeeded",
  "idempotency_verified": true,
  "event_count": 19,
  "event_sequence_contiguous": true,
  "trace_count": 10,
  "v2_status": "qualified"
}
Architecture

运行、学习、治理边界清晰

推荐组件服务于明确接口,而不是为了数量堆叠。当前 MVP 优先证明 Trace → Skill 的核心机制。

RUNTIME

AgentTeams + Higress

  • Manager / Worker 协作
  • Matrix 上下文传递
  • Qwen 模型统一入口
任务、状态、产物引用
LEARNING

Trace2Skill

  • Trace 与 Experience schema
  • Skill 生成与 refinement
  • 隔离 fixture 与 Validator
证据引用、版本、哈希
GOVERNANCE

Nacos / AgentScope

  • Skill 注册与生命周期
  • 执行链路可视化
  • 后续生产化增强
MVP adapter ready · integration pending
Validated boundary

聚焦 npm / pnpm CI 依赖故障

六个受控任务证明机制可行,但不宣称覆盖所有软件工程任务,也不把有限样本包装成统计学 benchmark。

已完成 Trace → Experience → v1 → failure → v2
已完成 FastAPI 真实完整闭环
下一阶段 AgentScope Studio 真实接入
下一阶段 Nacos 在线发布与重新加载
下一阶段 两轮完整资格 benchmark