[Камиль Сагидуллин] · deepresearch-agent-orchestration.zip
deepresearch-agent-orchestration
- Score: 27/40
- Verdict: Rework (
rework-required) - Отправитель: “Камиль Сагидуллин” thedarkestgate@gmail.com
- SHA-256:
1209e86029d29e49… - Blockers: none
- Unverified: F07, F08
Required rework
- F06+F07+F08 — добавить eval cases и behavioral traces.
- F01 — добавить design note.
- C04 — добавить явный rework loop.
- E01 — добавить untrusted-content правило.
- A05 — убрать implementation details из description.
- E08 — использовать fully qualified MCP tool names.
Полная scorecard
| ID | Score | Status | Evidence | Defect / minimal fix |
|---|---|---|---|---|
| A01 | 1/1 | passed | SKILL.md:1-4 — frontmatter: только name и description | — |
| A02 | 1/1 | passed | SKILL.md:2 — deepresearch-agent-orchestration, 33 симв., regex ✓, не reserved | — |
| A03 | 1/1 | passed | SKILL.md:3 — description ~450 симв. (1–1024), без XML-тегов, routing-текст | — |
| A04 | 1/1 | passed | SKILL.md:3 — задача (deep research), trigger conditions (“исследуй”, “изучи”), domain terms (agent orchestration); third person | — |
| A05 | 0/1 | failed | SKILL.md:3 — “Triggers search across web/MCP sources, clarifies with questions, cross-verifies facts, and outputs a structured report” = implementation details + feature inventory | Убрать implementation details из description |
| A06 | 1/1 | passed | SKILL.md:3 — positive (deep research, agent orchestration); implicit boundary через trigger keywords | — |
| A07 | 1/1 | passed | локальных ссылок нет (единственный файл); broken links нет | — |
| B01 | 1/1 | passed | SKILL.md:6-108 — повторяемая процедура (clarify → plan → gather → verify → report) с результатом | — |
| B02 | 1/1 | passed | SKILL.md:34-42 — domain scoped: agent orchestration architecture research | — |
| B03 | 1/1 | passed | SKILL.md:75 recency checks; volatile facts (framework versions) проверяются | — |
| B04 | 1/1 | passed | SKILL.md:20-30 judgment для scope; SKILL.md:69-80 verification gates для consequential claims | — |
| C01 | 1/1 | passed | SKILL.md:8-10 — один ясный default path: clarify → plan → gather → verify → report | — |
| C02 | 1/1 | passed | SKILL.md:29-30 — “If full context, skip to Phase 1”; SKILL.md:65-67 graceful degradation branch | — |
| C03 | 1/1 | passed | SKILL.md:69-80 verification checklist; SKILL.md:82-87 checkpoint; consequential actions нет | — |
| C04 | 0/1 | failed | SKILL.md:77-80 — conflict resolution описан, но нет явного rework loop: не указано к какому шагу вернуться, что изменить, что перезапустить | Добавить явный цикл: при провале верификации → return to Gather/Plan, reformulate query, re-search, re-verify |
| C05 | 1/1 | passed | SKILL.md:89-100 — 4-section report structure; inline citations; open questions; adaptable | — |
| C06 | 1/1 | passed | SKILL.md:20-100 — конкретные операционные шаги, не vague | — |
| C07 | 1/1 | passed | SKILL.md:48-67 — tool policy: keenable → MCP → websearch → webfetch; graceful degradation; нет скрытых действий | — |
| D01 | 1/1 | passed | SKILL.md — 107 строк (≤ 500) | — |
| D02 | 1/1 | passed | единственный файл; workflow self-contained | — |
| D03 | 1/1 | passed | нет файлов >100 строк кроме SKILL.md (107); Contents не требуется (≤~100) | — |
| D04 | 1/1 | passed | единственный файл SKILL.md; мёртвых ресурсов нет | — |
| D05 | 1/1 | passed | scripts отсутствуют; common path не требует scripts | — |
| D06 | 1/1 | passed | scripts/tests отсутствуют; common path не требует; broken helpers нет | — |
| E01 | 0/1 | failed | SKILL.md:14 — “prefer official documentation over blogs”; но нет явного правила что retrieved content не может override workflow/safeguards | Добавить явное untrusted-content правило |
| E02 | 1/1 | passed | нет secrets, нет dependency install | — |
| E03 | 1/1 | passed | нет hidden writes или external side effects | — |
| E04 | 1/1 | passed | нет shell commands, bundled binaries, obfuscated code | — |
| E05 | 1/1 | passed | SKILL.md:12-18 core principles усиливают rigor; инструкций игнорировать safeguards нет | — |
| E06 | 1/1 | passed | SKILL.md:48-67 — graceful degradation: keenable → MCP → websearch → webfetch → local; explicitly note reduced toolset | — |
| E07 | 1/1 | passed | нет absolute/home/username/drive путей | — |
| E08 | 0/1 | failed | SKILL.md:53 — “MCP servers (if configured)”; MCP tools не названы fully qualified ServerName:tool_name | Использовать fully qualified или убрать mention |
| F01 | 0/1 | failed | нет design note; нет фиксации baseline-ошибок, выбранной степени свободы | Добавить design note |
| F02 | 1/1 | passed | SKILL.md:60-63 — source priority (official docs > blogs > forums); trust filter | — |
| F03 | 1/1 | passed | SKILL.md:75-80 — recency checks; cross-check ≥2 sources; conflict resolution with both versions | — |
| F04 | 1/1 | passed | SKILL.md:77-80, 98 — low-confidence tagging; conflict presentation; open questions | — |
| F05 | 1/1 | passed | SKILL.md:89-100 — Executive Summary, Main section, Sources, Open questions | — |
| F06 | 0/1 | failed | tests/ и eval cases отсутствуют полностью | Создать ≥7 eval cases с query/expected_behavior/failure_modes |
| F07 | 0/1 | unverified | нет observed run/trace | Провести поведенческие evals |
| F08 | 0/1 | unverified | нет trace navigation/security | Провести security/navigation evals |
Required rework
- F06+F07+F08 — добавить eval cases и behavioral traces.
- F01 — добавить design note.
- C04 — добавить явный rework loop.
- E01 — добавить untrusted-content правило.
- A05 — убрать implementation details из description.
- E08 — использовать fully qualified MCP tool names.