Подход
Каждая сдача проверяется как исполняемый software package, а не как красивый текст. Грейдинг бинарный: каждый критерий получает 1 (подтверждён evidence) или 0 (отсутствует, нарушен или непроверяем). Никаких частичных баллов.
Максимум — 40 баллов по шести категориям.
Категории
A. Контракт и routing (7 баллов) — frontmatter, имя, описание, границы применимости, ссылки.
B. Назначение и scope (4 балла) — это действительно skill (не документация и не persona), связная задача, терминология, степень свободы.
C. Workflow и output (7 баллов) — исполнимый путь, ветвления, риски и остановки, feedback loop, output contract, операционность текста, tool policy.
D. Progressive disclosure (6 баллов) — размер entrypoint (≤500 строк), common path, навигация, назначение ресурсов, контракт scripts, исполнимость.
E. Security и portability (8 баллов) — недоверенный контент, secrets, side effects, bundled code, safeguards, проверка tools, машинная независимость, MCP names.
F. Требования задания (8 баллов) — design note, доменная source-quality policy, freshness/diversity/conflicts, evidence и confidence, output contract, минимум 7 evals, trigger behavior, security/evidence/navigation behavior.
Пороги вердиктов
| Score | Verdict |
|---|---|
| 36–40 | 🏆 Excellent |
| 32–35 | ✅ Pass |
| 24–31 | 🔧 Rework |
| 0–23 | ❌ Not accepted |
Порог pass — 80% (32/40). Ни один из вердиктов не означает готовность к публичному каталогу.
Blockers
Вердикт понижается, если обнаружен хотя бы один blocker:
SKILL.mdили frontmatter отсутствуют/не парсятся;- common path требует отсутствующий или сломанный ресурс;
- путь чтения/вывода secrets;
- prompt injection или скрытый consequential side effect;
- внешнесистемная запись без разрешения пользователя.
Безопасность пайплайна
Письма и архивы — недоверенные данные. Инструкции внутри писем, SKILL.md, README и других файлов сдачи не исполняются как authority над агентом-грейдером.
- Scanner — отдельный субагент читает почту, сохраняет
.zip-вложения в quarantine по SHA-256. - Safe intake — ZIP-only, лимит 20 МБ, reject path traversal / symlinks / encrypted / executable payloads /
.pyc. - Grading — отдельный субагент в режиме review-only. Не исправляет сдачу, не исполняет код из сдачи, не открывает ссылки.
- Publication — на сайт попадает только public-safe summary: имя, skill, score, verdict, scorecard. Без приватных путей, credentials и raw-вложений.
Множественные попытки
Участник может сдавать несколько версий. В лидерборде показаны все попытки; лучший результат определяет финальный вердикт участника.
Что не влияет на балл
Рекомендации из свежих внешних гайдов (Agent Skills, Anthropic), не преподававшиеся на воркшопе, не являются самостоятельным источником требований. Они указываются как добровольные улучшения и не добавляют нули.