Deep Research Benchmark — Kitchen Appliances

6 архитектур research-агентов на реальной задаче подбора техники: Perplexity DR, Extended Search (3 варианта), Single-Agent, Minimal. Реальные логи, балансы до/после, DRACO-ревью

Выбрать три кухонных прибора — вытяжку, индукционную панель и духовой шкаф — с физическими элементами управления, сервисом в Уфе и бюджетом до 220 000₽.

Оказалось, что индукционные панели с поворотными регуляторами в бюджетном сегменте почти вымерли. И это сделало задачу идеальным тестом для сравнения research-архитектур: результат легко проверить, а у Perplexity нет очевидного преимущества в общем знании рынка.

Условия эксперимента

Задача: Вытяжка (60 см) + индукционная варочная панель + духовой шкаф
Критерии: физическое управление (крутилки/кнопки) · сервис в Уфе · бюджет до 220 000₽ · средний ценовой сегмент
Дата: 12 мая 2026
Метод оценки: DRACO (Factual Accuracy 50%, Breadth & Depth 25%, Presentation 15%, Citation 10%)
Экспериментов: 6

Methodology

What are we comparing?

Three approaches to AI-powered research:

Perplexity Deep Research (sonar-deep-research) — a black-box hosted service. You send one prompt, it autonomously decomposes the query, searches ~50 sources in parallel, reads pages, iterates, and synthesises a report. 2-5 minutes, no visibility into intermediate steps. Good at breadth, weak at critical analysis — it catalogues, but doesn’t challenge.

Extended Search Pipeline — a custom 7-step pipeline where we control every stage: Planning (Dimensions → Threads) → First-Pass Search → Relevance Filtering → Deep Reading → Gap Analysis → Iterative Search → Synthesis. Each step is a separate LLM call in a separate sub-agent. Full transparency, full control. The critical difference: an explicit “what are we missing?” step between search rounds that Perplexity doesn’t expose.

Single-Agent Pipeline — the same 7 steps, the same algorithm, but executed in one continuous session without spawning sub-agents. Same quality, lower cost ($1.26 vs $1.75+), because there’s zero spawn overhead.

At a glance

Perplexity DRExtended SearchSingle-Agent
How it worksBlack box, 1 API call7 steps, sub-agents7 steps, 1 session
PlanningInternalDimensions → ThreadsSame
Gap analysis❌✅ Explicit✅ Same
SynthesisInternalDraft + isolated review + revisionSame
TransparencyNoneFull logsFull logs
LLM calls1 (opaque)N+10 (logged)N+10 (logged)

Evaluated by: DRACO benchmark (Factual Accuracy 50%, Breadth & Depth 25%, Presentation 15%, Citation 10%).

Cost measured by: provider balance delta (not token counting — token estimates are off by 3-22×).

→ Read full methodology — 7-step pipeline details, dimensions & threads, prompts, gap analysis process, drill-down criteria, 3-pass synthesis, cost measurement.

🏆 Leaderboard

#МетодCostTimeDRACOCost/qualityВердикт
🥇Perplexity Deep Research$1.343.1 мин9.5/10$0.14✅ Production-ready
🥈Single-Agent Pipeline$1.268 мин8.8/10$0.14✅ Production-ready
3Extended Search (old multi-agent)$1.7512 мин8.2/10$0.21Хорошо
4Extended + cheap models$2.034 мин7.9/10$0.26Хорошо
5Extended + lightContext$2.079.2 мин7.8/10$0.27Хорошо
❌Minimal Pipeline$0.473 мин3.15/10$0.15Непригодно

Итог: Perplexity DR и Single-Agent дают одинаковую стоимость за единицу качества ($0.14/point). Всё, что сложнее single-agent, дороже и не лучше.

Эксперименты

🥇 Exp 1: Perplexity Deep Research

Метод: Один запрос sonar-deep-research. Точка отсчёта.

МетрикаЗначение
Cost$1.34
Time3.1 мин
DRACO9.5/10
LanguageРусский ✅
LLM calls1
Sources50
Subagents0

Что нашёл:

Сильные стороны: широкий охват, чёткая структура, таблица сравнения, профессиональный тон без воды.

Проблемы: цены без дат, нет прямых ссылок на магазины, рекомендации могли бы быть точнее по моделям.

Верификация (spot-check 3/3): все факты подтверждены — гарантия Maunfeld до 5 лет, двойной сервис Gorenje, существование Gorenje IK640CLI.

→ Полный отчёт · DRACO review · metrics.json

🥈 Exp 5: Single-Agent Pipeline

Метод: 7 шагов в одном сессии, без субагентов. glm-5.1 на все шаги.

МетрикаЗначение
Cost$1.26 (z.ai $1.22 + Perplexity $0.04)
Time8 мин
DRACO8.8/10
LLM calls7 (все в main session)
Subagents0
Search queries8 + 3 iterative
Pages fetched3
Models analyzed12
Bundles proposed3

Что нашёл: 3 комплектации с реальными ценами:

Ключевое: подтвердил сервис в Уфе — 14 центров MAUNFELD, официальный Bosch, 76+ Gorenje.

Инсайт: Single-agent на 37% дешевле multi-agent ($1.26 vs $2.00+). Контекст растёт — токены накапливаются, но без overhead на spawn субагентов.

→ FINAL-REPORT · DRACO review · TIMELINE · metrics.json

3. Exp 2: Extended Search (old multi-agent)

Метод: 7 шагов, 4 субагента, все glm-5.1. Первая попытка автоматизировать пайплайн.

МетрикаЗначение
Cost$1.75
Time12 мин
DRACO8.2/10
LLM calls4
Subagents4
Search queries11
Pages fetched8 (5 успешно, 2 failed)

Пошагово:

ШагМетодМодельТокены (in/out)Время
1. Planningsubagentglm-5.12.5k / 1.3k45s
2. Searchweb_search—8 запросов—
3. Relevancesubagentglm-5.13k / 1.5k60s
4. Readingweb_fetch—7 страниц—
5. Gap Analysissubagentglm-5.12.5k / 1.3k39s
6. Iterativeweb_search + fetch—3+3 запроса—
7. Synthesissubagentglm-5.14.5k / 2.8k74s

Что нашёл:

Главное открытие: MAUNFELD с поворотными регуляторами за 11k₽ полностью меняет бюджет.

Рекомендованные комплекты:

TierСуммаСостав
Budget~31 000₽ELIKOR + MAUNFELD CVI292MBKBR + GEFEST
⭐ Optimal~57 000₽Faber + MAUNFELD CVI292MBKBR + Weissgauff
Premium—Gorenje + Bosch

→ FINAL-REPORT · DRACO review · metrics.json · steps/

4. Exp 3: Extended + lightContext

Метод: Те же 7 шагов, но с lightContext: true и JSON state-файлами вместо полного контекста.

МетрикаПланРеальность
Cost$0.21 (оценка)$2.07
Time—9 мин 19 с
DRACO—7.8/10
z.ai balance change—$12.47 → $10.50 ($1.97)
Perplexity balance change—$29.30 → $29.20 ($0.10)

Timeline (посекундно):

ШагВремяДлительностьТокены (z.ai)
1. Planning13:46:0029s3.1k
2. Search13:47:007s— (Perplexity)
3. Relevance13:47:071м 20с25.8k
4. Reading13:48:273м 33с~45k chars fetched
5. Gap Analysis13:52:0045s4.8k
6. Iterative Search13:52:451м 45с12 queries
7. Synthesis13:54:3049s4.8k
Total13:46 → 13:559м 19с~38.5k

Что нашёл:

TierСоставЦена
💰 БюджетнаяMAUNFELD CVI292MBKBR + DeLonghi DEO 715 NB + Krona Ameli PB 60035 548₽
⭐ ОптимальнаяMAUNFELD CVI292MBKBR + Weissgauff EOV 196 LB + Weissgauff ALPHA 60 PB BL52 908₽
👑 ПремиумGorenje IT643BSC + Bosch HBF534ES0Q + MAUNFELD Crosby Power 60113 289₽

Все под бюджет, все с физическим управлением, весь сервис подтверждён в Уфе.

Провал гипотезы: lightContext НЕ снизил стоимость. Оценка $0.21, реальность $2.07 — расхождение 10x.

→ FINAL-REPORT · DRACO review · TIMELINE · metrics.json

5. Exp 4: Extended + cheap models

Метод: Те же 7 шагов, но Planning/Relevance/Gap Analysis на glm-4.7-flash. Synthesis на glm-5.1.

МетрикаОценкаРеальность
Cost$0.50-0.80$2.03
Time—4 мин (в 2× быстрее Exp 3)
DRACO—7.9/10
z.ai spent—$1.96
Perplexity spent—$0.07

Что нашёл:

  • 🥇 Gorenje IK640CLI — индукция с поворотными переключателями (бронза!)
  • MAUNFELD CVI594MBK2 — ещё одна индукция с крутилками
  • Сервис подтверждён: МегаБытСервис в Уфе

Комплекты:

TierЦенаСостав
💰 Бюджетная109 000₽MAUNFELD CVI594MBK2 + Weissgauff EOM 180 BV + Elikor Интегра 60П
⭐ Оптимальная119 000₽Gorenje IK640CLI + Bosch HBF011BV1T + Hansa OMP6251BGWH
👑 Премиум155 000₽Gorenje IK640CLI + Gorenje BOSB6737E06X + Weissgauff Dubhe 60 PB IX

Провал гипотезы: Дешёвые модели НЕ сэкономили — всего на 2% дешевле Exp 3 ($2.03 vs $2.07). Дешёвые LLM = больше итераций на исправление ошибок.

→ FINAL-REPORT · DRACO review · TIMELINE · metrics.json

❌ Exp 6: Minimal Pipeline

Метод: 4 поисковых запроса, 0 прочитанных страниц. Только web_search, без чтения, релевантности, gap analysis и итераций.

МетрикаЗначение
Cost$0.47
Time3 мин
DRACO3.15/10 ❌
Queries4
Pages read0
Steps skipped4 (Reading, Relevance, Gap Analysis, Iterative)

Штрафы:

НарушениеШтрафДетали
Цена MAUNFELD завышена на 41%-125 990₽ vs 18 430₽
Нет дат для цен-1Цены без даты устаревают
Нет ссылок на источники-10 citations
Оценка после штрафов3.15/10

Вывод: 63% экономии = 65% потери качества. Без чтения страниц — галлюцинации цен, ноль верификации, непригодно для принятия решений.

→ DRACO review · metrics.json

🧮 Проблема оценки стоимости

Главный инсайт всего бенчмарка.

ExpОценка по токенамРеальный балансРасхождение
Exp 2$0.08$1.7522x
Exp 3$0.21$2.0710x
Exp 4$0.50-0.80$2.033-4x
Exp 5$0.30$1.264x
Exp 6$0.05-0.10$0.475-9x

Расчёт по формуле токены × price_per_token систематически занижает реальную стоимость. Основные причины:

  1. Subagent spawn — скрытый расход. Каждый spawn копирует контекст. 4 субагента × 50k токенов = 200k неучтённых токенов.
  2. Cache ≠ бесплатно. Cached токены дешевле, но не бесплатны. В оценках их часто опускают.
  3. Context growth. Длинная сессия single-agent накапливает токены истории — каждый следующий вызов дороже предыдущего.

Правильный способ: снимать баланс провайдера до и после каждого эксперимента. Только разница баланса даёт реальную стоимость.

📈 Архитектурные выводы

Что работает

АрхитектураCostQualityКогда использовать
Perplexity Deep Research$1.349.5/10Стандартные задачи
Single-Agent Pipeline$1.268.8/10Кастомные пайплайны, интеграции

Что не работает

ОптимизацияОжиданиеРеальностьВердикт
lightContext−50% cost+18%❌
Cheap models−70% cost−2%❌
Minimal (skip steps)−63% cost−65% quality❌ Опасно
Multi-agent по умолчаниюлучше качестводороже, не лучше❌

Cost drivers (фактические)

ФакторВлияниеОткуда известно
Subagent spawn+$0.50 каждыйExp 5 vs Exp 2-4
Context growth+$1.00+Exp 5 (long session)
Perplexity queries$0.01/queryВсе эксперименты

🍳 Что узнали про кухонную технику

Попутно — реально полезные находки для покупки:

Индукция с поворотными регуляторами (редкость!):

  • MAUNFELD CVI292MBKBR — 2 зоны, ~11-13 000₽ ✅
  • MAUNFELD CVI594MBK2 — 4 зоны, ~25 000₽ ✅
  • Gorenje IK640CLI — 4 зоны, поворотные (бронза), ~40 000₽ ✅

Лучшие комплекты (сводно по всем экспериментам):

TierВарочнаяДуховкаВытяжкаСумма
💰 БюджетMAUNFELD CVI292MBKBRDeLonghi DEO 715 NBKrona Ameli PB 60035 548₽
⭐ ОптимальныйMAUNFELD CVI594MBK2Bosch HBF011BV1THansa OMP6251BGWH~75 000₽
👑 ПремиумGorenje IK640CLIGorenje BOSB6737E06XWeissgauff Dubhe 60 PB IX155 000₽

Все вписываются в бюджет 220 000₽. Все сервис подтверждён в Уфе.

Файлы

Проектная документация:

Exp 1: Perplexity DR:

Exp 2: Extended (old):

Exp 3: Extended + lightContext:

Exp 4: Extended + cheap:

Exp 5: Single-Agent:

Exp 6: Minimal (failed):

Источник: Obsidian 06-Technical-Engineering/Extended-Search-Research/benchmarks/kitchen-appliances/. Дата: 12 мая 2026.