Бенчмарк webmcpx: Claude Opus 5.5
Рейтинг
Сколько экономит WebMCP: модель за моделью
Один агент читает, кликает и заполняет формы по снимкам страницы, другой вызывает WebMCP-инструменты сайта. Выберите модель; сначала — наибольшая экономия.
По доле успеха с WebMCP, затем по стоимости запуска.
Отобранные случаи: 20 из 30 вопросов, где WebMCP потратил не больше половины токенов. Все результаты открыты — или запустите бенчмарк сами: just bench.
Claude Opus 5.5 (Anthropic)
Cloudflare
“Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит?”
developers.cloudflare.com (откроется Cloudflare)24×
меньше токенов
69k → 2,9k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | 69k | 2,9k | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | 31k | 2,7k | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | 28k | 2,9k | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | 21k | 2,7k | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | 22k | 5,6k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | 6,3s | 4,5s | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | 5,0s | 4,7s | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | 4,7s | 5,4s | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | 4,0s | 3,8s | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | 5,4s | 8,2s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | 4,0 | 2,0 | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | 4,0 | 2,0 | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | 4,0 | 2,0 | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | 3,0 | 2,0 | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | 3,0 | 3,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | $0,11 | $0,014 | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | $0,057 | $0,012 | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | $0,03 | $0,01 | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | $0,036 | $0,011 | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | $0,055 | $0,021 | 100% | 100% |
Cloudflare регистрирует 2 инструмента WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"limit":5,"query":"Workers Free plan requests per day limit"}) search({"query":"D1 limits maximum database size Workers Paid"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"limit":5,"query":"Queues limits message size"}) search({"limit":3,"query":"Queues message size 128 KB footnote metadata overhead"}) | Вызван |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Не вызван |
- claude-opus-5-5, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Реальный сайт: у него собственные WebMCP-инструменты.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumNotion
“Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе?”
developers.notion.com (откроется Notion)7.0×
меньше токенов
19k → 2,7k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | 19k | 2,7k | 100% | 100% |
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | 22k | 4,9k | 100% | 100% |
| Notion: Какой самый большой файл можно отправить в Notion API одной частью, прежде чем придётся переходить на загрузку в несколько частей? | 19k | 4,9k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | 8,9s | 4,0s | 100% | 100% |
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | 11,7s | 5,7s | 100% | 100% |
| Notion: Какой самый большой файл можно отправить в Notion API одной частью, прежде чем придётся переходить на загрузку в несколько частей? | 9,4s | 5,1s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | 4,0 | 2,0 | 100% | 100% |
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | 5,0 | 2,7 | 100% | 100% |
| Notion: Какой самый большой файл можно отправить в Notion API одной частью, прежде чем придётся переходить на загрузку в несколько частей? | 3,7 | 3,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | $0,054 | $0,0076 | 100% | 100% |
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | $0,047 | $0,017 | 100% | 100% |
| Notion: Какой самый большой файл можно отправить в Notion API одной частью, прежде чем придётся переходить на загрузку в несколько частей? | $0,051 | $0,011 | 100% | 100% |
Notion регистрирует 5 инструментов WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"rich text object text content character limit request"}) search_docs({"query":"pagination page_size maximum"}) search_docs({"query":"file upload size limit single-part multi-part"}) search_docs({"query":"upload files larger than 20 MB multi-part"}) | Вызван |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Не вызван |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Не вызван |
read_page | Read the full content of a Notion Docs documentation page as markdown. | –Не вызван |
read_skill | Read a Notion Docs agent skill document by name. | –Не вызван |
- claude-opus-5-5, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Реальный сайт: у него собственные WebMCP-инструменты.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumKiln & Co тест
“Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине.”
4.4×
меньше токенов
19k → 4,3k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | 19k | 4,3k | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | 12k | 3,7k | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | 7,7k | 3,8k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | 6,3s | 3,5s | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | 6,2s | 3,1s | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | 10,5s | 3,2s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | 5,0 | 3,0 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | 4,0 | 3,0 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | 3,0 | 3,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | $0,028 | $0,011 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | $0,024 | $0,0068 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | $0,021 | $0,0074 | 100% | 100% |
Kiln & Co регистрирует 4 инструмента WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"teapot","sort":"price_desc"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) | Вызван |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"sku":"TPT-01"}) add_to_cart({"sku":"BWL-01"}) add_to_cart({"sku":"TPT-02"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Вызван |
get_cart | Return the cart: items with quantity and the total in USD. | –Не вызван |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Не вызван |
- claude-opus-5-5, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Локальный тестовый сайт: инструменты ему даёт webmcpx.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumspecification.website
“Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера?”
specification.website (откроется specification.website)3.5×
меньше токенов
25k → 7,3k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | 25k | 7,3k | 100% | 100% |
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | 24k | 7,3k | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | 22k | 7,4k | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | 23k | 8,5k | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | 15k | 6,6k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | 6,3s | 5,2s | 100% | 100% |
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | 6,4s | 5,1s | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | 17,2s | 6,0s | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | 7,4s | 6,7s | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | 4,9s | 3,7s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | 4,7 | 3,0 | 100% | 100% |
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | 5,0 | 3,0 | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | 4,0 | 3,0 | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | 4,7 | 3,0 | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | 4,0 | 3,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | $0,041 | $0,015 | 100% | 100% |
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | $0,033 | $0,018 | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | $0,064 | $0,02 | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | $0,038 | $0,018 | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | $0,02 | $0,013 | 100% | 100% |
specification.website регистрирует 5 инструментов WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"limit":3,"query":"color contrast ratio text"}) search_spec({"limit":3,"query":"meta description length"}) search_spec({"limit":3,"query":"HSTS max-age"}) search_spec({"query":"tap target size"}) search_spec({"limit":3,"query":"INP Interaction to Next Paint"}) search_spec({"limit":5,"query":"Core Web Vitals responsiveness"}) | Вызван |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"color-contrast"}) get_topic({"slug":"meta-description"}) get_topic({"slug":"hsts"}) get_topic({"slug":"touch-target-size"}) | Вызван |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Не вызван |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Не вызван |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Не вызван |
- claude-opus-5-5, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Реальный сайт: у него собственные WebMCP-инструменты.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumOrbit docs тест
“Шаг CI упал с кодом выхода orbit 4. Что это значит?”
2.3×
меньше токенов
5,6k → 2,4k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | 5,6k | 2,4k | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Сколько прошлых релизов Orbit по умолчанию хранит для отката? | 5,4k | 2,4k | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | 5,4k | 2,4k | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какие стратегии выкатки можно выбрать при запуске orbit deploy? | 5,5k | 2,4k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | 4,0s | 4,4s | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Сколько прошлых релизов Orbit по умолчанию хранит для отката? | 2,4s | 2,5s | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | 2,5s | 2,5s | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какие стратегии выкатки можно выбрать при запуске orbit deploy? | 3,2s | 7,4s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Сколько прошлых релизов Orbit по умолчанию хранит для отката? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какие стратегии выкатки можно выбрать при запуске orbit deploy? | 2,0 | 2,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | $0,013 | $0,01 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Сколько прошлых релизов Orbit по умолчанию хранит для отката? | $0,011 | $0,0095 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | $0,017 | $0,0058 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какие стратегии выкатки можно выбрать при запуске orbit deploy? | $0,012 | $0,0071 | 100% | 100% |
Orbit docs регистрирует 3 инструмента WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"exit code 4"}) search_page({"query":"past releases kept for rollback default"}) search_page({"query":"environment variable config file path"}) search_page({"query":"orbit deploy rollout strategy"}) | Вызван |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Не вызван |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Не вызван |
- claude-opus-5-5, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Локальный тестовый сайт: инструменты ему даёт webmcpx.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort medium