Бенчмарк webmcpx: Gemini 4 Argon
Рейтинг
Сколько экономит WebMCP: модель за моделью
Один агент читает, кликает и заполняет формы по снимкам страницы, другой вызывает WebMCP-инструменты сайта. Выберите модель; сначала — наибольшая экономия.
По доле успеха с WebMCP, затем по стоимости запуска.
Отобранные случаи: 21 из 30 вопросов, где WebMCP потратил не больше половины токенов. Все результаты открыты — или запустите бенчмарк сами: just bench.
Gemini 4 Argon (Google)
Cloudflare
“Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит?”
developers.cloudflare.com (откроется Cloudflare)42×
меньше токенов
62k → 1,5k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | 62k | 1,5k | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | 44k | 1,4k | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | 41k | 1,4k | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | 41k | 1,5k | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | 42k | 15k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | 121,6s | 40,8s | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | 71,4s | 38,4s | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | 99,0s | 19,6s | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | 55,3s | 32,1s | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | 550,5s | 120,6s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | 5,3 | 2,0 | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | 6,0 | 6,7 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | $0,064 | $0,0037 | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | $0,041 | $0,0037 | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | $0,036 | $0,0035 | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | $0,042 | $0,0036 | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | $0,043 | $0,028 | 100% | 100% |
Cloudflare регистрирует 2 инструмента WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan requests per day limit"}) search({"query":"D1 limits maximum database size Workers Paid"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Cloudflare Queues limits message size"}) search({"query":"\"Maximum message size\" queues OR \"Message size\" queues KB MB"}) search({"query":"\"128 KB\" OR \"256 KB\" OR \"64 KB\" queues limits"}) search({"query":"\"128 KB\" queues metadata serialization"}) search({"query":"\"Maximum messages per sendBatch call\" \"Message size\""}) search({"query":"\"256KB in total\""}) | Вызван |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Не вызван |
- gemini-4-argon, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Реальный сайт: у него собственные WebMCP-инструменты.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumNotion
“Сколько запросов в минуту на одно подключение разрешает Notion API на тарифах, кроме Business и Enterprise?”
developers.notion.com (откроется Notion)17×
меньше токенов
24k → 1,4k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Сколько запросов в минуту на одно подключение разрешает Notion API на тарифах, кроме Business и Enterprise? | 24k | 1,4k | 100% | 100% |
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | 22k | 3,5k | 100% | 100% |
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | 24k | 6,1k | 100% | 100% |
| Notion: Когда моя интеграция с Notion шлёт слишком много запросов, какую строку кода ошибки API кладёт в тело ответа? | 24k | 7,2k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Сколько запросов в минуту на одно подключение разрешает Notion API на тарифах, кроме Business и Enterprise? | 158,7s | 28,7s | 100% | 100% |
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | 151,0s | 51,5s | 100% | 100% |
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | 158,7s | 62,8s | 100% | 100% |
| Notion: Когда моя интеграция с Notion шлёт слишком много запросов, какую строку кода ошибки API кладёт в тело ответа? | 163,8s | 72,4s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Сколько запросов в минуту на одно подключение разрешает Notion API на тарифах, кроме Business и Enterprise? | 6,0 | 2,0 | 100% | 100% |
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | 6,0 | 3,0 | 100% | 100% |
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | 6,0 | 3,0 | 100% | 100% |
| Notion: Когда моя интеграция с Notion шлёт слишком много запросов, какую строку кода ошибки API кладёт в тело ответа? | 6,0 | 3,7 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Сколько запросов в минуту на одно подключение разрешает Notion API на тарифах, кроме Business и Enterprise? | $0,034 | $0,0034 | 100% | 100% |
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | $0,033 | $0,0081 | 100% | 100% |
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | $0,035 | $0,014 | 100% | 100% |
| Notion: Когда моя интеграция с Notion шлёт слишком много запросов, какую строку кода ошибки API кладёт в тело ответа? | $0,035 | $0,017 | 100% | 100% |
Notion регистрирует 5 инструментов WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"requests per minute connection Business Enterprise"}) search_docs({"query":"page_size pagination"}) search_docs({"query":"rich text object character limit request limits"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"Request limits status codes rate_limited"}) | Вызван |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) | Вызван |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Не вызван |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Не вызван |
read_skill | Read a Notion Docs agent skill document by name. | –Не вызван |
- gemini-4-argon, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Реальный сайт: у него собственные WebMCP-инструменты.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumspecification.website
“Какой длины должен быть meta description страницы по этой спецификации?”
specification.website (откроется specification.website)6.1×
меньше токенов
30k → 4,9k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | 30k | 4,9k | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | 22k | 4,5k | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | 23k | 4,7k | 100% | 100% |
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | 23k | 4,7k | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | 24k | 5,6k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | 126,7s | 70,5s | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | 140,6s | 50,5s | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | 105,5s | 56,0s | 100% | 100% |
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | 79,6s | 45,5s | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | 195,8s | 52,4s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | 6,0 | 3,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | $0,033 | $0,011 | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | $0,028 | $0,011 | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | $0,027 | $0,01 | 100% | 100% |
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | $0,03 | $0,01 | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | $0,029 | $0,014 | 100% | 100% |
specification.website регистрирует 5 инструментов WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP responsiveness"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) | Вызван |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) | Вызван |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Не вызван |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Не вызван |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Не вызван |
- gemini-4-argon, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Реальный сайт: у него собственные WebMCP-инструменты.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumKiln & Co тест
“Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине.”
4.7×
меньше токенов
16k → 3,4k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | 16k | 3,4k | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Нужен зелёный подарок дешевле $30, который можно купить прямо сейчас. Что у вас есть? | 5,5k | 1,3k | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | 7,6k | 2,1k | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | 7,9k | 2,2k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | 89,0s | 32,2s | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Нужен зелёный подарок дешевле $30, который можно купить прямо сейчас. Что у вас есть? | 80,1s | 26,4s | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | 49,0s | 49,8s | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | 64,5s | 43,1s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | 6,0 | 3,0 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Нужен зелёный подарок дешевле $30, который можно купить прямо сейчас. Что у вас есть? | 3,3 | 2,0 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | 4,0 | 3,0 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | 4,0 | 3,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | $0,027 | $0,0079 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Нужен зелёный подарок дешевле $30, который можно купить прямо сейчас. Что у вас есть? | $0,013 | $0,0037 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | $0,017 | $0,005 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | $0,018 | $0,0057 | 100% | 100% |
Kiln & Co регистрирует 4 инструмента WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({}) search_products({"color":"green","max_price":30}) search_products({"category":"teapot","sort":"price_desc"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) | Вызван |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Вызван |
get_cart | Return the cart: items with quantity and the total in USD. | –Не вызван |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Не вызван |
- gemini-4-argon, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Локальный тестовый сайт: инструменты ему даёт webmcpx.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumOrbit docs тест
“Шаг CI упал с кодом выхода orbit 4. Что это значит?”
2.7×
меньше токенов
3,4k → 1,3k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какие стратегии выкатки можно выбрать при запуске orbit deploy? | 3,4k | 1,7k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | 128,4s | 34,1s | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | 24,7s | 20,0s | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какие стратегии выкатки можно выбрать при запуске orbit deploy? | 37,7s | 37,1s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какие стратегии выкатки можно выбрать при запуске orbit deploy? | 2,0 | 2,3 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | $0,0077 | $0,0032 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | $0,0076 | $0,0032 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Какие стратегии выкатки можно выбрать при запуске orbit deploy? | $0,0073 | $0,0043 | 100% | 100% |
Orbit docs регистрирует 3 инструмента WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"exit code 4"}) search_page({"query":"environment variable config file path"}) search_page({"query":"orbit deploy rollout strategies"}) search_page({"query":"--strategy"}) | Вызван |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Не вызван |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Не вызван |
- gemini-4-argon, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Локальный тестовый сайт: инструменты ему даёт webmcpx.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort medium