Бенчмарк webmcpx: Gemini 3.8 Flash
Рейтинг
Сколько экономит WebMCP: модель за моделью
Один агент читает, кликает и заполняет формы по снимкам страницы, другой вызывает WebMCP-инструменты сайта. Выберите модель; сначала — наибольшая экономия.
По доле успеха с WebMCP, затем по стоимости запуска.
Отобранные случаи: 21 из 30 вопросов, где WebMCP потратил не больше половины токенов. Все результаты открыты — или запустите бенчмарк сами: just bench.
Gemini 3.8 Flash (Google)
Cloudflare
“Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит?”
developers.cloudflare.com (откроется Cloudflare)46×
меньше токенов
72k → 1,6k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | 72k | 1,6k | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | 41k | 1,5k | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | 34k | 1,4k | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | 29k | 1,4k | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | 42k | 4,9k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | 14,4s | 5,8s | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | 40,3s | 6,8s | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | 11,0s | 5,2s | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | 10,7s | 6,9s | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | 14,8s | 12,9s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | 5,7 | 2,0 | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | 5,3 | 2,0 | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | 4,7 | 2,0 | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | 6,0 | 3,7 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Cloudflare: Сколько запросов в день выдержат мои Workers на тарифе Workers Free в Cloudflare, прежде чем упрутся в лимит? | $0,03 | $0,0017 | 100% | 100% |
| Cloudflare: Какой длины может быть ключ в Cloudflare Workers KV? Мне нужен максимальный размер ключа. | $0,015 | $0,0017 | 100% | 100% |
| Cloudflare: Какой максимальный размер одного значения в Cloudflare Workers KV? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare: У меня тариф Workers Paid. До какого размера может вырасти одна база данных Cloudflare D1? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare: Какое самое большое сообщение можно отправить в Cloudflare Queue? Мне нужен лимит размера одного сообщения. | $0,017 | $0,0044 | 100% | 100% |
Cloudflare регистрирует 2 инструмента WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan request limit per day"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"D1 limits maximum database size paid plan"}) search({"query":"Queues limits message size"}) | Вызван |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Не вызван |
- gemini-3.8-flash, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Реальный сайт: у него собственные WebMCP-инструменты.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumspecification.website
“Какой длины должен быть meta description страницы по этой спецификации?”
specification.website (откроется specification.website)13×
меньше токенов
64k → 4,9k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | 64k | 4,9k | 100% | 100% |
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | 50k | 4,8k | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | 47k | 5,4k | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | 22k | 4,4k | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | 23k | 4,8k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | 26,1s | 7,3s | 100% | 100% |
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | 21,7s | 7,1s | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | 24,0s | 8,1s | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | 14,1s | 7,2s | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | 13,9s | 6,8s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | 10,0 | 3,0 | 100% | 100% |
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | 8,0 | 3,0 | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | 9,0 | 3,0 | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | 6,0 | 3,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| specification.website: Какой длины должен быть meta description страницы по этой спецификации? | $0,025 | $0,0045 | 100% | 100% |
| specification.website: Какой минимальный коэффициент контраста требует спецификация этого сайта для основного текста обычного размера? | $0,025 | $0,0043 | 100% | 100% |
| specification.website: Какой минимальный размер области касания эта спецификация требует для кнопок и других интерактивных элементов? | $0,022 | $0,0052 | 100% | 100% |
| specification.website: Какой max-age по этой спецификации ставить в заголовок HSTS в продакшене? | $0,015 | $0,0042 | 100% | 100% |
| specification.website: Какое значение INP эта спецификация задаёт как цель для хорошей отзывчивости? | $0,013 | $0,0043 | 100% | 100% |
specification.website регистрирует 5 инструментов WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP"}) | Вызван |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) | Вызван |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Не вызван |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Не вызван |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Не вызван |
- gemini-3.8-flash, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Реальный сайт: у него собственные WebMCP-инструменты.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumNotion
“Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов?”
developers.notion.com (откроется Notion)8.2×
меньше токенов
29k → 3,5k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | 29k | 3,5k | 100% | 100% |
| Notion: Когда моя интеграция с Notion шлёт слишком много запросов, какую строку кода ошибки API кладёт в тело ответа? | 68k | 9,2k | 100% | 100% |
| Notion: Сколько запросов в минуту на одно подключение разрешает Notion API на тарифах, кроме Business и Enterprise? | 29k | 6,0k | 100% | 100% |
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | 49k | 16k | 100% | 100% |
| Notion: Какой самый большой файл можно отправить в Notion API одной частью, прежде чем придётся переходить на загрузку в несколько частей? | 71k | 32k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | 15,8s | 7,6s | 100% | 100% |
| Notion: Когда моя интеграция с Notion шлёт слишком много запросов, какую строку кода ошибки API кладёт в тело ответа? | 23,0s | 11,5s | 100% | 100% |
| Notion: Сколько запросов в минуту на одно подключение разрешает Notion API на тарифах, кроме Business и Enterprise? | 13,5s | 7,0s | 100% | 100% |
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | 20,5s | 13,3s | 100% | 100% |
| Notion: Какой самый большой файл можно отправить в Notion API одной частью, прежде чем придётся переходить на загрузку в несколько частей? | 23,1s | 18,6s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | 6,7 | 3,0 | 100% | 100% |
| Notion: Когда моя интеграция с Notion шлёт слишком много запросов, какую строку кода ошибки API кладёт в тело ответа? | 8,0 | 4,7 | 100% | 100% |
| Notion: Сколько запросов в минуту на одно подключение разрешает Notion API на тарифах, кроме Business и Enterprise? | 5,3 | 3,0 | 100% | 100% |
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | 7,3 | 4,3 | 100% | 100% |
| Notion: Какой самый большой файл можно отправить в Notion API одной частью, прежде чем придётся переходить на загрузку в несколько частей? | 8,7 | 7,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Notion: Я листаю результаты Notion API постранично. Какой максимальный page_size можно запросить за один вызов у list-эндпоинтов? | $0,016 | $0,0033 | 100% | 100% |
| Notion: Когда моя интеграция с Notion шлёт слишком много запросов, какую строку кода ошибки API кладёт в тело ответа? | $0,026 | $0,0079 | 100% | 100% |
| Notion: Сколько запросов в минуту на одно подключение разрешает Notion API на тарифах, кроме Business и Enterprise? | $0,016 | $0,0048 | 100% | 100% |
| Notion: Я записываю длинные абзацы на страницу Notion через API. Сколько символов максимум может быть в текстовом содержимом одного объекта rich text в запросе? | $0,022 | $0,0097 | 100% | 100% |
| Notion: Какой самый большой файл можно отправить в Notion API одной частью, прежде чем придётся переходить на загрузку в несколько частей? | $0,027 | $0,017 | 100% | 100% |
Notion регистрирует 5 инструментов WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"pagination page_size"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"errors status code rate limited"}) search_docs({"query":"rate limits requests per minute"}) search_docs({"query":"rich text maximum characters limit"}) search_docs({"query":"\"Size limits\" \"text.content\""}) search_docs({"query":"upload single-part multi-part file"}) search_docs({"query":"working-with-files-and-media single_part"}) | Вызван |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/file-upload"}) read_page({"path":"https://developers.notion.com/guides/data-apis/sending-larger-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/uploading-small-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/working-with-files-and-media"}) | Вызван |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Не вызван |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Не вызван |
read_skill | Read a Notion Docs agent skill document by name. | –Не вызван |
- gemini-3.8-flash, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Реальный сайт: у него собственные WebMCP-инструменты.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumKiln & Co тест
“Положи в корзину самый дорогой чайник из тех, что вы продаёте.”
5.9×
меньше токенов
12k → 2,1k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | 12k | 2,1k | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | 16k | 2,9k | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | 10k | 2,2k | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Нужен зелёный подарок дешевле $30, который можно купить прямо сейчас. Что у вас есть? | 7,3k | 2,6k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | 15,3s | 7,2s | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | 14,0s | 8,0s | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | 12,1s | 6,1s | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Нужен зелёный подарок дешевле $30, который можно купить прямо сейчас. Что у вас есть? | 11,7s | 9,0s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | 6,0 | 3,0 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | 6,0 | 3,3 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | 5,0 | 3,0 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Нужен зелёный подарок дешевле $30, который можно купить прямо сейчас. Что у вас есть? | 4,0 | 3,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Kiln & Co (локальный тестовый сайт): Положи в корзину самый дорогой чайник из тех, что вы продаёте. | $0,01 | $0,0022 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину один Stoneware Teapot и один Speckled Bowl, а потом скажи итог по корзине. | $0,013 | $0,0031 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Добавь в корзину две самые дешёвые синие кружки. | $0,0092 | $0,0023 | 100% | 100% |
| Kiln & Co (локальный тестовый сайт): Нужен зелёный подарок дешевле $30, который можно купить прямо сейчас. Что у вас есть? | $0,0069 | $0,0033 | 100% | 100% |
Kiln & Co регистрирует 4 инструмента WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"category":"teapot","sort":"price_desc"}) search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) search_products({"color":"green","max_price":30}) search_products({"color":"green"}) | Вызван |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Вызван |
get_cart | Return the cart: items with quantity and the total in USD. get_cart({}) | Вызван |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Не вызван |
- gemini-3.8-flash, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Локальный тестовый сайт: инструменты ему даёт webmcpx.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumOrbit docs тест
“Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути?”
2.7×
меньше токенов
3,4k → 1,3k токенов
| Вопрос | Без WebMCP: токены | С WebMCP: токены | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | 3,4k | 1,3k | 100% | 100% |
| Вопрос | Без WebMCP: время | С WebMCP: время | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | 6,9s | 5,2s | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | 5,1s | 5,8s | 100% | 100% |
| Вопрос | Без WebMCP: шаги | С WebMCP: шаги | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | 2,0 | 2,0 | 100% | 100% |
| Вопрос | Без WebMCP: стоимость | С WebMCP: стоимость | Без WebMCP: решено | С WebMCP: решено |
|---|---|---|---|---|
| Orbit docs (локальный тестовый сайт): Какая переменная окружения заставляет Orbit читать конфигурационный файл из другого пути? | $0,003 | $0,0013 | 100% | 100% |
| Orbit docs (локальный тестовый сайт): Шаг CI упал с кодом выхода orbit 4. Что это значит? | $0,0031 | $0,0015 | 100% | 100% |
Orbit docs регистрирует 3 инструмента WebMCP
так их видел агент · 2026-11-08
| Инструмент | Описание | Вызван |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"environment variable config path"}) search_page({"query":"exit code 4"}) | Вызван |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Не вызван |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Не вызван |
- gemini-3.8-flash, reasoning medium, headless Chrome. В обоих вариантах одинаковые промпт и лимит шагов; 3 запуска на вопрос и вариант.
- Без WebMCP: агент на снимках DOM, который читает, кликает и заполняет формы.
- С WebMCP: только инструменты, которые регистрирует страница (собственные или, на наших тестовых сайтах, от webmcpx).
- Оценка — по фактам в ответе и состоянию страницы. Без LLM-судьи.
- Локальный тестовый сайт: инструменты ему даёт webmcpx.
- 30 вопросов на 6 сайтах, 27 только на чтение; наибольшая экономия — от поисковых инструментов самих сайтов.
- 3 запуска на вопрос и ветку: 3 из 3 — свидетельство, а не доказательство 100%.
- Время — цикл агента после загрузки страницы; стоимость — использование API модели по датированным прайсам, с кэшем.
- Каждый неудачный запуск указывает причину в результатах (блокировка сайтом, ответ не со страницы, лимит шагов…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort medium