Benchmark de webmcpx: Gemini 3.8 Flash
Ranking
Cuánto ahorra WebMCP, modelo a modelo
Un agente lee, hace clic y rellena a partir de snapshots de la página; el otro llama a las herramientas WebMCP del sitio. Elige un modelo; primero, los mayores ahorros.
Ordenado por acierto con WebMCP y, en empate, por coste por ejecución.
Casos seleccionados: 21 de 30 preguntas, en las que WebMCP usó como máximo la mitad de los tokens. Todos los resultados son públicos, o ejecútalo tú mismo con just bench.
Gemini 3.8 Flash (Google)
Cloudflare
“¿Cuántas solicitudes al día pueden atender mis Workers en el plan Workers Free de Cloudflare antes de llegar al límite?”
developers.cloudflare.com (abre Cloudflare)46×
menos tokens
72k → 1,6k tokens
| Pregunta | Sin WebMCP: tokens | Con WebMCP: tokens | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Cloudflare: ¿Cuántas solicitudes al día pueden atender mis Workers en el plan Workers Free de Cloudflare antes de llegar al límite? | 72k | 1,6k | 100% | 100% |
| Cloudflare: ¿Qué tan larga puede ser una clave en Cloudflare Workers KV? Quiero saber el tamaño máximo de clave. | 41k | 1,5k | 100% | 100% |
| Cloudflare: ¿Cuál es el tamaño máximo de un solo valor guardado en Cloudflare Workers KV? | 34k | 1,4k | 100% | 100% |
| Cloudflare: Estoy en el plan Workers Paid. ¿Hasta qué tamaño puede crecer una sola base de datos de Cloudflare D1? | 29k | 1,4k | 100% | 100% |
| Cloudflare: ¿Cuál es el mensaje más grande que puedo enviar a una Cloudflare Queue? Necesito el límite de tamaño por mensaje. | 42k | 4,9k | 100% | 100% |
| Pregunta | Sin WebMCP: tiempo | Con WebMCP: tiempo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Cloudflare: ¿Cuántas solicitudes al día pueden atender mis Workers en el plan Workers Free de Cloudflare antes de llegar al límite? | 14,4s | 5,8s | 100% | 100% |
| Cloudflare: ¿Qué tan larga puede ser una clave en Cloudflare Workers KV? Quiero saber el tamaño máximo de clave. | 40,3s | 6,8s | 100% | 100% |
| Cloudflare: ¿Cuál es el tamaño máximo de un solo valor guardado en Cloudflare Workers KV? | 11,0s | 5,2s | 100% | 100% |
| Cloudflare: Estoy en el plan Workers Paid. ¿Hasta qué tamaño puede crecer una sola base de datos de Cloudflare D1? | 10,7s | 6,9s | 100% | 100% |
| Cloudflare: ¿Cuál es el mensaje más grande que puedo enviar a una Cloudflare Queue? Necesito el límite de tamaño por mensaje. | 14,8s | 12,9s | 100% | 100% |
| Pregunta | Sin WebMCP: pasos | Con WebMCP: pasos | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Cloudflare: ¿Cuántas solicitudes al día pueden atender mis Workers en el plan Workers Free de Cloudflare antes de llegar al límite? | 5,7 | 2,0 | 100% | 100% |
| Cloudflare: ¿Qué tan larga puede ser una clave en Cloudflare Workers KV? Quiero saber el tamaño máximo de clave. | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: ¿Cuál es el tamaño máximo de un solo valor guardado en Cloudflare Workers KV? | 5,3 | 2,0 | 100% | 100% |
| Cloudflare: Estoy en el plan Workers Paid. ¿Hasta qué tamaño puede crecer una sola base de datos de Cloudflare D1? | 4,7 | 2,0 | 100% | 100% |
| Cloudflare: ¿Cuál es el mensaje más grande que puedo enviar a una Cloudflare Queue? Necesito el límite de tamaño por mensaje. | 6,0 | 3,7 | 100% | 100% |
| Pregunta | Sin WebMCP: costo | Con WebMCP: costo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Cloudflare: ¿Cuántas solicitudes al día pueden atender mis Workers en el plan Workers Free de Cloudflare antes de llegar al límite? | $0,03 | $0,0017 | 100% | 100% |
| Cloudflare: ¿Qué tan larga puede ser una clave en Cloudflare Workers KV? Quiero saber el tamaño máximo de clave. | $0,015 | $0,0017 | 100% | 100% |
| Cloudflare: ¿Cuál es el tamaño máximo de un solo valor guardado en Cloudflare Workers KV? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare: Estoy en el plan Workers Paid. ¿Hasta qué tamaño puede crecer una sola base de datos de Cloudflare D1? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare: ¿Cuál es el mensaje más grande que puedo enviar a una Cloudflare Queue? Necesito el límite de tamaño por mensaje. | $0,017 | $0,0044 | 100% | 100% |
2 herramientas WebMCP registradas por Cloudflare
tal como las vio el agente · 2026-11-08
| Herramienta | Descripción | Llamada |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan request limit per day"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"D1 limits maximum database size paid plan"}) search({"query":"Queues limits message size"}) | Llamada |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –No llamada |
- gemini-3.8-flash, razonamiento medium, Chrome headless. Mismo prompt y mismo límite de pasos en ambas variantes; 3 ejecuciones por pregunta y variante.
- Sin WebMCP: un agente basado en snapshots del DOM que lee, hace clic y rellena.
- Con WebMCP: solo las herramientas que registra la página (las suyas o, en nuestros sitios de prueba, las de webmcpx).
- Evaluado según los hechos de la respuesta y el estado de la página. Sin LLM como juez.
- Un sitio real: publica sus propias herramientas WebMCP.
- 30 preguntas en 6 sitios, 27 de solo lectura; los mayores ahorros vienen de las herramientas de búsqueda de los propios sitios.
- 3 ejecuciones por pregunta y brazo: 3 de 3 es evidencia, no prueba del 100%.
- El tiempo es el bucle del agente tras cargar la página; el coste es el uso de API del modelo a precios de lista fechados, con caché.
- Cada ejecución fallida dice por qué en los resultados (bloqueo del sitio, respuesta fuera de la página, límite de pasos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumspecification.website
“Según esta spec, ¿qué largo debe tener la meta description de una página?”
specification.website (abre specification.website)13×
menos tokens
64k → 4,9k tokens
| Pregunta | Sin WebMCP: tokens | Con WebMCP: tokens | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| specification.website: Según esta spec, ¿qué largo debe tener la meta description de una página? | 64k | 4,9k | 100% | 100% |
| specification.website: ¿Qué relación de contraste mínima exige la spec de este sitio para el texto de cuerpo de tamaño normal? | 50k | 4,8k | 100% | 100% |
| specification.website: ¿Cuál es el tamaño mínimo de área táctil que exige esta spec para botones y otros controles interactivos? | 47k | 5,4k | 100% | 100% |
| specification.website: Según esta spec, ¿qué max-age debo poner en mi header HSTS para producción? | 22k | 4,4k | 100% | 100% |
| specification.website: ¿Qué valor de INP fija esta spec como objetivo para una buena capacidad de respuesta? | 23k | 4,8k | 100% | 100% |
| Pregunta | Sin WebMCP: tiempo | Con WebMCP: tiempo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| specification.website: Según esta spec, ¿qué largo debe tener la meta description de una página? | 26,1s | 7,3s | 100% | 100% |
| specification.website: ¿Qué relación de contraste mínima exige la spec de este sitio para el texto de cuerpo de tamaño normal? | 21,7s | 7,1s | 100% | 100% |
| specification.website: ¿Cuál es el tamaño mínimo de área táctil que exige esta spec para botones y otros controles interactivos? | 24,0s | 8,1s | 100% | 100% |
| specification.website: Según esta spec, ¿qué max-age debo poner en mi header HSTS para producción? | 14,1s | 7,2s | 100% | 100% |
| specification.website: ¿Qué valor de INP fija esta spec como objetivo para una buena capacidad de respuesta? | 13,9s | 6,8s | 100% | 100% |
| Pregunta | Sin WebMCP: pasos | Con WebMCP: pasos | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| specification.website: Según esta spec, ¿qué largo debe tener la meta description de una página? | 10,0 | 3,0 | 100% | 100% |
| specification.website: ¿Qué relación de contraste mínima exige la spec de este sitio para el texto de cuerpo de tamaño normal? | 8,0 | 3,0 | 100% | 100% |
| specification.website: ¿Cuál es el tamaño mínimo de área táctil que exige esta spec para botones y otros controles interactivos? | 9,0 | 3,0 | 100% | 100% |
| specification.website: Según esta spec, ¿qué max-age debo poner en mi header HSTS para producción? | 6,0 | 3,0 | 100% | 100% |
| specification.website: ¿Qué valor de INP fija esta spec como objetivo para una buena capacidad de respuesta? | 6,0 | 3,0 | 100% | 100% |
| Pregunta | Sin WebMCP: costo | Con WebMCP: costo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| specification.website: Según esta spec, ¿qué largo debe tener la meta description de una página? | $0,025 | $0,0045 | 100% | 100% |
| specification.website: ¿Qué relación de contraste mínima exige la spec de este sitio para el texto de cuerpo de tamaño normal? | $0,025 | $0,0043 | 100% | 100% |
| specification.website: ¿Cuál es el tamaño mínimo de área táctil que exige esta spec para botones y otros controles interactivos? | $0,022 | $0,0052 | 100% | 100% |
| specification.website: Según esta spec, ¿qué max-age debo poner en mi header HSTS para producción? | $0,015 | $0,0042 | 100% | 100% |
| specification.website: ¿Qué valor de INP fija esta spec como objetivo para una buena capacidad de respuesta? | $0,013 | $0,0043 | 100% | 100% |
5 herramientas WebMCP registradas por specification.website
tal como las vio el agente · 2026-11-08
| Herramienta | Descripción | Llamada |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP"}) | Llamada |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) | Llamada |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –No llamada |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –No llamada |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –No llamada |
- gemini-3.8-flash, razonamiento medium, Chrome headless. Mismo prompt y mismo límite de pasos en ambas variantes; 3 ejecuciones por pregunta y variante.
- Sin WebMCP: un agente basado en snapshots del DOM que lee, hace clic y rellena.
- Con WebMCP: solo las herramientas que registra la página (las suyas o, en nuestros sitios de prueba, las de webmcpx).
- Evaluado según los hechos de la respuesta y el estado de la página. Sin LLM como juez.
- Un sitio real: publica sus propias herramientas WebMCP.
- 30 preguntas en 6 sitios, 27 de solo lectura; los mayores ahorros vienen de las herramientas de búsqueda de los propios sitios.
- 3 ejecuciones por pregunta y brazo: 3 de 3 es evidencia, no prueba del 100%.
- El tiempo es el bucle del agente tras cargar la página; el coste es el uso de API del modelo a precios de lista fechados, con caché.
- Cada ejecución fallida dice por qué en los resultados (bloqueo del sitio, respuesta fuera de la página, límite de pasos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumNotion
“Estoy paginando resultados de la API de Notion. ¿Cuál es el page_size más grande que puedo pedir por llamada en los endpoints de listado?”
developers.notion.com (abre Notion)8.2×
menos tokens
29k → 3,5k tokens
| Pregunta | Sin WebMCP: tokens | Con WebMCP: tokens | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Notion: Estoy paginando resultados de la API de Notion. ¿Cuál es el page_size más grande que puedo pedir por llamada en los endpoints de listado? | 29k | 3,5k | 100% | 100% |
| Notion: Cuando mi integración de Notion envía demasiadas solicitudes, ¿qué string de código de error pone la API en el cuerpo de la respuesta? | 68k | 9,2k | 100% | 100% |
| Notion: ¿Cuántas solicitudes por minuto permite la API de Notion por conexión en los planes que no son Business y Enterprise? | 29k | 6,0k | 100% | 100% |
| Notion: Estoy escribiendo párrafos largos en una página de Notion a través de la API. ¿Cuántos caracteres puede tener como máximo el contenido de texto de un solo objeto rich text en una solicitud? | 49k | 16k | 100% | 100% |
| Notion: ¿Cuál es el archivo más grande que puedo enviar a la API de Notion en una subida de una sola parte antes de tener que pasar a una subida multiparte? | 71k | 32k | 100% | 100% |
| Pregunta | Sin WebMCP: tiempo | Con WebMCP: tiempo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Notion: Estoy paginando resultados de la API de Notion. ¿Cuál es el page_size más grande que puedo pedir por llamada en los endpoints de listado? | 15,8s | 7,6s | 100% | 100% |
| Notion: Cuando mi integración de Notion envía demasiadas solicitudes, ¿qué string de código de error pone la API en el cuerpo de la respuesta? | 23,0s | 11,5s | 100% | 100% |
| Notion: ¿Cuántas solicitudes por minuto permite la API de Notion por conexión en los planes que no son Business y Enterprise? | 13,5s | 7,0s | 100% | 100% |
| Notion: Estoy escribiendo párrafos largos en una página de Notion a través de la API. ¿Cuántos caracteres puede tener como máximo el contenido de texto de un solo objeto rich text en una solicitud? | 20,5s | 13,3s | 100% | 100% |
| Notion: ¿Cuál es el archivo más grande que puedo enviar a la API de Notion en una subida de una sola parte antes de tener que pasar a una subida multiparte? | 23,1s | 18,6s | 100% | 100% |
| Pregunta | Sin WebMCP: pasos | Con WebMCP: pasos | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Notion: Estoy paginando resultados de la API de Notion. ¿Cuál es el page_size más grande que puedo pedir por llamada en los endpoints de listado? | 6,7 | 3,0 | 100% | 100% |
| Notion: Cuando mi integración de Notion envía demasiadas solicitudes, ¿qué string de código de error pone la API en el cuerpo de la respuesta? | 8,0 | 4,7 | 100% | 100% |
| Notion: ¿Cuántas solicitudes por minuto permite la API de Notion por conexión en los planes que no son Business y Enterprise? | 5,3 | 3,0 | 100% | 100% |
| Notion: Estoy escribiendo párrafos largos en una página de Notion a través de la API. ¿Cuántos caracteres puede tener como máximo el contenido de texto de un solo objeto rich text en una solicitud? | 7,3 | 4,3 | 100% | 100% |
| Notion: ¿Cuál es el archivo más grande que puedo enviar a la API de Notion en una subida de una sola parte antes de tener que pasar a una subida multiparte? | 8,7 | 7,0 | 100% | 100% |
| Pregunta | Sin WebMCP: costo | Con WebMCP: costo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Notion: Estoy paginando resultados de la API de Notion. ¿Cuál es el page_size más grande que puedo pedir por llamada en los endpoints de listado? | $0,016 | $0,0033 | 100% | 100% |
| Notion: Cuando mi integración de Notion envía demasiadas solicitudes, ¿qué string de código de error pone la API en el cuerpo de la respuesta? | $0,026 | $0,0079 | 100% | 100% |
| Notion: ¿Cuántas solicitudes por minuto permite la API de Notion por conexión en los planes que no son Business y Enterprise? | $0,016 | $0,0048 | 100% | 100% |
| Notion: Estoy escribiendo párrafos largos en una página de Notion a través de la API. ¿Cuántos caracteres puede tener como máximo el contenido de texto de un solo objeto rich text en una solicitud? | $0,022 | $0,0097 | 100% | 100% |
| Notion: ¿Cuál es el archivo más grande que puedo enviar a la API de Notion en una subida de una sola parte antes de tener que pasar a una subida multiparte? | $0,027 | $0,017 | 100% | 100% |
5 herramientas WebMCP registradas por Notion
tal como las vio el agente · 2026-11-08
| Herramienta | Descripción | Llamada |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"pagination page_size"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"errors status code rate limited"}) search_docs({"query":"rate limits requests per minute"}) search_docs({"query":"rich text maximum characters limit"}) search_docs({"query":"\"Size limits\" \"text.content\""}) search_docs({"query":"upload single-part multi-part file"}) search_docs({"query":"working-with-files-and-media single_part"}) | Llamada |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/file-upload"}) read_page({"path":"https://developers.notion.com/guides/data-apis/sending-larger-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/uploading-small-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/working-with-files-and-media"}) | Llamada |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –No llamada |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –No llamada |
read_skill | Read a Notion Docs agent skill document by name. | –No llamada |
- gemini-3.8-flash, razonamiento medium, Chrome headless. Mismo prompt y mismo límite de pasos en ambas variantes; 3 ejecuciones por pregunta y variante.
- Sin WebMCP: un agente basado en snapshots del DOM que lee, hace clic y rellena.
- Con WebMCP: solo las herramientas que registra la página (las suyas o, en nuestros sitios de prueba, las de webmcpx).
- Evaluado según los hechos de la respuesta y el estado de la página. Sin LLM como juez.
- Un sitio real: publica sus propias herramientas WebMCP.
- 30 preguntas en 6 sitios, 27 de solo lectura; los mayores ahorros vienen de las herramientas de búsqueda de los propios sitios.
- 3 ejecuciones por pregunta y brazo: 3 de 3 es evidencia, no prueba del 100%.
- El tiempo es el bucle del agente tras cargar la página; el coste es el uso de API del modelo a precios de lista fechados, con caché.
- Cada ejecución fallida dice por qué en los resultados (bloqueo del sitio, respuesta fuera de la página, límite de pasos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumKiln & Co local
“Pon en mi carrito la tetera más cara que venden.”
5.9×
menos tokens
12k → 2,1k tokens
| Pregunta | Sin WebMCP: tokens | Con WebMCP: tokens | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Kiln & Co (sitio de prueba local): Pon en mi carrito la tetera más cara que venden. | 12k | 2,1k | 100% | 100% |
| Kiln & Co (sitio de prueba local): Agrega un Stoneware Teapot y un Speckled Bowl a mi carrito y luego dime el total del carrito. | 16k | 2,9k | 100% | 100% |
| Kiln & Co (sitio de prueba local): Agrega a mi carrito dos unidades de la taza azul más barata. | 10k | 2,2k | 100% | 100% |
| Kiln & Co (sitio de prueba local): Necesito un regalo verde de menos de $30 que pueda comprar ahora mismo. ¿Qué tienen? | 7,3k | 2,6k | 100% | 100% |
| Pregunta | Sin WebMCP: tiempo | Con WebMCP: tiempo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Kiln & Co (sitio de prueba local): Pon en mi carrito la tetera más cara que venden. | 15,3s | 7,2s | 100% | 100% |
| Kiln & Co (sitio de prueba local): Agrega un Stoneware Teapot y un Speckled Bowl a mi carrito y luego dime el total del carrito. | 14,0s | 8,0s | 100% | 100% |
| Kiln & Co (sitio de prueba local): Agrega a mi carrito dos unidades de la taza azul más barata. | 12,1s | 6,1s | 100% | 100% |
| Kiln & Co (sitio de prueba local): Necesito un regalo verde de menos de $30 que pueda comprar ahora mismo. ¿Qué tienen? | 11,7s | 9,0s | 100% | 100% |
| Pregunta | Sin WebMCP: pasos | Con WebMCP: pasos | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Kiln & Co (sitio de prueba local): Pon en mi carrito la tetera más cara que venden. | 6,0 | 3,0 | 100% | 100% |
| Kiln & Co (sitio de prueba local): Agrega un Stoneware Teapot y un Speckled Bowl a mi carrito y luego dime el total del carrito. | 6,0 | 3,3 | 100% | 100% |
| Kiln & Co (sitio de prueba local): Agrega a mi carrito dos unidades de la taza azul más barata. | 5,0 | 3,0 | 100% | 100% |
| Kiln & Co (sitio de prueba local): Necesito un regalo verde de menos de $30 que pueda comprar ahora mismo. ¿Qué tienen? | 4,0 | 3,0 | 100% | 100% |
| Pregunta | Sin WebMCP: costo | Con WebMCP: costo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Kiln & Co (sitio de prueba local): Pon en mi carrito la tetera más cara que venden. | $0,01 | $0,0022 | 100% | 100% |
| Kiln & Co (sitio de prueba local): Agrega un Stoneware Teapot y un Speckled Bowl a mi carrito y luego dime el total del carrito. | $0,013 | $0,0031 | 100% | 100% |
| Kiln & Co (sitio de prueba local): Agrega a mi carrito dos unidades de la taza azul más barata. | $0,0092 | $0,0023 | 100% | 100% |
| Kiln & Co (sitio de prueba local): Necesito un regalo verde de menos de $30 que pueda comprar ahora mismo. ¿Qué tienen? | $0,0069 | $0,0033 | 100% | 100% |
4 herramientas WebMCP registradas por Kiln & Co
tal como las vio el agente · 2026-11-08
| Herramienta | Descripción | Llamada |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"category":"teapot","sort":"price_desc"}) search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) search_products({"color":"green","max_price":30}) search_products({"color":"green"}) | Llamada |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Llamada |
get_cart | Return the cart: items with quantity and the total in USD. get_cart({}) | Llamada |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –No llamada |
- gemini-3.8-flash, razonamiento medium, Chrome headless. Mismo prompt y mismo límite de pasos en ambas variantes; 3 ejecuciones por pregunta y variante.
- Sin WebMCP: un agente basado en snapshots del DOM que lee, hace clic y rellena.
- Con WebMCP: solo las herramientas que registra la página (las suyas o, en nuestros sitios de prueba, las de webmcpx).
- Evaluado según los hechos de la respuesta y el estado de la página. Sin LLM como juez.
- Un sitio de prueba local: sus herramientas vienen de webmcpx.
- 30 preguntas en 6 sitios, 27 de solo lectura; los mayores ahorros vienen de las herramientas de búsqueda de los propios sitios.
- 3 ejecuciones por pregunta y brazo: 3 de 3 es evidencia, no prueba del 100%.
- El tiempo es el bucle del agente tras cargar la página; el coste es el uso de API del modelo a precios de lista fechados, con caché.
- Cada ejecución fallida dice por qué en los resultados (bloqueo del sitio, respuesta fuera de la página, límite de pasos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumOrbit docs local
“¿Qué variable de entorno hace que Orbit lea su archivo de configuración desde otra ruta?”
2.7×
menos tokens
3,4k → 1,3k tokens
| Pregunta | Sin WebMCP: tokens | Con WebMCP: tokens | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Orbit docs (sitio de prueba local): ¿Qué variable de entorno hace que Orbit lea su archivo de configuración desde otra ruta? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (sitio de prueba local): Mi paso de CI falló con el código de salida 4 de orbit. ¿Qué significa? | 3,4k | 1,3k | 100% | 100% |
| Pregunta | Sin WebMCP: tiempo | Con WebMCP: tiempo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Orbit docs (sitio de prueba local): ¿Qué variable de entorno hace que Orbit lea su archivo de configuración desde otra ruta? | 6,9s | 5,2s | 100% | 100% |
| Orbit docs (sitio de prueba local): Mi paso de CI falló con el código de salida 4 de orbit. ¿Qué significa? | 5,1s | 5,8s | 100% | 100% |
| Pregunta | Sin WebMCP: pasos | Con WebMCP: pasos | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Orbit docs (sitio de prueba local): ¿Qué variable de entorno hace que Orbit lea su archivo de configuración desde otra ruta? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (sitio de prueba local): Mi paso de CI falló con el código de salida 4 de orbit. ¿Qué significa? | 2,0 | 2,0 | 100% | 100% |
| Pregunta | Sin WebMCP: costo | Con WebMCP: costo | Sin WebMCP: resuelta | Con WebMCP: resuelta |
|---|---|---|---|---|
| Orbit docs (sitio de prueba local): ¿Qué variable de entorno hace que Orbit lea su archivo de configuración desde otra ruta? | $0,003 | $0,0013 | 100% | 100% |
| Orbit docs (sitio de prueba local): Mi paso de CI falló con el código de salida 4 de orbit. ¿Qué significa? | $0,0031 | $0,0015 | 100% | 100% |
3 herramientas WebMCP registradas por Orbit docs
tal como las vio el agente · 2026-11-08
| Herramienta | Descripción | Llamada |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"environment variable config path"}) search_page({"query":"exit code 4"}) | Llamada |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –No llamada |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –No llamada |
- gemini-3.8-flash, razonamiento medium, Chrome headless. Mismo prompt y mismo límite de pasos en ambas variantes; 3 ejecuciones por pregunta y variante.
- Sin WebMCP: un agente basado en snapshots del DOM que lee, hace clic y rellena.
- Con WebMCP: solo las herramientas que registra la página (las suyas o, en nuestros sitios de prueba, las de webmcpx).
- Evaluado según los hechos de la respuesta y el estado de la página. Sin LLM como juez.
- Un sitio de prueba local: sus herramientas vienen de webmcpx.
- 30 preguntas en 6 sitios, 27 de solo lectura; los mayores ahorros vienen de las herramientas de búsqueda de los propios sitios.
- 3 ejecuciones por pregunta y brazo: 3 de 3 es evidencia, no prueba del 100%.
- El tiempo es el bucle del agente tras cargar la página; el coste es el uso de API del modelo a precios de lista fechados, con caché.
- Cada ejecución fallida dice por qué en los resultados (bloqueo del sitio, respuesta fuera de la página, límite de pasos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort medium