Benchmark do webmcpx: Gemini 3.8 Flash
Ranking
Quanto o WebMCP economiza, modelo a modelo
Um agente lê, clica e preenche a partir de snapshots da página; o outro chama as ferramentas WebMCP do site. Escolha um modelo; as maiores economias vêm primeiro.
Ordenado pelo acerto com WebMCP e, no empate, pelo custo por execução.
Casos selecionados: 21 de 30 perguntas, em que o WebMCP usou no máximo metade dos tokens. Todos os resultados são públicos, ou rode você mesmo com just bench.
Gemini 3.8 Flash (Google)
Cloudflare
“Quantas requisições por dia meus Workers aguentam no plano Workers Free da Cloudflare antes de bater no limite?”
developers.cloudflare.com (abre Cloudflare)46×
menos tokens
72k → 1,6k tokens
| Pergunta | Sem WebMCP: tokens | Com WebMCP: tokens | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Cloudflare: Quantas requisições por dia meus Workers aguentam no plano Workers Free da Cloudflare antes de bater no limite? | 72k | 1,6k | 100% | 100% |
| Cloudflare: Qual o tamanho máximo de uma chave no Cloudflare Workers KV? Quero saber o limite de tamanho da chave. | 41k | 1,5k | 100% | 100% |
| Cloudflare: Qual é o tamanho máximo de um único valor guardado no Cloudflare Workers KV? | 34k | 1,4k | 100% | 100% |
| Cloudflare: Estou no plano Workers Paid. Até que tamanho um único banco de dados do Cloudflare D1 pode crescer? | 29k | 1,4k | 100% | 100% |
| Cloudflare: Qual é a maior mensagem que posso enviar para uma Cloudflare Queue? Preciso do limite de tamanho por mensagem. | 42k | 4,9k | 100% | 100% |
| Pergunta | Sem WebMCP: tempo | Com WebMCP: tempo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Cloudflare: Quantas requisições por dia meus Workers aguentam no plano Workers Free da Cloudflare antes de bater no limite? | 14,4s | 5,8s | 100% | 100% |
| Cloudflare: Qual o tamanho máximo de uma chave no Cloudflare Workers KV? Quero saber o limite de tamanho da chave. | 40,3s | 6,8s | 100% | 100% |
| Cloudflare: Qual é o tamanho máximo de um único valor guardado no Cloudflare Workers KV? | 11,0s | 5,2s | 100% | 100% |
| Cloudflare: Estou no plano Workers Paid. Até que tamanho um único banco de dados do Cloudflare D1 pode crescer? | 10,7s | 6,9s | 100% | 100% |
| Cloudflare: Qual é a maior mensagem que posso enviar para uma Cloudflare Queue? Preciso do limite de tamanho por mensagem. | 14,8s | 12,9s | 100% | 100% |
| Pergunta | Sem WebMCP: passos | Com WebMCP: passos | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Cloudflare: Quantas requisições por dia meus Workers aguentam no plano Workers Free da Cloudflare antes de bater no limite? | 5,7 | 2,0 | 100% | 100% |
| Cloudflare: Qual o tamanho máximo de uma chave no Cloudflare Workers KV? Quero saber o limite de tamanho da chave. | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Qual é o tamanho máximo de um único valor guardado no Cloudflare Workers KV? | 5,3 | 2,0 | 100% | 100% |
| Cloudflare: Estou no plano Workers Paid. Até que tamanho um único banco de dados do Cloudflare D1 pode crescer? | 4,7 | 2,0 | 100% | 100% |
| Cloudflare: Qual é a maior mensagem que posso enviar para uma Cloudflare Queue? Preciso do limite de tamanho por mensagem. | 6,0 | 3,7 | 100% | 100% |
| Pergunta | Sem WebMCP: custo | Com WebMCP: custo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Cloudflare: Quantas requisições por dia meus Workers aguentam no plano Workers Free da Cloudflare antes de bater no limite? | $0,03 | $0,0017 | 100% | 100% |
| Cloudflare: Qual o tamanho máximo de uma chave no Cloudflare Workers KV? Quero saber o limite de tamanho da chave. | $0,015 | $0,0017 | 100% | 100% |
| Cloudflare: Qual é o tamanho máximo de um único valor guardado no Cloudflare Workers KV? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare: Estou no plano Workers Paid. Até que tamanho um único banco de dados do Cloudflare D1 pode crescer? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare: Qual é a maior mensagem que posso enviar para uma Cloudflare Queue? Preciso do limite de tamanho por mensagem. | $0,017 | $0,0044 | 100% | 100% |
As 2 ferramentas WebMCP que Cloudflare registra
como o agente as viu · 2026-11-08
| Ferramenta | Descrição | Chamada |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan request limit per day"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"D1 limits maximum database size paid plan"}) search({"query":"Queues limits message size"}) | Chamada |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Não chamada |
- gemini-3.8-flash, raciocínio medium, Chrome headless. Mesmo prompt e mesmo limite de passos nos dois cenários; 3 execuções por pergunta e cenário.
- Sem WebMCP: um agente baseado em snapshots do DOM, que lê, clica e preenche.
- Com WebMCP: só as ferramentas que a página registra (as dela, ou as do webmcpx nos nossos sites de teste).
- Avaliado pelos fatos na resposta e pelo estado da página. Sem LLM como juiz.
- Um site no ar: ele publica as próprias ferramentas WebMCP.
- 30 perguntas em 6 sites, 27 só de leitura; as maiores economias vêm das ferramentas de busca dos próprios sites.
- 3 execuções por pergunta e braço: 3 de 3 é evidência, não prova de 100%.
- Tempo é o loop do agente depois de a página carregar; custo é o uso de API do modelo a preços de tabela datados, com cache.
- Cada execução que falhou diz o motivo nos resultados (bloqueio do site, resposta fora da página, limite de passos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumspecification.website
“Segundo esta spec, qual deve ser o tamanho da meta description de uma página?”
specification.website (abre specification.website)13×
menos tokens
64k → 4,9k tokens
| Pergunta | Sem WebMCP: tokens | Com WebMCP: tokens | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| specification.website: Segundo esta spec, qual deve ser o tamanho da meta description de uma página? | 64k | 4,9k | 100% | 100% |
| specification.website: Qual taxa de contraste mínima a spec deste site exige para texto corrido de tamanho normal? | 50k | 4,8k | 100% | 100% |
| specification.website: Qual o tamanho mínimo de área de toque que esta spec exige para botões e outros controles interativos? | 47k | 5,4k | 100% | 100% |
| specification.website: Segundo esta spec, que max-age devo colocar no meu header HSTS em produção? | 22k | 4,4k | 100% | 100% |
| specification.website: Qual valor de INP esta spec define como meta para uma boa responsividade? | 23k | 4,8k | 100% | 100% |
| Pergunta | Sem WebMCP: tempo | Com WebMCP: tempo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| specification.website: Segundo esta spec, qual deve ser o tamanho da meta description de uma página? | 26,1s | 7,3s | 100% | 100% |
| specification.website: Qual taxa de contraste mínima a spec deste site exige para texto corrido de tamanho normal? | 21,7s | 7,1s | 100% | 100% |
| specification.website: Qual o tamanho mínimo de área de toque que esta spec exige para botões e outros controles interativos? | 24,0s | 8,1s | 100% | 100% |
| specification.website: Segundo esta spec, que max-age devo colocar no meu header HSTS em produção? | 14,1s | 7,2s | 100% | 100% |
| specification.website: Qual valor de INP esta spec define como meta para uma boa responsividade? | 13,9s | 6,8s | 100% | 100% |
| Pergunta | Sem WebMCP: passos | Com WebMCP: passos | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| specification.website: Segundo esta spec, qual deve ser o tamanho da meta description de uma página? | 10,0 | 3,0 | 100% | 100% |
| specification.website: Qual taxa de contraste mínima a spec deste site exige para texto corrido de tamanho normal? | 8,0 | 3,0 | 100% | 100% |
| specification.website: Qual o tamanho mínimo de área de toque que esta spec exige para botões e outros controles interativos? | 9,0 | 3,0 | 100% | 100% |
| specification.website: Segundo esta spec, que max-age devo colocar no meu header HSTS em produção? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Qual valor de INP esta spec define como meta para uma boa responsividade? | 6,0 | 3,0 | 100% | 100% |
| Pergunta | Sem WebMCP: custo | Com WebMCP: custo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| specification.website: Segundo esta spec, qual deve ser o tamanho da meta description de uma página? | $0,025 | $0,0045 | 100% | 100% |
| specification.website: Qual taxa de contraste mínima a spec deste site exige para texto corrido de tamanho normal? | $0,025 | $0,0043 | 100% | 100% |
| specification.website: Qual o tamanho mínimo de área de toque que esta spec exige para botões e outros controles interativos? | $0,022 | $0,0052 | 100% | 100% |
| specification.website: Segundo esta spec, que max-age devo colocar no meu header HSTS em produção? | $0,015 | $0,0042 | 100% | 100% |
| specification.website: Qual valor de INP esta spec define como meta para uma boa responsividade? | $0,013 | $0,0043 | 100% | 100% |
As 5 ferramentas WebMCP que specification.website registra
como o agente as viu · 2026-11-08
| Ferramenta | Descrição | Chamada |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP"}) | Chamada |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) | Chamada |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Não chamada |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Não chamada |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Não chamada |
- gemini-3.8-flash, raciocínio medium, Chrome headless. Mesmo prompt e mesmo limite de passos nos dois cenários; 3 execuções por pergunta e cenário.
- Sem WebMCP: um agente baseado em snapshots do DOM, que lê, clica e preenche.
- Com WebMCP: só as ferramentas que a página registra (as dela, ou as do webmcpx nos nossos sites de teste).
- Avaliado pelos fatos na resposta e pelo estado da página. Sem LLM como juiz.
- Um site no ar: ele publica as próprias ferramentas WebMCP.
- 30 perguntas em 6 sites, 27 só de leitura; as maiores economias vêm das ferramentas de busca dos próprios sites.
- 3 execuções por pergunta e braço: 3 de 3 é evidência, não prova de 100%.
- Tempo é o loop do agente depois de a página carregar; custo é o uso de API do modelo a preços de tabela datados, com cache.
- Cada execução que falhou diz o motivo nos resultados (bloqueio do site, resposta fora da página, limite de passos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumNotion
“Estou paginando resultados da API do Notion. Qual o maior page_size que posso pedir por chamada nos endpoints de listagem?”
developers.notion.com (abre Notion)8.2×
menos tokens
29k → 3,5k tokens
| Pergunta | Sem WebMCP: tokens | Com WebMCP: tokens | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Notion: Estou paginando resultados da API do Notion. Qual o maior page_size que posso pedir por chamada nos endpoints de listagem? | 29k | 3,5k | 100% | 100% |
| Notion: Quando minha integração do Notion envia requisições demais, qual string de código de erro a API coloca no corpo da resposta? | 68k | 9,2k | 100% | 100% |
| Notion: Quantas requisições por minuto a API do Notion permite por conexão nos planos que não são Business e Enterprise? | 29k | 6,0k | 100% | 100% |
| Notion: Estou escrevendo parágrafos longos numa página do Notion pela API. Qual o número máximo de caracteres que o conteúdo de texto de um único objeto rich text pode ter numa requisição? | 49k | 16k | 100% | 100% |
| Notion: Qual o maior arquivo que posso enviar à API do Notion num upload de parte única antes de precisar mudar para upload em várias partes? | 71k | 32k | 100% | 100% |
| Pergunta | Sem WebMCP: tempo | Com WebMCP: tempo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Notion: Estou paginando resultados da API do Notion. Qual o maior page_size que posso pedir por chamada nos endpoints de listagem? | 15,8s | 7,6s | 100% | 100% |
| Notion: Quando minha integração do Notion envia requisições demais, qual string de código de erro a API coloca no corpo da resposta? | 23,0s | 11,5s | 100% | 100% |
| Notion: Quantas requisições por minuto a API do Notion permite por conexão nos planos que não são Business e Enterprise? | 13,5s | 7,0s | 100% | 100% |
| Notion: Estou escrevendo parágrafos longos numa página do Notion pela API. Qual o número máximo de caracteres que o conteúdo de texto de um único objeto rich text pode ter numa requisição? | 20,5s | 13,3s | 100% | 100% |
| Notion: Qual o maior arquivo que posso enviar à API do Notion num upload de parte única antes de precisar mudar para upload em várias partes? | 23,1s | 18,6s | 100% | 100% |
| Pergunta | Sem WebMCP: passos | Com WebMCP: passos | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Notion: Estou paginando resultados da API do Notion. Qual o maior page_size que posso pedir por chamada nos endpoints de listagem? | 6,7 | 3,0 | 100% | 100% |
| Notion: Quando minha integração do Notion envia requisições demais, qual string de código de erro a API coloca no corpo da resposta? | 8,0 | 4,7 | 100% | 100% |
| Notion: Quantas requisições por minuto a API do Notion permite por conexão nos planos que não são Business e Enterprise? | 5,3 | 3,0 | 100% | 100% |
| Notion: Estou escrevendo parágrafos longos numa página do Notion pela API. Qual o número máximo de caracteres que o conteúdo de texto de um único objeto rich text pode ter numa requisição? | 7,3 | 4,3 | 100% | 100% |
| Notion: Qual o maior arquivo que posso enviar à API do Notion num upload de parte única antes de precisar mudar para upload em várias partes? | 8,7 | 7,0 | 100% | 100% |
| Pergunta | Sem WebMCP: custo | Com WebMCP: custo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Notion: Estou paginando resultados da API do Notion. Qual o maior page_size que posso pedir por chamada nos endpoints de listagem? | $0,016 | $0,0033 | 100% | 100% |
| Notion: Quando minha integração do Notion envia requisições demais, qual string de código de erro a API coloca no corpo da resposta? | $0,026 | $0,0079 | 100% | 100% |
| Notion: Quantas requisições por minuto a API do Notion permite por conexão nos planos que não são Business e Enterprise? | $0,016 | $0,0048 | 100% | 100% |
| Notion: Estou escrevendo parágrafos longos numa página do Notion pela API. Qual o número máximo de caracteres que o conteúdo de texto de um único objeto rich text pode ter numa requisição? | $0,022 | $0,0097 | 100% | 100% |
| Notion: Qual o maior arquivo que posso enviar à API do Notion num upload de parte única antes de precisar mudar para upload em várias partes? | $0,027 | $0,017 | 100% | 100% |
As 5 ferramentas WebMCP que Notion registra
como o agente as viu · 2026-11-08
| Ferramenta | Descrição | Chamada |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"pagination page_size"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"errors status code rate limited"}) search_docs({"query":"rate limits requests per minute"}) search_docs({"query":"rich text maximum characters limit"}) search_docs({"query":"\"Size limits\" \"text.content\""}) search_docs({"query":"upload single-part multi-part file"}) search_docs({"query":"working-with-files-and-media single_part"}) | Chamada |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/file-upload"}) read_page({"path":"https://developers.notion.com/guides/data-apis/sending-larger-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/uploading-small-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/working-with-files-and-media"}) | Chamada |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Não chamada |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Não chamada |
read_skill | Read a Notion Docs agent skill document by name. | –Não chamada |
- gemini-3.8-flash, raciocínio medium, Chrome headless. Mesmo prompt e mesmo limite de passos nos dois cenários; 3 execuções por pergunta e cenário.
- Sem WebMCP: um agente baseado em snapshots do DOM, que lê, clica e preenche.
- Com WebMCP: só as ferramentas que a página registra (as dela, ou as do webmcpx nos nossos sites de teste).
- Avaliado pelos fatos na resposta e pelo estado da página. Sem LLM como juiz.
- Um site no ar: ele publica as próprias ferramentas WebMCP.
- 30 perguntas em 6 sites, 27 só de leitura; as maiores economias vêm das ferramentas de busca dos próprios sites.
- 3 execuções por pergunta e braço: 3 de 3 é evidência, não prova de 100%.
- Tempo é o loop do agente depois de a página carregar; custo é o uso de API do modelo a preços de tabela datados, com cache.
- Cada execução que falhou diz o motivo nos resultados (bloqueio do site, resposta fora da página, limite de passos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumKiln & Co local
“Coloque no meu carrinho o bule mais caro que vocês vendem.”
5.9×
menos tokens
12k → 2,1k tokens
| Pergunta | Sem WebMCP: tokens | Com WebMCP: tokens | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Kiln & Co (site de teste local): Coloque no meu carrinho o bule mais caro que vocês vendem. | 12k | 2,1k | 100% | 100% |
| Kiln & Co (site de teste local): Coloque um Stoneware Teapot e um Speckled Bowl no meu carrinho e depois me diga o total do carrinho. | 16k | 2,9k | 100% | 100% |
| Kiln & Co (site de teste local): Coloque duas unidades da caneca azul mais barata no meu carrinho. | 10k | 2,2k | 100% | 100% |
| Kiln & Co (site de teste local): Preciso de um presente verde abaixo de $30 que eu possa comprar agora. O que vocês têm? | 7,3k | 2,6k | 100% | 100% |
| Pergunta | Sem WebMCP: tempo | Com WebMCP: tempo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Kiln & Co (site de teste local): Coloque no meu carrinho o bule mais caro que vocês vendem. | 15,3s | 7,2s | 100% | 100% |
| Kiln & Co (site de teste local): Coloque um Stoneware Teapot e um Speckled Bowl no meu carrinho e depois me diga o total do carrinho. | 14,0s | 8,0s | 100% | 100% |
| Kiln & Co (site de teste local): Coloque duas unidades da caneca azul mais barata no meu carrinho. | 12,1s | 6,1s | 100% | 100% |
| Kiln & Co (site de teste local): Preciso de um presente verde abaixo de $30 que eu possa comprar agora. O que vocês têm? | 11,7s | 9,0s | 100% | 100% |
| Pergunta | Sem WebMCP: passos | Com WebMCP: passos | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Kiln & Co (site de teste local): Coloque no meu carrinho o bule mais caro que vocês vendem. | 6,0 | 3,0 | 100% | 100% |
| Kiln & Co (site de teste local): Coloque um Stoneware Teapot e um Speckled Bowl no meu carrinho e depois me diga o total do carrinho. | 6,0 | 3,3 | 100% | 100% |
| Kiln & Co (site de teste local): Coloque duas unidades da caneca azul mais barata no meu carrinho. | 5,0 | 3,0 | 100% | 100% |
| Kiln & Co (site de teste local): Preciso de um presente verde abaixo de $30 que eu possa comprar agora. O que vocês têm? | 4,0 | 3,0 | 100% | 100% |
| Pergunta | Sem WebMCP: custo | Com WebMCP: custo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Kiln & Co (site de teste local): Coloque no meu carrinho o bule mais caro que vocês vendem. | $0,01 | $0,0022 | 100% | 100% |
| Kiln & Co (site de teste local): Coloque um Stoneware Teapot e um Speckled Bowl no meu carrinho e depois me diga o total do carrinho. | $0,013 | $0,0031 | 100% | 100% |
| Kiln & Co (site de teste local): Coloque duas unidades da caneca azul mais barata no meu carrinho. | $0,0092 | $0,0023 | 100% | 100% |
| Kiln & Co (site de teste local): Preciso de um presente verde abaixo de $30 que eu possa comprar agora. O que vocês têm? | $0,0069 | $0,0033 | 100% | 100% |
As 4 ferramentas WebMCP que Kiln & Co registra
como o agente as viu · 2026-11-08
| Ferramenta | Descrição | Chamada |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"category":"teapot","sort":"price_desc"}) search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) search_products({"color":"green","max_price":30}) search_products({"color":"green"}) | Chamada |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Chamada |
get_cart | Return the cart: items with quantity and the total in USD. get_cart({}) | Chamada |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Não chamada |
- gemini-3.8-flash, raciocínio medium, Chrome headless. Mesmo prompt e mesmo limite de passos nos dois cenários; 3 execuções por pergunta e cenário.
- Sem WebMCP: um agente baseado em snapshots do DOM, que lê, clica e preenche.
- Com WebMCP: só as ferramentas que a página registra (as dela, ou as do webmcpx nos nossos sites de teste).
- Avaliado pelos fatos na resposta e pelo estado da página. Sem LLM como juiz.
- Um site de teste local: as ferramentas vêm do webmcpx.
- 30 perguntas em 6 sites, 27 só de leitura; as maiores economias vêm das ferramentas de busca dos próprios sites.
- 3 execuções por pergunta e braço: 3 de 3 é evidência, não prova de 100%.
- Tempo é o loop do agente depois de a página carregar; custo é o uso de API do modelo a preços de tabela datados, com cache.
- Cada execução que falhou diz o motivo nos resultados (bloqueio do site, resposta fora da página, limite de passos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumOrbit docs local
“Qual variável de ambiente faz o Orbit ler o arquivo de configuração de outro caminho?”
2.7×
menos tokens
3,4k → 1,3k tokens
| Pergunta | Sem WebMCP: tokens | Com WebMCP: tokens | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Orbit docs (site de teste local): Qual variável de ambiente faz o Orbit ler o arquivo de configuração de outro caminho? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (site de teste local): Meu passo de CI falhou com o código de saída 4 do orbit. O que isso significa? | 3,4k | 1,3k | 100% | 100% |
| Pergunta | Sem WebMCP: tempo | Com WebMCP: tempo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Orbit docs (site de teste local): Qual variável de ambiente faz o Orbit ler o arquivo de configuração de outro caminho? | 6,9s | 5,2s | 100% | 100% |
| Orbit docs (site de teste local): Meu passo de CI falhou com o código de saída 4 do orbit. O que isso significa? | 5,1s | 5,8s | 100% | 100% |
| Pergunta | Sem WebMCP: passos | Com WebMCP: passos | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Orbit docs (site de teste local): Qual variável de ambiente faz o Orbit ler o arquivo de configuração de outro caminho? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (site de teste local): Meu passo de CI falhou com o código de saída 4 do orbit. O que isso significa? | 2,0 | 2,0 | 100% | 100% |
| Pergunta | Sem WebMCP: custo | Com WebMCP: custo | Sem WebMCP: resolvida | Com WebMCP: resolvida |
|---|---|---|---|---|
| Orbit docs (site de teste local): Qual variável de ambiente faz o Orbit ler o arquivo de configuração de outro caminho? | $0,003 | $0,0013 | 100% | 100% |
| Orbit docs (site de teste local): Meu passo de CI falhou com o código de saída 4 do orbit. O que isso significa? | $0,0031 | $0,0015 | 100% | 100% |
As 3 ferramentas WebMCP que Orbit docs registra
como o agente as viu · 2026-11-08
| Ferramenta | Descrição | Chamada |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"environment variable config path"}) search_page({"query":"exit code 4"}) | Chamada |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Não chamada |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Não chamada |
- gemini-3.8-flash, raciocínio medium, Chrome headless. Mesmo prompt e mesmo limite de passos nos dois cenários; 3 execuções por pergunta e cenário.
- Sem WebMCP: um agente baseado em snapshots do DOM, que lê, clica e preenche.
- Com WebMCP: só as ferramentas que a página registra (as dela, ou as do webmcpx nos nossos sites de teste).
- Avaliado pelos fatos na resposta e pelo estado da página. Sem LLM como juiz.
- Um site de teste local: as ferramentas vêm do webmcpx.
- 30 perguntas em 6 sites, 27 só de leitura; as maiores economias vêm das ferramentas de busca dos próprios sites.
- 3 execuções por pergunta e braço: 3 de 3 é evidência, não prova de 100%.
- Tempo é o loop do agente depois de a página carregar; custo é o uso de API do modelo a preços de tabela datados, com cache.
- Cada execução que falhou diz o motivo nos resultados (bloqueio do site, resposta fora da página, limite de passos…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort medium