Benchmark webmcpx : Gemini 3.8 Flash
Classement
Ce que WebMCP fait économiser, modèle par modèle
Un agent lit, clique et remplit à partir de snapshots de la page ; l’autre appelle les outils WebMCP du site. Choisissez un modèle ; les plus fortes économies d’abord.
Classé par taux de réussite avec WebMCP, puis par coût par exécution.
Cas sélectionnés, 21 sur 30 : les questions où WebMCP a utilisé au plus la moitié des tokens. Tous les résultats sont publics ; vous pouvez aussi relancer le benchmark avec just bench.
Gemini 3.8 Flash (Google)
Cloudflare
“Combien de requêtes par jour mes Workers peuvent-ils traiter sur l’offre Workers Free de Cloudflare avant d’atteindre la limite ?”
developers.cloudflare.com (ouvre Cloudflare)46×
moins de tokens
72k → 1,6k tokens
| Question | Sans WebMCP : tokens | Avec WebMCP : tokens | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Cloudflare : Combien de requêtes par jour mes Workers peuvent-ils traiter sur l’offre Workers Free de Cloudflare avant d’atteindre la limite ? | 72k | 1,6k | 100% | 100% |
| Cloudflare : Quelle longueur peut avoir une clé dans Cloudflare Workers KV ? Je veux connaître la taille maximale d’une clé. | 41k | 1,5k | 100% | 100% |
| Cloudflare : Quelle est la taille maximale d’une valeur stockée dans Cloudflare Workers KV ? | 34k | 1,4k | 100% | 100% |
| Cloudflare : Je suis sur l’offre Workers Paid. Jusqu’à quelle taille une base Cloudflare D1 peut-elle grandir ? | 29k | 1,4k | 100% | 100% |
| Cloudflare : Quel est le plus gros message que je peux envoyer à une Cloudflare Queue ? Il me faut la limite de taille par message. | 42k | 4,9k | 100% | 100% |
| Question | Sans WebMCP : durée | Avec WebMCP : durée | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Cloudflare : Combien de requêtes par jour mes Workers peuvent-ils traiter sur l’offre Workers Free de Cloudflare avant d’atteindre la limite ? | 14,4s | 5,8s | 100% | 100% |
| Cloudflare : Quelle longueur peut avoir une clé dans Cloudflare Workers KV ? Je veux connaître la taille maximale d’une clé. | 40,3s | 6,8s | 100% | 100% |
| Cloudflare : Quelle est la taille maximale d’une valeur stockée dans Cloudflare Workers KV ? | 11,0s | 5,2s | 100% | 100% |
| Cloudflare : Je suis sur l’offre Workers Paid. Jusqu’à quelle taille une base Cloudflare D1 peut-elle grandir ? | 10,7s | 6,9s | 100% | 100% |
| Cloudflare : Quel est le plus gros message que je peux envoyer à une Cloudflare Queue ? Il me faut la limite de taille par message. | 14,8s | 12,9s | 100% | 100% |
| Question | Sans WebMCP : étapes | Avec WebMCP : étapes | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Cloudflare : Combien de requêtes par jour mes Workers peuvent-ils traiter sur l’offre Workers Free de Cloudflare avant d’atteindre la limite ? | 5,7 | 2,0 | 100% | 100% |
| Cloudflare : Quelle longueur peut avoir une clé dans Cloudflare Workers KV ? Je veux connaître la taille maximale d’une clé. | 6,0 | 2,0 | 100% | 100% |
| Cloudflare : Quelle est la taille maximale d’une valeur stockée dans Cloudflare Workers KV ? | 5,3 | 2,0 | 100% | 100% |
| Cloudflare : Je suis sur l’offre Workers Paid. Jusqu’à quelle taille une base Cloudflare D1 peut-elle grandir ? | 4,7 | 2,0 | 100% | 100% |
| Cloudflare : Quel est le plus gros message que je peux envoyer à une Cloudflare Queue ? Il me faut la limite de taille par message. | 6,0 | 3,7 | 100% | 100% |
| Question | Sans WebMCP : coût | Avec WebMCP : coût | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Cloudflare : Combien de requêtes par jour mes Workers peuvent-ils traiter sur l’offre Workers Free de Cloudflare avant d’atteindre la limite ? | $0,03 | $0,0017 | 100% | 100% |
| Cloudflare : Quelle longueur peut avoir une clé dans Cloudflare Workers KV ? Je veux connaître la taille maximale d’une clé. | $0,015 | $0,0017 | 100% | 100% |
| Cloudflare : Quelle est la taille maximale d’une valeur stockée dans Cloudflare Workers KV ? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare : Je suis sur l’offre Workers Paid. Jusqu’à quelle taille une base Cloudflare D1 peut-elle grandir ? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare : Quel est le plus gros message que je peux envoyer à une Cloudflare Queue ? Il me faut la limite de taille par message. | $0,017 | $0,0044 | 100% | 100% |
Cloudflare enregistre 2 outils WebMCP
tels que l’agent les a vus · 2026-11-08
| Outil | Description | Appelé |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan request limit per day"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"D1 limits maximum database size paid plan"}) search({"query":"Queues limits message size"}) | Appelé |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Non appelé |
- gemini-3.8-flash, raisonnement medium, Chrome headless. Même prompt et même limite d’étapes dans les deux variantes ; 3 exécutions par question et par variante.
- Sans WebMCP : un agent qui lit, clique et remplit à partir de snapshots du DOM.
- Avec WebMCP : uniquement les outils que la page enregistre (les siens, ou ceux de webmcpx sur nos sites de test).
- Notation sur les faits présents dans la réponse et sur l’état de la page. Pas de LLM juge.
- Un site en ligne : il fournit ses propres outils WebMCP.
- 30 questions sur 6 sites, dont 27 en lecture seule ; les plus gros gains viennent des outils de recherche des sites eux-mêmes.
- 3 exécutions par question et par bras : 3 sur 3 est un indice, pas la preuve de 100 %.
- Le temps est la boucle de l’agent après le chargement de la page ; le coût est l’usage API du modèle aux tarifs datés, cache compris.
- Chaque exécution échouée dit pourquoi dans les résultats (blocage du site, réponse hors page, limite d’étapes…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumspecification.website
“Selon cette spec, quelle longueur doit faire la meta description d’une page ?”
specification.website (ouvre specification.website)13×
moins de tokens
64k → 4,9k tokens
| Question | Sans WebMCP : tokens | Avec WebMCP : tokens | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| specification.website : Selon cette spec, quelle longueur doit faire la meta description d’une page ? | 64k | 4,9k | 100% | 100% |
| specification.website : Quel ratio de contraste minimal la spec de ce site exige-t-elle pour le texte courant de taille normale ? | 50k | 4,8k | 100% | 100% |
| specification.website : Quelle taille minimale de zone tactile cette spec exige-t-elle pour les boutons et autres contrôles interactifs ? | 47k | 5,4k | 100% | 100% |
| specification.website : Selon cette spec, quel max-age dois-je mettre dans mon header HSTS en production ? | 22k | 4,4k | 100% | 100% |
| specification.website : Quelle valeur d’INP cette spec fixe-t-elle comme objectif pour une bonne réactivité ? | 23k | 4,8k | 100% | 100% |
| Question | Sans WebMCP : durée | Avec WebMCP : durée | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| specification.website : Selon cette spec, quelle longueur doit faire la meta description d’une page ? | 26,1s | 7,3s | 100% | 100% |
| specification.website : Quel ratio de contraste minimal la spec de ce site exige-t-elle pour le texte courant de taille normale ? | 21,7s | 7,1s | 100% | 100% |
| specification.website : Quelle taille minimale de zone tactile cette spec exige-t-elle pour les boutons et autres contrôles interactifs ? | 24,0s | 8,1s | 100% | 100% |
| specification.website : Selon cette spec, quel max-age dois-je mettre dans mon header HSTS en production ? | 14,1s | 7,2s | 100% | 100% |
| specification.website : Quelle valeur d’INP cette spec fixe-t-elle comme objectif pour une bonne réactivité ? | 13,9s | 6,8s | 100% | 100% |
| Question | Sans WebMCP : étapes | Avec WebMCP : étapes | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| specification.website : Selon cette spec, quelle longueur doit faire la meta description d’une page ? | 10,0 | 3,0 | 100% | 100% |
| specification.website : Quel ratio de contraste minimal la spec de ce site exige-t-elle pour le texte courant de taille normale ? | 8,0 | 3,0 | 100% | 100% |
| specification.website : Quelle taille minimale de zone tactile cette spec exige-t-elle pour les boutons et autres contrôles interactifs ? | 9,0 | 3,0 | 100% | 100% |
| specification.website : Selon cette spec, quel max-age dois-je mettre dans mon header HSTS en production ? | 6,0 | 3,0 | 100% | 100% |
| specification.website : Quelle valeur d’INP cette spec fixe-t-elle comme objectif pour une bonne réactivité ? | 6,0 | 3,0 | 100% | 100% |
| Question | Sans WebMCP : coût | Avec WebMCP : coût | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| specification.website : Selon cette spec, quelle longueur doit faire la meta description d’une page ? | $0,025 | $0,0045 | 100% | 100% |
| specification.website : Quel ratio de contraste minimal la spec de ce site exige-t-elle pour le texte courant de taille normale ? | $0,025 | $0,0043 | 100% | 100% |
| specification.website : Quelle taille minimale de zone tactile cette spec exige-t-elle pour les boutons et autres contrôles interactifs ? | $0,022 | $0,0052 | 100% | 100% |
| specification.website : Selon cette spec, quel max-age dois-je mettre dans mon header HSTS en production ? | $0,015 | $0,0042 | 100% | 100% |
| specification.website : Quelle valeur d’INP cette spec fixe-t-elle comme objectif pour une bonne réactivité ? | $0,013 | $0,0043 | 100% | 100% |
specification.website enregistre 5 outils WebMCP
tels que l’agent les a vus · 2026-11-08
| Outil | Description | Appelé |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP"}) | Appelé |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) | Appelé |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Non appelé |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Non appelé |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Non appelé |
- gemini-3.8-flash, raisonnement medium, Chrome headless. Même prompt et même limite d’étapes dans les deux variantes ; 3 exécutions par question et par variante.
- Sans WebMCP : un agent qui lit, clique et remplit à partir de snapshots du DOM.
- Avec WebMCP : uniquement les outils que la page enregistre (les siens, ou ceux de webmcpx sur nos sites de test).
- Notation sur les faits présents dans la réponse et sur l’état de la page. Pas de LLM juge.
- Un site en ligne : il fournit ses propres outils WebMCP.
- 30 questions sur 6 sites, dont 27 en lecture seule ; les plus gros gains viennent des outils de recherche des sites eux-mêmes.
- 3 exécutions par question et par bras : 3 sur 3 est un indice, pas la preuve de 100 %.
- Le temps est la boucle de l’agent après le chargement de la page ; le coût est l’usage API du modèle aux tarifs datés, cache compris.
- Chaque exécution échouée dit pourquoi dans les résultats (blocage du site, réponse hors page, limite d’étapes…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumNotion
“Je pagine des résultats de l’API Notion. Quel est le plus grand page_size que je peux demander par appel sur les endpoints de liste ?”
developers.notion.com (ouvre Notion)8.2×
moins de tokens
29k → 3,5k tokens
| Question | Sans WebMCP : tokens | Avec WebMCP : tokens | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Notion : Je pagine des résultats de l’API Notion. Quel est le plus grand page_size que je peux demander par appel sur les endpoints de liste ? | 29k | 3,5k | 100% | 100% |
| Notion : Quand mon intégration Notion envoie trop de requêtes, quelle chaîne de code d’erreur l’API met-elle dans le corps de la réponse ? | 68k | 9,2k | 100% | 100% |
| Notion : Combien de requêtes par minute l’API Notion autorise-t-elle par connexion sur les offres autres que Business et Enterprise ? | 29k | 6,0k | 100% | 100% |
| Notion : J’écris de longs paragraphes dans une page Notion via l’API. Combien de caractères au maximum le contenu texte d’un seul objet rich text peut-il avoir dans une requête ? | 49k | 16k | 100% | 100% |
| Notion : Quel est le plus gros fichier que je peux envoyer à l’API Notion en upload en une seule partie, avant de devoir passer à un upload en plusieurs parties ? | 71k | 32k | 100% | 100% |
| Question | Sans WebMCP : durée | Avec WebMCP : durée | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Notion : Je pagine des résultats de l’API Notion. Quel est le plus grand page_size que je peux demander par appel sur les endpoints de liste ? | 15,8s | 7,6s | 100% | 100% |
| Notion : Quand mon intégration Notion envoie trop de requêtes, quelle chaîne de code d’erreur l’API met-elle dans le corps de la réponse ? | 23,0s | 11,5s | 100% | 100% |
| Notion : Combien de requêtes par minute l’API Notion autorise-t-elle par connexion sur les offres autres que Business et Enterprise ? | 13,5s | 7,0s | 100% | 100% |
| Notion : J’écris de longs paragraphes dans une page Notion via l’API. Combien de caractères au maximum le contenu texte d’un seul objet rich text peut-il avoir dans une requête ? | 20,5s | 13,3s | 100% | 100% |
| Notion : Quel est le plus gros fichier que je peux envoyer à l’API Notion en upload en une seule partie, avant de devoir passer à un upload en plusieurs parties ? | 23,1s | 18,6s | 100% | 100% |
| Question | Sans WebMCP : étapes | Avec WebMCP : étapes | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Notion : Je pagine des résultats de l’API Notion. Quel est le plus grand page_size que je peux demander par appel sur les endpoints de liste ? | 6,7 | 3,0 | 100% | 100% |
| Notion : Quand mon intégration Notion envoie trop de requêtes, quelle chaîne de code d’erreur l’API met-elle dans le corps de la réponse ? | 8,0 | 4,7 | 100% | 100% |
| Notion : Combien de requêtes par minute l’API Notion autorise-t-elle par connexion sur les offres autres que Business et Enterprise ? | 5,3 | 3,0 | 100% | 100% |
| Notion : J’écris de longs paragraphes dans une page Notion via l’API. Combien de caractères au maximum le contenu texte d’un seul objet rich text peut-il avoir dans une requête ? | 7,3 | 4,3 | 100% | 100% |
| Notion : Quel est le plus gros fichier que je peux envoyer à l’API Notion en upload en une seule partie, avant de devoir passer à un upload en plusieurs parties ? | 8,7 | 7,0 | 100% | 100% |
| Question | Sans WebMCP : coût | Avec WebMCP : coût | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Notion : Je pagine des résultats de l’API Notion. Quel est le plus grand page_size que je peux demander par appel sur les endpoints de liste ? | $0,016 | $0,0033 | 100% | 100% |
| Notion : Quand mon intégration Notion envoie trop de requêtes, quelle chaîne de code d’erreur l’API met-elle dans le corps de la réponse ? | $0,026 | $0,0079 | 100% | 100% |
| Notion : Combien de requêtes par minute l’API Notion autorise-t-elle par connexion sur les offres autres que Business et Enterprise ? | $0,016 | $0,0048 | 100% | 100% |
| Notion : J’écris de longs paragraphes dans une page Notion via l’API. Combien de caractères au maximum le contenu texte d’un seul objet rich text peut-il avoir dans une requête ? | $0,022 | $0,0097 | 100% | 100% |
| Notion : Quel est le plus gros fichier que je peux envoyer à l’API Notion en upload en une seule partie, avant de devoir passer à un upload en plusieurs parties ? | $0,027 | $0,017 | 100% | 100% |
Notion enregistre 5 outils WebMCP
tels que l’agent les a vus · 2026-11-08
| Outil | Description | Appelé |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"pagination page_size"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"errors status code rate limited"}) search_docs({"query":"rate limits requests per minute"}) search_docs({"query":"rich text maximum characters limit"}) search_docs({"query":"\"Size limits\" \"text.content\""}) search_docs({"query":"upload single-part multi-part file"}) search_docs({"query":"working-with-files-and-media single_part"}) | Appelé |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/file-upload"}) read_page({"path":"https://developers.notion.com/guides/data-apis/sending-larger-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/uploading-small-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/working-with-files-and-media"}) | Appelé |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Non appelé |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Non appelé |
read_skill | Read a Notion Docs agent skill document by name. | –Non appelé |
- gemini-3.8-flash, raisonnement medium, Chrome headless. Même prompt et même limite d’étapes dans les deux variantes ; 3 exécutions par question et par variante.
- Sans WebMCP : un agent qui lit, clique et remplit à partir de snapshots du DOM.
- Avec WebMCP : uniquement les outils que la page enregistre (les siens, ou ceux de webmcpx sur nos sites de test).
- Notation sur les faits présents dans la réponse et sur l’état de la page. Pas de LLM juge.
- Un site en ligne : il fournit ses propres outils WebMCP.
- 30 questions sur 6 sites, dont 27 en lecture seule ; les plus gros gains viennent des outils de recherche des sites eux-mêmes.
- 3 exécutions par question et par bras : 3 sur 3 est un indice, pas la preuve de 100 %.
- Le temps est la boucle de l’agent après le chargement de la page ; le coût est l’usage API du modèle aux tarifs datés, cache compris.
- Chaque exécution échouée dit pourquoi dans les résultats (blocage du site, réponse hors page, limite d’étapes…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumKiln & Co local
“Mets dans mon panier la théière la plus chère que vous vendez.”
5.9×
moins de tokens
12k → 2,1k tokens
| Question | Sans WebMCP : tokens | Avec WebMCP : tokens | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Kiln & Co (site de test local) : Mets dans mon panier la théière la plus chère que vous vendez. | 12k | 2,1k | 100% | 100% |
| Kiln & Co (site de test local) : Ajoute un Stoneware Teapot et un Speckled Bowl à mon panier, puis donne-moi le total du panier. | 16k | 2,9k | 100% | 100% |
| Kiln & Co (site de test local) : Ajoute à mon panier deux exemplaires du mug bleu le moins cher. | 10k | 2,2k | 100% | 100% |
| Kiln & Co (site de test local) : Il me faut un cadeau vert à moins de $30, disponible tout de suite. Qu’est-ce que vous avez ? | 7,3k | 2,6k | 100% | 100% |
| Question | Sans WebMCP : durée | Avec WebMCP : durée | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Kiln & Co (site de test local) : Mets dans mon panier la théière la plus chère que vous vendez. | 15,3s | 7,2s | 100% | 100% |
| Kiln & Co (site de test local) : Ajoute un Stoneware Teapot et un Speckled Bowl à mon panier, puis donne-moi le total du panier. | 14,0s | 8,0s | 100% | 100% |
| Kiln & Co (site de test local) : Ajoute à mon panier deux exemplaires du mug bleu le moins cher. | 12,1s | 6,1s | 100% | 100% |
| Kiln & Co (site de test local) : Il me faut un cadeau vert à moins de $30, disponible tout de suite. Qu’est-ce que vous avez ? | 11,7s | 9,0s | 100% | 100% |
| Question | Sans WebMCP : étapes | Avec WebMCP : étapes | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Kiln & Co (site de test local) : Mets dans mon panier la théière la plus chère que vous vendez. | 6,0 | 3,0 | 100% | 100% |
| Kiln & Co (site de test local) : Ajoute un Stoneware Teapot et un Speckled Bowl à mon panier, puis donne-moi le total du panier. | 6,0 | 3,3 | 100% | 100% |
| Kiln & Co (site de test local) : Ajoute à mon panier deux exemplaires du mug bleu le moins cher. | 5,0 | 3,0 | 100% | 100% |
| Kiln & Co (site de test local) : Il me faut un cadeau vert à moins de $30, disponible tout de suite. Qu’est-ce que vous avez ? | 4,0 | 3,0 | 100% | 100% |
| Question | Sans WebMCP : coût | Avec WebMCP : coût | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Kiln & Co (site de test local) : Mets dans mon panier la théière la plus chère que vous vendez. | $0,01 | $0,0022 | 100% | 100% |
| Kiln & Co (site de test local) : Ajoute un Stoneware Teapot et un Speckled Bowl à mon panier, puis donne-moi le total du panier. | $0,013 | $0,0031 | 100% | 100% |
| Kiln & Co (site de test local) : Ajoute à mon panier deux exemplaires du mug bleu le moins cher. | $0,0092 | $0,0023 | 100% | 100% |
| Kiln & Co (site de test local) : Il me faut un cadeau vert à moins de $30, disponible tout de suite. Qu’est-ce que vous avez ? | $0,0069 | $0,0033 | 100% | 100% |
Kiln & Co enregistre 4 outils WebMCP
tels que l’agent les a vus · 2026-11-08
| Outil | Description | Appelé |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"category":"teapot","sort":"price_desc"}) search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) search_products({"color":"green","max_price":30}) search_products({"color":"green"}) | Appelé |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Appelé |
get_cart | Return the cart: items with quantity and the total in USD. get_cart({}) | Appelé |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Non appelé |
- gemini-3.8-flash, raisonnement medium, Chrome headless. Même prompt et même limite d’étapes dans les deux variantes ; 3 exécutions par question et par variante.
- Sans WebMCP : un agent qui lit, clique et remplit à partir de snapshots du DOM.
- Avec WebMCP : uniquement les outils que la page enregistre (les siens, ou ceux de webmcpx sur nos sites de test).
- Notation sur les faits présents dans la réponse et sur l’état de la page. Pas de LLM juge.
- Un site de test local : ses outils viennent de webmcpx.
- 30 questions sur 6 sites, dont 27 en lecture seule ; les plus gros gains viennent des outils de recherche des sites eux-mêmes.
- 3 exécutions par question et par bras : 3 sur 3 est un indice, pas la preuve de 100 %.
- Le temps est la boucle de l’agent après le chargement de la page ; le coût est l’usage API du modèle aux tarifs datés, cache compris.
- Chaque exécution échouée dit pourquoi dans les résultats (blocage du site, réponse hors page, limite d’étapes…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumOrbit docs local
“Quelle variable d’environnement fait lire à Orbit son fichier de configuration depuis un autre chemin ?”
2.7×
moins de tokens
3,4k → 1,3k tokens
| Question | Sans WebMCP : tokens | Avec WebMCP : tokens | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Orbit docs (site de test local) : Quelle variable d’environnement fait lire à Orbit son fichier de configuration depuis un autre chemin ? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (site de test local) : Mon étape de CI a échoué avec le code de sortie orbit 4. Qu’est-ce que ça veut dire ? | 3,4k | 1,3k | 100% | 100% |
| Question | Sans WebMCP : durée | Avec WebMCP : durée | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Orbit docs (site de test local) : Quelle variable d’environnement fait lire à Orbit son fichier de configuration depuis un autre chemin ? | 6,9s | 5,2s | 100% | 100% |
| Orbit docs (site de test local) : Mon étape de CI a échoué avec le code de sortie orbit 4. Qu’est-ce que ça veut dire ? | 5,1s | 5,8s | 100% | 100% |
| Question | Sans WebMCP : étapes | Avec WebMCP : étapes | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Orbit docs (site de test local) : Quelle variable d’environnement fait lire à Orbit son fichier de configuration depuis un autre chemin ? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (site de test local) : Mon étape de CI a échoué avec le code de sortie orbit 4. Qu’est-ce que ça veut dire ? | 2,0 | 2,0 | 100% | 100% |
| Question | Sans WebMCP : coût | Avec WebMCP : coût | Sans WebMCP : résolu | Avec WebMCP : résolu |
|---|---|---|---|---|
| Orbit docs (site de test local) : Quelle variable d’environnement fait lire à Orbit son fichier de configuration depuis un autre chemin ? | $0,003 | $0,0013 | 100% | 100% |
| Orbit docs (site de test local) : Mon étape de CI a échoué avec le code de sortie orbit 4. Qu’est-ce que ça veut dire ? | $0,0031 | $0,0015 | 100% | 100% |
Orbit docs enregistre 3 outils WebMCP
tels que l’agent les a vus · 2026-11-08
| Outil | Description | Appelé |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"environment variable config path"}) search_page({"query":"exit code 4"}) | Appelé |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Non appelé |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Non appelé |
- gemini-3.8-flash, raisonnement medium, Chrome headless. Même prompt et même limite d’étapes dans les deux variantes ; 3 exécutions par question et par variante.
- Sans WebMCP : un agent qui lit, clique et remplit à partir de snapshots du DOM.
- Avec WebMCP : uniquement les outils que la page enregistre (les siens, ou ceux de webmcpx sur nos sites de test).
- Notation sur les faits présents dans la réponse et sur l’état de la page. Pas de LLM juge.
- Un site de test local : ses outils viennent de webmcpx.
- 30 questions sur 6 sites, dont 27 en lecture seule ; les plus gros gains viennent des outils de recherche des sites eux-mêmes.
- 3 exécutions par question et par bras : 3 sur 3 est un indice, pas la preuve de 100 %.
- Le temps est la boucle de l’agent après le chargement de la page ; le coût est l’usage API du modèle aux tarifs datés, cache compris.
- Chaque exécution échouée dit pourquoi dans les résultats (blocage du site, réponse hors page, limite d’étapes…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort medium