webmcpx-Benchmark: Gemini 4 Argon
Rangliste
Wie viel WebMCP spart, Modell für Modell
Ein Agent liest, klickt und füllt Formulare anhand von Seiten-Snapshots aus; der andere ruft die WebMCP-Tools der Website auf. Wählen Sie ein Modell; größte Einsparungen zuerst.
Sortiert nach Erfolg mit WebMCP, dann nach Kosten pro Lauf.
Ausgewählte Fälle: 21 von 30 Fragen, bei denen WebMCP höchstens die Hälfte der Tokens brauchte. Alle Ergebnisse sind öffentlich, oder Sie führen den Benchmark selbst mit just bench aus.
Gemini 4 Argon (Google)
Cloudflare
“Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift?”
developers.cloudflare.com (öffnet Cloudflare)42×
weniger Tokens
62k → 1,5k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | 62k | 1,5k | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | 44k | 1,4k | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | 41k | 1,4k | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | 41k | 1,5k | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | 42k | 15k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | 121,6s | 40,8s | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | 71,4s | 38,4s | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | 99,0s | 19,6s | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | 55,3s | 32,1s | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | 550,5s | 120,6s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | 5,3 | 2,0 | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | 6,0 | 6,7 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | $0,064 | $0,0037 | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | $0,041 | $0,0037 | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | $0,036 | $0,0035 | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | $0,042 | $0,0036 | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | $0,043 | $0,028 | 100% | 100% |
Cloudflare registriert 2 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan requests per day limit"}) search({"query":"D1 limits maximum database size Workers Paid"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Cloudflare Queues limits message size"}) search({"query":"\"Maximum message size\" queues OR \"Message size\" queues KB MB"}) search({"query":"\"128 KB\" OR \"256 KB\" OR \"64 KB\" queues limits"}) search({"query":"\"128 KB\" queues metadata serialization"}) search({"query":"\"Maximum messages per sendBatch call\" \"Message size\""}) search({"query":"\"256KB in total\""}) | Genutzt |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Nicht genutzt |
- gemini-4-argon, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine Live-Website: Sie liefert eigene WebMCP-Tools mit.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumNotion
“Wie viele Requests pro Minute erlaubt die Notion API pro Verbindung in Plänen außer Business und Enterprise?”
developers.notion.com (öffnet Notion)17×
weniger Tokens
24k → 1,4k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Wie viele Requests pro Minute erlaubt die Notion API pro Verbindung in Plänen außer Business und Enterprise? | 24k | 1,4k | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | 22k | 3,5k | 100% | 100% |
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | 24k | 6,1k | 100% | 100% |
| Notion: Wenn meine Notion-Integration zu viele Requests sendet: Welchen Fehlercode-String schreibt die API in den Response-Body? | 24k | 7,2k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Wie viele Requests pro Minute erlaubt die Notion API pro Verbindung in Plänen außer Business und Enterprise? | 158,7s | 28,7s | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | 151,0s | 51,5s | 100% | 100% |
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | 158,7s | 62,8s | 100% | 100% |
| Notion: Wenn meine Notion-Integration zu viele Requests sendet: Welchen Fehlercode-String schreibt die API in den Response-Body? | 163,8s | 72,4s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Wie viele Requests pro Minute erlaubt die Notion API pro Verbindung in Plänen außer Business und Enterprise? | 6,0 | 2,0 | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | 6,0 | 3,0 | 100% | 100% |
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | 6,0 | 3,0 | 100% | 100% |
| Notion: Wenn meine Notion-Integration zu viele Requests sendet: Welchen Fehlercode-String schreibt die API in den Response-Body? | 6,0 | 3,7 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Wie viele Requests pro Minute erlaubt die Notion API pro Verbindung in Plänen außer Business und Enterprise? | $0,034 | $0,0034 | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | $0,033 | $0,0081 | 100% | 100% |
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | $0,035 | $0,014 | 100% | 100% |
| Notion: Wenn meine Notion-Integration zu viele Requests sendet: Welchen Fehlercode-String schreibt die API in den Response-Body? | $0,035 | $0,017 | 100% | 100% |
Notion registriert 5 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"requests per minute connection Business Enterprise"}) search_docs({"query":"page_size pagination"}) search_docs({"query":"rich text object character limit request limits"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"Request limits status codes rate_limited"}) | Genutzt |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) | Genutzt |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Nicht genutzt |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Nicht genutzt |
read_skill | Read a Notion Docs agent skill document by name. | –Nicht genutzt |
- gemini-4-argon, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine Live-Website: Sie liefert eigene WebMCP-Tools mit.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumspecification.website
“Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein?”
specification.website (öffnet specification.website)6.1×
weniger Tokens
30k → 4,9k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | 30k | 4,9k | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | 22k | 4,5k | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | 23k | 4,7k | 100% | 100% |
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | 23k | 4,7k | 100% | 100% |
| specification.website: Welche Mindestgröße für Touch-Ziele verlangt diese Spec bei Buttons und anderen interaktiven Elementen? | 24k | 5,6k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | 126,7s | 70,5s | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | 140,6s | 50,5s | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | 105,5s | 56,0s | 100% | 100% |
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | 79,6s | 45,5s | 100% | 100% |
| specification.website: Welche Mindestgröße für Touch-Ziele verlangt diese Spec bei Buttons und anderen interaktiven Elementen? | 195,8s | 52,4s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Welche Mindestgröße für Touch-Ziele verlangt diese Spec bei Buttons und anderen interaktiven Elementen? | 6,0 | 3,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | $0,033 | $0,011 | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | $0,028 | $0,011 | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | $0,027 | $0,01 | 100% | 100% |
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | $0,03 | $0,01 | 100% | 100% |
| specification.website: Welche Mindestgröße für Touch-Ziele verlangt diese Spec bei Buttons und anderen interaktiven Elementen? | $0,029 | $0,014 | 100% | 100% |
specification.website registriert 5 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP responsiveness"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) | Genutzt |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) | Genutzt |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Nicht genutzt |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Nicht genutzt |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Nicht genutzt |
- gemini-4-argon, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine Live-Website: Sie liefert eigene WebMCP-Tools mit.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumKiln & Co lokal
“Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme.”
4.7×
weniger Tokens
16k → 3,4k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | 16k | 3,4k | 100% | 100% |
| Kiln & Co (lokale Test-Website): Ich brauche ein grünes Geschenk unter $30, das ich sofort kaufen kann. Was haben Sie da? | 5,5k | 1,3k | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | 7,6k | 2,1k | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | 7,9k | 2,2k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | 89,0s | 32,2s | 100% | 100% |
| Kiln & Co (lokale Test-Website): Ich brauche ein grünes Geschenk unter $30, das ich sofort kaufen kann. Was haben Sie da? | 80,1s | 26,4s | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | 49,0s | 49,8s | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | 64,5s | 43,1s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | 6,0 | 3,0 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Ich brauche ein grünes Geschenk unter $30, das ich sofort kaufen kann. Was haben Sie da? | 3,3 | 2,0 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | 4,0 | 3,0 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | 4,0 | 3,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | $0,027 | $0,0079 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Ich brauche ein grünes Geschenk unter $30, das ich sofort kaufen kann. Was haben Sie da? | $0,013 | $0,0037 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | $0,017 | $0,005 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | $0,018 | $0,0057 | 100% | 100% |
Kiln & Co registriert 4 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({}) search_products({"color":"green","max_price":30}) search_products({"category":"teapot","sort":"price_desc"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) | Genutzt |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Genutzt |
get_cart | Return the cart: items with quantity and the total in USD. | –Nicht genutzt |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Nicht genutzt |
- gemini-4-argon, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine lokale Test-Website: Ihre Tools stammen von webmcpx.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumOrbit docs lokal
“Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das?”
2.7×
weniger Tokens
3,4k → 1,3k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | 3,4k | 1,7k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | 128,4s | 34,1s | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | 24,7s | 20,0s | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | 37,7s | 37,1s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | 2,0 | 2,3 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | $0,0077 | $0,0032 | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | $0,0076 | $0,0032 | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | $0,0073 | $0,0043 | 100% | 100% |
Orbit docs registriert 3 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"exit code 4"}) search_page({"query":"environment variable config file path"}) search_page({"query":"orbit deploy rollout strategies"}) search_page({"query":"--strategy"}) | Genutzt |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Nicht genutzt |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Nicht genutzt |
- gemini-4-argon, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine lokale Test-Website: Ihre Tools stammen von webmcpx.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort medium