webmcpx-Benchmark: Claude Opus 5.5
Rangliste
Wie viel WebMCP spart, Modell für Modell
Ein Agent liest, klickt und füllt Formulare anhand von Seiten-Snapshots aus; der andere ruft die WebMCP-Tools der Website auf. Wählen Sie ein Modell; größte Einsparungen zuerst.
Sortiert nach Erfolg mit WebMCP, dann nach Kosten pro Lauf.
Ausgewählte Fälle: 20 von 30 Fragen, bei denen WebMCP höchstens die Hälfte der Tokens brauchte. Alle Ergebnisse sind öffentlich, oder Sie führen den Benchmark selbst mit just bench aus.
Claude Opus 5.5 (Anthropic)
Cloudflare
“Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift?”
developers.cloudflare.com (öffnet Cloudflare)24×
weniger Tokens
69k → 2,9k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | 69k | 2,9k | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | 31k | 2,7k | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | 28k | 2,9k | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | 21k | 2,7k | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | 22k | 5,6k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | 6,3s | 4,5s | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | 5,0s | 4,7s | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | 4,7s | 5,4s | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | 4,0s | 3,8s | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | 5,4s | 8,2s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | 4,0 | 2,0 | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | 4,0 | 2,0 | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | 4,0 | 2,0 | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | 3,0 | 2,0 | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | 3,0 | 3,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | $0,11 | $0,014 | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | $0,057 | $0,012 | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | $0,03 | $0,01 | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | $0,036 | $0,011 | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | $0,055 | $0,021 | 100% | 100% |
Cloudflare registriert 2 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"limit":5,"query":"Workers Free plan requests per day limit"}) search({"query":"D1 limits maximum database size Workers Paid"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"limit":5,"query":"Queues limits message size"}) search({"limit":3,"query":"Queues message size 128 KB footnote metadata overhead"}) | Genutzt |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Nicht genutzt |
- claude-opus-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine Live-Website: Sie liefert eigene WebMCP-Tools mit.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumNotion
“Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben?”
developers.notion.com (öffnet Notion)7.0×
weniger Tokens
19k → 2,7k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | 19k | 2,7k | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | 22k | 4,9k | 100% | 100% |
| Notion: Wie groß darf eine Datei bei einem Single-Part-Upload an die Notion API höchstens sein, bevor ich auf einen Multi-Part-Upload umsteigen muss? | 19k | 4,9k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | 8,9s | 4,0s | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | 11,7s | 5,7s | 100% | 100% |
| Notion: Wie groß darf eine Datei bei einem Single-Part-Upload an die Notion API höchstens sein, bevor ich auf einen Multi-Part-Upload umsteigen muss? | 9,4s | 5,1s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | 4,0 | 2,0 | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | 5,0 | 2,7 | 100% | 100% |
| Notion: Wie groß darf eine Datei bei einem Single-Part-Upload an die Notion API höchstens sein, bevor ich auf einen Multi-Part-Upload umsteigen muss? | 3,7 | 3,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | $0,054 | $0,0076 | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | $0,047 | $0,017 | 100% | 100% |
| Notion: Wie groß darf eine Datei bei einem Single-Part-Upload an die Notion API höchstens sein, bevor ich auf einen Multi-Part-Upload umsteigen muss? | $0,051 | $0,011 | 100% | 100% |
Notion registriert 5 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"rich text object text content character limit request"}) search_docs({"query":"pagination page_size maximum"}) search_docs({"query":"file upload size limit single-part multi-part"}) search_docs({"query":"upload files larger than 20 MB multi-part"}) | Genutzt |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Nicht genutzt |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Nicht genutzt |
read_page | Read the full content of a Notion Docs documentation page as markdown. | –Nicht genutzt |
read_skill | Read a Notion Docs agent skill document by name. | –Nicht genutzt |
- claude-opus-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine Live-Website: Sie liefert eigene WebMCP-Tools mit.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumKiln & Co lokal
“Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme.”
4.4×
weniger Tokens
19k → 4,3k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | 19k | 4,3k | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | 12k | 3,7k | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | 7,7k | 3,8k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | 6,3s | 3,5s | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | 6,2s | 3,1s | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | 10,5s | 3,2s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | 5,0 | 3,0 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | 4,0 | 3,0 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | 3,0 | 3,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | $0,028 | $0,011 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | $0,024 | $0,0068 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | $0,021 | $0,0074 | 100% | 100% |
Kiln & Co registriert 4 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"teapot","sort":"price_desc"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) | Genutzt |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"sku":"TPT-01"}) add_to_cart({"sku":"BWL-01"}) add_to_cart({"sku":"TPT-02"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Genutzt |
get_cart | Return the cart: items with quantity and the total in USD. | –Nicht genutzt |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Nicht genutzt |
- claude-opus-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine lokale Test-Website: Ihre Tools stammen von webmcpx.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumspecification.website
“Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe?”
specification.website (öffnet specification.website)3.5×
weniger Tokens
25k → 7,3k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | 25k | 7,3k | 100% | 100% |
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | 24k | 7,3k | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | 22k | 7,4k | 100% | 100% |
| specification.website: Welche Mindestgröße für Touch-Ziele verlangt diese Spec bei Buttons und anderen interaktiven Elementen? | 23k | 8,5k | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | 15k | 6,6k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | 6,3s | 5,2s | 100% | 100% |
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | 6,4s | 5,1s | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | 17,2s | 6,0s | 100% | 100% |
| specification.website: Welche Mindestgröße für Touch-Ziele verlangt diese Spec bei Buttons und anderen interaktiven Elementen? | 7,4s | 6,7s | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | 4,9s | 3,7s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | 4,7 | 3,0 | 100% | 100% |
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | 5,0 | 3,0 | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | 4,0 | 3,0 | 100% | 100% |
| specification.website: Welche Mindestgröße für Touch-Ziele verlangt diese Spec bei Buttons und anderen interaktiven Elementen? | 4,7 | 3,0 | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | 4,0 | 3,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | $0,041 | $0,015 | 100% | 100% |
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | $0,033 | $0,018 | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | $0,064 | $0,02 | 100% | 100% |
| specification.website: Welche Mindestgröße für Touch-Ziele verlangt diese Spec bei Buttons und anderen interaktiven Elementen? | $0,038 | $0,018 | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | $0,02 | $0,013 | 100% | 100% |
specification.website registriert 5 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"limit":3,"query":"color contrast ratio text"}) search_spec({"limit":3,"query":"meta description length"}) search_spec({"limit":3,"query":"HSTS max-age"}) search_spec({"query":"tap target size"}) search_spec({"limit":3,"query":"INP Interaction to Next Paint"}) search_spec({"limit":5,"query":"Core Web Vitals responsiveness"}) | Genutzt |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"color-contrast"}) get_topic({"slug":"meta-description"}) get_topic({"slug":"hsts"}) get_topic({"slug":"touch-target-size"}) | Genutzt |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Nicht genutzt |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Nicht genutzt |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Nicht genutzt |
- claude-opus-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine Live-Website: Sie liefert eigene WebMCP-Tools mit.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumOrbit docs lokal
“Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das?”
2.3×
weniger Tokens
5,6k → 2,4k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | 5,6k | 2,4k | 100% | 100% |
| Orbit docs (lokale Test-Website): Wie viele frühere Releases behält Orbit standardmäßig für ein Rollback? | 5,4k | 2,4k | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | 5,4k | 2,4k | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | 5,5k | 2,4k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | 4,0s | 4,4s | 100% | 100% |
| Orbit docs (lokale Test-Website): Wie viele frühere Releases behält Orbit standardmäßig für ein Rollback? | 2,4s | 2,5s | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | 2,5s | 2,5s | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | 3,2s | 7,4s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (lokale Test-Website): Wie viele frühere Releases behält Orbit standardmäßig für ein Rollback? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | 2,0 | 2,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | $0,013 | $0,01 | 100% | 100% |
| Orbit docs (lokale Test-Website): Wie viele frühere Releases behält Orbit standardmäßig für ein Rollback? | $0,011 | $0,0095 | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | $0,017 | $0,0058 | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | $0,012 | $0,0071 | 100% | 100% |
Orbit docs registriert 3 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"exit code 4"}) search_page({"query":"past releases kept for rollback default"}) search_page({"query":"environment variable config file path"}) search_page({"query":"orbit deploy rollout strategy"}) | Genutzt |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Nicht genutzt |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Nicht genutzt |
- claude-opus-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine lokale Test-Website: Ihre Tools stammen von webmcpx.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort medium