webmcpx-Benchmark: Claude Haiku 5.5
Rangliste
Wie viel WebMCP spart, Modell für Modell
Ein Agent liest, klickt und füllt Formulare anhand von Seiten-Snapshots aus; der andere ruft die WebMCP-Tools der Website auf. Wählen Sie ein Modell; größte Einsparungen zuerst.
Sortiert nach Erfolg mit WebMCP, dann nach Kosten pro Lauf.
Ausgewählte Fälle: 20 von 30 Fragen, bei denen WebMCP höchstens die Hälfte der Tokens brauchte. Alle Ergebnisse sind öffentlich, oder Sie führen den Benchmark selbst mit just bench aus.
Claude Haiku 5.5 (Anthropic)
Cloudflare
“Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift?”
developers.cloudflare.com (öffnet Cloudflare)18×
weniger Tokens
49k → 2,7k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | 49k | 2,7k | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | 25k | 2,6k | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | 23k | 2,7k | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | 21k | 2,5k | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | 21k | 2,9k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | 4,5s | 3,6s | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | 3,5s | 3,5s | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | 2,9s | 3,2s | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | 2,9s | 2,8s | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | 3,2s | 3,3s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | 3,7 | 2,0 | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | 3,3 | 2,0 | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | 3,0 | 2,0 | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | 3,0 | 2,0 | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | 3,0 | 2,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Cloudflare: Wie viele Requests pro Tag schaffen meine Workers im Cloudflare-Plan Workers Free, bevor das Limit greift? | $0,0034 | $0,00029 | 100% | 100% |
| Cloudflare: Wie groß darf eine Nachricht an eine Cloudflare Queue höchstens sein? Ich brauche das Größenlimit pro Nachricht. | $0,0017 | $0,00031 | 100% | 100% |
| Cloudflare: Ich nutze den Plan Workers Paid. Wie groß darf eine einzelne Cloudflare-D1-Datenbank maximal werden? | $0,0009 | $0,00029 | 100% | 100% |
| Cloudflare: Wie groß darf ein einzelner Wert in Cloudflare Workers KV maximal sein? | $0,0014 | $0,00024 | 100% | 100% |
| Cloudflare: Wie lang darf ein Key in Cloudflare Workers KV sein? Ich suche die maximale Key-Größe. | $0,00099 | $0,00033 | 100% | 100% |
Cloudflare registriert 2 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"limit":5,"query":"Workers Free plan daily request limit"}) search({"limit":5,"query":"Cloudflare Queues maximum message size limit"}) search({"limit":5,"query":"D1 database maximum size limits Workers Paid"}) search({"limit":3,"query":"Workers KV maximum value size limit"}) search({"limit":5,"query":"Workers KV maximum key size limits"}) | Genutzt |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Nicht genutzt |
- claude-haiku-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine Live-Website: Sie liefert eigene WebMCP-Tools mit.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort mediumNotion
“Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben?”
developers.notion.com (öffnet Notion)16×
weniger Tokens
43k → 2,7k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | 43k | 2,7k | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | 37k | 2,8k | 100% | 100% |
| Notion: Wie viele Requests pro Minute erlaubt die Notion API pro Verbindung in Plänen außer Business und Enterprise? | 17k | 2,6k | 100% | 100% |
| Notion: Wenn meine Notion-Integration zu viele Requests sendet: Welchen Fehlercode-String schreibt die API in den Response-Body? | 17k | 5,9k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | 5,7s | 3,0s | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | 5,2s | 3,7s | 100% | 100% |
| Notion: Wie viele Requests pro Minute erlaubt die Notion API pro Verbindung in Plänen außer Business und Enterprise? | 3,5s | 2,0s | 100% | 100% |
| Notion: Wenn meine Notion-Integration zu viele Requests sendet: Welchen Fehlercode-String schreibt die API in den Response-Body? | 5,3s | 5,5s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | 4,3 | 2,0 | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | 4,3 | 2,0 | 100% | 100% |
| Notion: Wie viele Requests pro Minute erlaubt die Notion API pro Verbindung in Plänen außer Business und Enterprise? | 3,3 | 2,0 | 100% | 100% |
| Notion: Wenn meine Notion-Integration zu viele Requests sendet: Welchen Fehlercode-String schreibt die API in den Response-Body? | 3,7 | 2,7 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Notion: Ich schreibe lange Absätze über die API in eine Notion-Seite. Wie viele Zeichen darf der Textinhalt eines einzelnen Rich-Text-Objekts in einem Request höchstens haben? | $0,003 | $0,00026 | 100% | 100% |
| Notion: Ich paginiere durch Ergebnisse der Notion API. Welche page_size kann ich bei den List-Endpoints maximal pro Aufruf anfordern? | $0,0022 | $0,00027 | 100% | 100% |
| Notion: Wie viele Requests pro Minute erlaubt die Notion API pro Verbindung in Plänen außer Business und Enterprise? | $0,0011 | $0,00015 | 100% | 100% |
| Notion: Wenn meine Notion-Integration zu viele Requests sendet: Welchen Fehlercode-String schreibt die API in den Response-Body? | $0,0012 | $0,00056 | 100% | 100% |
Notion registriert 5 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"rich text maximum character length text content limit"}) search_docs({"query":"page_size pagination list endpoints maximum"}) search_docs({"query":"Notion API rate limits requests per minute plans"}) search_docs({"query":"rate limit error code response body"}) | Genutzt |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Nicht genutzt |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Nicht genutzt |
read_page | Read the full content of a Notion Docs documentation page as markdown. | –Nicht genutzt |
read_skill | Read a Notion Docs agent skill document by name. | –Nicht genutzt |
- claude-haiku-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine Live-Website: Sie liefert eigene WebMCP-Tools mit.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort mediumspecification.website
“Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein?”
specification.website (öffnet specification.website)4.2×
weniger Tokens
32k → 7,6k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | 32k | 7,6k | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | 28k | 7,4k | 100% | 100% |
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | 23k | 7,7k | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | 15k | 7,1k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | 5,0s | 2,8s | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | 7,1s | 5,5s | 100% | 100% |
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | 3,6s | 2,7s | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | 3,3s | 3,0s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | 5,7 | 3,0 | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | 5,3 | 3,0 | 100% | 100% |
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | 4,0 | 3,0 | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | 3,3 | 3,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| specification.website: Wie lang sollte die Meta-Description einer Seite laut dieser Spec sein? | $0,0015 | $0,00033 | 100% | 100% |
| specification.website: Welches max-age soll laut dieser Spec in meinem HSTS-Header für Produktion stehen? | $0,0016 | $0,00049 | 100% | 100% |
| specification.website: Welches Mindest-Kontrastverhältnis verlangt die Spec dieser Website für Fließtext in normaler Größe? | $0,0014 | $0,00053 | 100% | 100% |
| specification.website: Welchen INP-Wert setzt diese Spec als Ziel für gute Reaktionsfähigkeit? | $0,0012 | $0,00053 | 100% | 100% |
specification.website registriert 5 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"limit":5,"query":"meta description length"}) search_spec({"limit":5,"query":"HSTS max-age"}) search_spec({"limit":5,"query":"contrast ratio body text"}) search_spec({"limit":5,"query":"INP Interaction to Next Paint responsiveness"}) search_spec({"limit":5,"query":"Core Web Vitals performance targets"}) | Genutzt |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"limit":200,"slug":"hsts"}) get_topic({"slug":"color-contrast"}) | Genutzt |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Nicht genutzt |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Nicht genutzt |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Nicht genutzt |
- claude-haiku-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine Live-Website: Sie liefert eigene WebMCP-Tools mit.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort mediumKiln & Co lokal
“Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme.”
3.5×
weniger Tokens
22k → 6,2k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | 22k | 6,2k | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | 10k | 3,9k | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | 8,7k | 3,7k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | 4,7s | 3,4s | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | 4,3s | 2,5s | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | 2,7s | 2,2s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | 5,7 | 4,0 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | 3,3 | 3,0 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | 3,0 | 3,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Kiln & Co (lokale Test-Website): Leg eine Stoneware Teapot und eine Speckled Bowl in meinen Warenkorb und sag mir dann die Warenkorbsumme. | $0,00088 | $0,00032 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg zwei Stück der günstigsten blauen Tasse in meinen Warenkorb. | $0,00083 | $0,00022 | 100% | 100% |
| Kiln & Co (lokale Test-Website): Leg die teuerste Teekanne aus dem Sortiment in meinen Warenkorb. | $0,00049 | $0,00018 | 100% | 100% |
Kiln & Co registriert 4 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) search_products({"category":"teapot","sort":"price_desc"}) | Genutzt |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"sku":"TPT-01"}) add_to_cart({"sku":"BWL-01"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) add_to_cart({"sku":"TPT-02"}) | Genutzt |
get_cart | Return the cart: items with quantity and the total in USD. get_cart({}) | Genutzt |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Nicht genutzt |
- claude-haiku-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine lokale Test-Website: Ihre Tools stammen von webmcpx.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort mediumOrbit docs lokal
“Wie viele frühere Releases behält Orbit standardmäßig für ein Rollback?”
2.2×
weniger Tokens
5,4k → 2,4k Tokens
| Frage | Ohne WebMCP: Tokens | Mit WebMCP: Tokens | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Wie viele frühere Releases behält Orbit standardmäßig für ein Rollback? | 5,4k | 2,4k | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | 5,4k | 2,4k | 100% | 100% |
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | 5,5k | 2,4k | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | 5,5k | 2,5k | 100% | 100% |
| Frage | Ohne WebMCP: Zeit | Mit WebMCP: Zeit | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Wie viele frühere Releases behält Orbit standardmäßig für ein Rollback? | 2,1s | 2,5s | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | 1,6s | 1,7s | 100% | 100% |
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | 1,7s | 3,7s | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | 2,3s | 2,1s | 100% | 100% |
| Frage | Ohne WebMCP: Schritte | Mit WebMCP: Schritte | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Wie viele frühere Releases behält Orbit standardmäßig für ein Rollback? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | 2,0 | 2,0 | 100% | 100% |
| Frage | Ohne WebMCP: Kosten | Mit WebMCP: Kosten | Ohne WebMCP: gelöst | Mit WebMCP: gelöst |
|---|---|---|---|---|
| Orbit docs (lokale Test-Website): Wie viele frühere Releases behält Orbit standardmäßig für ein Rollback? | $0,00031 | $0,00019 | 100% | 100% |
| Orbit docs (lokale Test-Website): Mit welcher Umgebungsvariable liest Orbit seine Konfigurationsdatei aus einem anderen Pfad? | $0,0006 | $0,00015 | 100% | 100% |
| Orbit docs (lokale Test-Website): Mein CI-Schritt ist mit orbit-Exit-Code 4 fehlgeschlagen. Was bedeutet das? | $0,0003 | $0,00017 | 100% | 100% |
| Orbit docs (lokale Test-Website): Welche Rollout-Strategien kann ich bei orbit deploy wählen? | $0,00047 | $0,00019 | 100% | 100% |
Orbit docs registriert 3 WebMCP-Tools
so, wie der Agent sie sah · 2026-11-08
| Tool | Beschreibung | Genutzt |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"limit":5,"query":"past releases rollback default keep"}) search_page({"limit":5,"query":"environment variable config file path"}) search_page({"limit":5,"query":"exit code 4"}) search_page({"limit":5,"query":"orbit deploy rollout strategy"}) | Genutzt |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Nicht genutzt |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Nicht genutzt |
- claude-haiku-5-5, Reasoning medium, Headless Chrome. Gleicher Prompt und gleiches Schrittlimit in beiden Varianten; 3 Läufe pro Frage und Variante.
- Ohne WebMCP: ein DOM-Snapshot-Agent, der liest, klickt und Formulare ausfüllt.
- Mit WebMCP: nur die Tools, die die Seite registriert (eigene oder, auf unseren Testseiten, die von webmcpx).
- Bewertet anhand der Fakten in der Antwort und des Seitenzustands. Kein LLM-Judge.
- Eine lokale Test-Website: Ihre Tools stammen von webmcpx.
- 30 Fragen auf 6 Websites, 27 davon nur lesend; die größten Einsparungen kommen von den Suchwerkzeugen der Websites selbst.
- 3 Läufe pro Frage und Arm: 3 von 3 ist ein Hinweis, kein Beweis für 100 %.
- Zeit ist die Agentenschleife nach dem Laden der Seite; Kosten sind die API-Nutzung des Modells zu datierten Listenpreisen, inklusive Cache.
- Jeder fehlgeschlagene Lauf nennt den Grund in den Ergebnissen (Bot-Sperre, Antwort nicht von der Seite, Schrittlimit…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort medium