Benchmark webmcpx: Claude Opus 5.5
Peringkat
Seberapa banyak WebMCP menghemat, per model
Satu agent membaca, mengeklik, dan mengisi lewat snapshot halaman; yang lain memanggil tool WebMCP milik situs. Pilih model; penghematan terbesar ditampilkan lebih dulu.
Diurutkan menurut keberhasilan dengan WebMCP, lalu biaya per eksekusi.
Kasus pilihan: 20 dari 30 pertanyaan, yaitu yang menghabiskan paling banyak separuh token dengan WebMCP. Semua hasil terbuka untuk publik, atau jalankan sendiri dengan just bench.
Claude Opus 5.5 (Anthropic)
Cloudflare
“Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas?”
developers.cloudflare.com (membuka Cloudflare)24×
hemat token
69k → 2,9k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | 69k | 2,9k | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | 31k | 2,7k | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | 28k | 2,9k | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | 21k | 2,7k | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | 22k | 5,6k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | 6,3s | 4,5s | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | 5,0s | 4,7s | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | 4,7s | 5,4s | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | 4,0s | 3,8s | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | 5,4s | 8,2s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | 4,0 | 2,0 | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | 4,0 | 2,0 | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | 4,0 | 2,0 | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | 3,0 | 2,0 | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | 3,0 | 3,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | $0,11 | $0,014 | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | $0,057 | $0,012 | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | $0,03 | $0,01 | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | $0,036 | $0,011 | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | $0,055 | $0,021 | 100% | 100% |
2 tool WebMCP yang didaftarkan Cloudflare
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"limit":5,"query":"Workers Free plan requests per day limit"}) search({"query":"D1 limits maximum database size Workers Paid"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"limit":5,"query":"Queues limits message size"}) search({"limit":3,"query":"Queues message size 128 KB footnote metadata overhead"}) | Dipakai |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Tidak dipakai |
- claude-opus-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs live: menyediakan tool WebMCP-nya sendiri.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumNotion
“Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request?”
developers.notion.com (membuka Notion)7.0×
hemat token
19k → 2,7k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | 19k | 2,7k | 100% | 100% |
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | 22k | 4,9k | 100% | 100% |
| Notion: Berapa ukuran file terbesar yang bisa saya kirim ke Notion API dalam upload single-part sebelum harus beralih ke upload multi-part? | 19k | 4,9k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | 8,9s | 4,0s | 100% | 100% |
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | 11,7s | 5,7s | 100% | 100% |
| Notion: Berapa ukuran file terbesar yang bisa saya kirim ke Notion API dalam upload single-part sebelum harus beralih ke upload multi-part? | 9,4s | 5,1s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | 4,0 | 2,0 | 100% | 100% |
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | 5,0 | 2,7 | 100% | 100% |
| Notion: Berapa ukuran file terbesar yang bisa saya kirim ke Notion API dalam upload single-part sebelum harus beralih ke upload multi-part? | 3,7 | 3,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | $0,054 | $0,0076 | 100% | 100% |
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | $0,047 | $0,017 | 100% | 100% |
| Notion: Berapa ukuran file terbesar yang bisa saya kirim ke Notion API dalam upload single-part sebelum harus beralih ke upload multi-part? | $0,051 | $0,011 | 100% | 100% |
5 tool WebMCP yang didaftarkan Notion
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"rich text object text content character limit request"}) search_docs({"query":"pagination page_size maximum"}) search_docs({"query":"file upload size limit single-part multi-part"}) search_docs({"query":"upload files larger than 20 MB multi-part"}) | Dipakai |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Tidak dipakai |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Tidak dipakai |
read_page | Read the full content of a Notion Docs documentation page as markdown. | –Tidak dipakai |
read_skill | Read a Notion Docs agent skill document by name. | –Tidak dipakai |
- claude-opus-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs live: menyediakan tool WebMCP-nya sendiri.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumKiln & Co lokal
“Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya.”
4.4×
hemat token
19k → 4,3k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | 19k | 4,3k | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | 12k | 3,7k | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | 7,7k | 3,8k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | 6,3s | 3,5s | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | 6,2s | 3,1s | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | 10,5s | 3,2s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | 5,0 | 3,0 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | 4,0 | 3,0 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | 3,0 | 3,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | $0,028 | $0,011 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | $0,024 | $0,0068 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | $0,021 | $0,0074 | 100% | 100% |
4 tool WebMCP yang didaftarkan Kiln & Co
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"teapot","sort":"price_desc"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) | Dipakai |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"sku":"TPT-01"}) add_to_cart({"sku":"BWL-01"}) add_to_cart({"sku":"TPT-02"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Dipakai |
get_cart | Return the cart: items with quantity and the total in USD. | –Tidak dipakai |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Tidak dipakai |
- claude-opus-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs uji lokal: tool-nya berasal dari webmcpx.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumspecification.website
“Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal?”
specification.website (membuka specification.website)3.5×
hemat token
25k → 7,3k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | 25k | 7,3k | 100% | 100% |
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | 24k | 7,3k | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | 22k | 7,4k | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | 23k | 8,5k | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | 15k | 6,6k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | 6,3s | 5,2s | 100% | 100% |
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | 6,4s | 5,1s | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | 17,2s | 6,0s | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | 7,4s | 6,7s | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | 4,9s | 3,7s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | 4,7 | 3,0 | 100% | 100% |
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | 5,0 | 3,0 | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | 4,0 | 3,0 | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | 4,7 | 3,0 | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | 4,0 | 3,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | $0,041 | $0,015 | 100% | 100% |
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | $0,033 | $0,018 | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | $0,064 | $0,02 | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | $0,038 | $0,018 | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | $0,02 | $0,013 | 100% | 100% |
5 tool WebMCP yang didaftarkan specification.website
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"limit":3,"query":"color contrast ratio text"}) search_spec({"limit":3,"query":"meta description length"}) search_spec({"limit":3,"query":"HSTS max-age"}) search_spec({"query":"tap target size"}) search_spec({"limit":3,"query":"INP Interaction to Next Paint"}) search_spec({"limit":5,"query":"Core Web Vitals responsiveness"}) | Dipakai |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"color-contrast"}) get_topic({"slug":"meta-description"}) get_topic({"slug":"hsts"}) get_topic({"slug":"touch-target-size"}) | Dipakai |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Tidak dipakai |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Tidak dipakai |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Tidak dipakai |
- claude-opus-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs live: menyediakan tool WebMCP-nya sendiri.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumOrbit docs lokal
“Langkah CI saya gagal dengan exit code orbit 4. Apa artinya?”
2.3×
hemat token
5,6k → 2,4k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | 5,6k | 2,4k | 100% | 100% |
| Orbit docs (situs uji lokal): Secara default, berapa banyak rilis sebelumnya yang disimpan Orbit untuk rollback? | 5,4k | 2,4k | 100% | 100% |
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | 5,4k | 2,4k | 100% | 100% |
| Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy? | 5,5k | 2,4k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | 4,0s | 4,4s | 100% | 100% |
| Orbit docs (situs uji lokal): Secara default, berapa banyak rilis sebelumnya yang disimpan Orbit untuk rollback? | 2,4s | 2,5s | 100% | 100% |
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | 2,5s | 2,5s | 100% | 100% |
| Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy? | 3,2s | 7,4s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (situs uji lokal): Secara default, berapa banyak rilis sebelumnya yang disimpan Orbit untuk rollback? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy? | 2,0 | 2,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | $0,013 | $0,01 | 100% | 100% |
| Orbit docs (situs uji lokal): Secara default, berapa banyak rilis sebelumnya yang disimpan Orbit untuk rollback? | $0,011 | $0,0095 | 100% | 100% |
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | $0,017 | $0,0058 | 100% | 100% |
| Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy? | $0,012 | $0,0071 | 100% | 100% |
3 tool WebMCP yang didaftarkan Orbit docs
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"exit code 4"}) search_page({"query":"past releases kept for rollback default"}) search_page({"query":"environment variable config file path"}) search_page({"query":"orbit deploy rollout strategy"}) | Dipakai |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Tidak dipakai |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Tidak dipakai |
- claude-opus-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs uji lokal: tool-nya berasal dari webmcpx.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort medium