Langsung ke konten
Kembali ke halaman utama

Benchmark webmcpx: Claude Haiku 5.5

Peringkat

Seberapa banyak WebMCP menghemat, per model

Satu agent membaca, mengeklik, dan mengisi lewat snapshot halaman; yang lain memanggil tool WebMCP milik situs. Pilih model; penghematan terbesar ditampilkan lebih dulu.

Diurutkan menurut keberhasilan dengan WebMCP, lalu biaya per eksekusi.

Kasus pilihan: 20 dari 30 pertanyaan, yaitu yang menghabiskan paling banyak separuh token dengan WebMCP. Semua hasil terbuka untuk publik, atau jalankan sendiri dengan just bench.

Claude Haiku 5.5 (Anthropic)

Cloudflare

“Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas?”

developers.cloudflare.com (membuka Cloudflare)

18×

hemat token

49k → 2,7k token

Token per pertanyaan, token per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: tokenDengan WebMCP: tokenTanpa WebMCP: berhasilDengan WebMCP: berhasil
Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas?49k2,7k100%100%
Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan.25k2,6k100%100%
Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh?23k2,7k100%100%
Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV?21k2,5k100%100%
Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key.21k2,9k100%100%
Waktu per pertanyaan, detik per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: waktuDengan WebMCP: waktuTanpa WebMCP: berhasilDengan WebMCP: berhasil
Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas?4,5s3,6s100%100%
Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan.3,5s3,5s100%100%
Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh?2,9s3,2s100%100%
Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV?2,9s2,8s100%100%
Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key.3,2s3,3s100%100%
Langkah per pertanyaan, giliran model per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: langkahDengan WebMCP: langkahTanpa WebMCP: berhasilDengan WebMCP: berhasil
Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas?3,72,0100%100%
Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan.3,32,0100%100%
Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh?3,02,0100%100%
Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV?3,02,0100%100%
Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key.3,02,0100%100%
Biaya per pertanyaan, USD per tugas; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: biayaDengan WebMCP: biayaTanpa WebMCP: berhasilDengan WebMCP: berhasil
Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas?$0,0034$0,00029100%100%
Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan.$0,0017$0,00031100%100%
Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh?$0,0009$0,00029100%100%
Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV?$0,0014$0,00024100%100%
Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key.$0,00099$0,00033100%100%

2 tool WebMCP yang didaftarkan Cloudflare

seperti yang dilihat agent · 2026-11-08

ToolDeskripsiDipakai
search

Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature.

search({"limit":5,"query":"Workers Free plan daily request limit"})

search({"limit":5,"query":"Cloudflare Queues maximum message size limit"})

search({"limit":5,"query":"D1 database maximum size limits Workers Paid"})

search({"limit":3,"query":"Workers KV maximum value size limit"})

search({"limit":5,"query":"Workers KV maximum key size limits"})

 Dipakai
list-directories

Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating.

–Tidak dipakai
  • claude-haiku-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
  • Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
  • Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
  • Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
  • Situs live: menyediakan tool WebMCP-nya sendiri.
  • 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
  • 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
  • Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
  • Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
reproduksi sendiri 
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort medium

Notion

“Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request?”

developers.notion.com (membuka Notion)

16×

hemat token

43k → 2,7k token

Token per pertanyaan, token per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: tokenDengan WebMCP: tokenTanpa WebMCP: berhasilDengan WebMCP: berhasil
Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request?43k2,7k100%100%
Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list?37k2,8k100%100%
Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise?17k2,6k100%100%
Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons?17k5,9k100%100%
Waktu per pertanyaan, detik per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: waktuDengan WebMCP: waktuTanpa WebMCP: berhasilDengan WebMCP: berhasil
Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request?5,7s3,0s100%100%
Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list?5,2s3,7s100%100%
Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise?3,5s2,0s100%100%
Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons?5,3s5,5s100%100%
Langkah per pertanyaan, giliran model per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: langkahDengan WebMCP: langkahTanpa WebMCP: berhasilDengan WebMCP: berhasil
Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request?4,32,0100%100%
Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list?4,32,0100%100%
Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise?3,32,0100%100%
Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons?3,72,7100%100%
Biaya per pertanyaan, USD per tugas; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: biayaDengan WebMCP: biayaTanpa WebMCP: berhasilDengan WebMCP: berhasil
Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request?$0,003$0,00026100%100%
Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list?$0,0022$0,00027100%100%
Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise?$0,0011$0,00015100%100%
Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons?$0,0012$0,00056100%100%

5 tool WebMCP yang didaftarkan Notion

seperti yang dilihat agent · 2026-11-08

ToolDeskripsiDipakai
search_docs

Search the Notion Docs documentation for relevant pages and content.

search_docs({"query":"rich text maximum character length text content limit"})

search_docs({"query":"page_size pagination list endpoints maximum"})

search_docs({"query":"Notion API rate limits requests per minute plans"})

search_docs({"query":"rate limit error code response body"})

 Dipakai
get_site_overview

Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed.

–Tidak dipakai
navigate_page

Navigate the current browser tab to a Notion Docs documentation page.

–Tidak dipakai
read_page

Read the full content of a Notion Docs documentation page as markdown.

–Tidak dipakai
read_skill

Read a Notion Docs agent skill document by name.

–Tidak dipakai
  • claude-haiku-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
  • Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
  • Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
  • Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
  • Situs live: menyediakan tool WebMCP-nya sendiri.
  • 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
  • 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
  • Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
  • Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
reproduksi sendiri 
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort medium

specification.website

“Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman?”

specification.website (membuka specification.website)

4.2×

hemat token

32k → 7,6k token

Token per pertanyaan, token per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: tokenDengan WebMCP: tokenTanpa WebMCP: berhasilDengan WebMCP: berhasil
specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman?32k7,6k100%100%
specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi?28k7,4k100%100%
specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal?23k7,7k100%100%
specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik?15k7,1k100%100%
Waktu per pertanyaan, detik per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: waktuDengan WebMCP: waktuTanpa WebMCP: berhasilDengan WebMCP: berhasil
specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman?5,0s2,8s100%100%
specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi?7,1s5,5s100%100%
specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal?3,6s2,7s100%100%
specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik?3,3s3,0s100%100%
Langkah per pertanyaan, giliran model per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: langkahDengan WebMCP: langkahTanpa WebMCP: berhasilDengan WebMCP: berhasil
specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman?5,73,0100%100%
specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi?5,33,0100%100%
specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal?4,03,0100%100%
specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik?3,33,0100%100%
Biaya per pertanyaan, USD per tugas; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: biayaDengan WebMCP: biayaTanpa WebMCP: berhasilDengan WebMCP: berhasil
specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman?$0,0015$0,00033100%100%
specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi?$0,0016$0,00049100%100%
specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal?$0,0014$0,00053100%100%
specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik?$0,0012$0,00053100%100%

5 tool WebMCP yang didaftarkan specification.website

seperti yang dilihat agent · 2026-11-08

ToolDeskripsiDipakai
search_spec

Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt").

search_spec({"limit":5,"query":"meta description length"})

search_spec({"limit":5,"query":"HSTS max-age"})

search_spec({"limit":5,"query":"contrast ratio body text"})

search_spec({"limit":5,"query":"INP Interaction to Next Paint responsiveness"})

search_spec({"limit":5,"query":"Core Web Vitals performance targets"})

 Dipakai
get_topic

Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance.

get_topic({"slug":"meta-description"})

get_topic({"limit":200,"slug":"hsts"})

get_topic({"slug":"color-contrast"})

 Dipakai
list_topics

List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list.

–Tidak dipakai
open_checklist

Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data.

–Tidak dipakai
open_search

Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that.

–Tidak dipakai
  • claude-haiku-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
  • Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
  • Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
  • Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
  • Situs live: menyediakan tool WebMCP-nya sendiri.
  • 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
  • 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
  • Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
  • Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
reproduksi sendiri 
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort medium

Kiln & Co lokal

“Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya.”

3.5×

hemat token

22k → 6,2k token

Token per pertanyaan, token per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: tokenDengan WebMCP: tokenTanpa WebMCP: berhasilDengan WebMCP: berhasil
Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya.22k6,2k100%100%
Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya.10k3,9k100%100%
Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya.8,7k3,7k100%100%
Waktu per pertanyaan, detik per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: waktuDengan WebMCP: waktuTanpa WebMCP: berhasilDengan WebMCP: berhasil
Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya.4,7s3,4s100%100%
Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya.4,3s2,5s100%100%
Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya.2,7s2,2s100%100%
Langkah per pertanyaan, giliran model per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: langkahDengan WebMCP: langkahTanpa WebMCP: berhasilDengan WebMCP: berhasil
Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya.5,74,0100%100%
Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya.3,33,0100%100%
Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya.3,03,0100%100%
Biaya per pertanyaan, USD per tugas; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: biayaDengan WebMCP: biayaTanpa WebMCP: berhasilDengan WebMCP: berhasil
Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya.$0,00088$0,00032100%100%
Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya.$0,00083$0,00022100%100%
Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya.$0,00049$0,00018100%100%

4 tool WebMCP yang didaftarkan Kiln & Co

seperti yang dilihat agent · 2026-11-08

ToolDeskripsiDipakai
search_products

Search the catalog. Every filter is optional; with none, returns every product. Prices are USD.

search_products({"query":"Stoneware Teapot"})

search_products({"query":"Speckled Bowl"})

search_products({"category":"mug","color":"blue","sort":"price_asc"})

search_products({"category":"teapot","sort":"price_desc"})

 Dipakai
add_to_cart

Add a product to the cart by sku. Adding a sku already in the cart increases its quantity.

add_to_cart({"sku":"TPT-01"})

add_to_cart({"sku":"BWL-01"})

add_to_cart({"quantity":2,"sku":"MUG-03"})

add_to_cart({"sku":"TPT-02"})

 Dipakai
get_cart

Return the cart: items with quantity and the total in USD.

get_cart({})

 Dipakai
get_page_context

Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead.

–Tidak dipakai
  • claude-haiku-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
  • Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
  • Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
  • Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
  • Situs uji lokal: tool-nya berasal dari webmcpx.
  • 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
  • 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
  • Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
  • Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
reproduksi sendiri 
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort medium

Orbit docs lokal

“Secara default, berapa banyak rilis sebelumnya yang disimpan Orbit untuk rollback?”

2.2×

hemat token

5,4k → 2,4k token

Token per pertanyaan, token per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: tokenDengan WebMCP: tokenTanpa WebMCP: berhasilDengan WebMCP: berhasil
Orbit docs (situs uji lokal): Secara default, berapa banyak rilis sebelumnya yang disimpan Orbit untuk rollback?5,4k2,4k100%100%
Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain?5,4k2,4k100%100%
Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya?5,5k2,4k100%100%
Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy?5,5k2,5k100%100%
Waktu per pertanyaan, detik per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: waktuDengan WebMCP: waktuTanpa WebMCP: berhasilDengan WebMCP: berhasil
Orbit docs (situs uji lokal): Secara default, berapa banyak rilis sebelumnya yang disimpan Orbit untuk rollback?2,1s2,5s100%100%
Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain?1,6s1,7s100%100%
Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya?1,7s3,7s100%100%
Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy?2,3s2,1s100%100%
Langkah per pertanyaan, giliran model per run; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: langkahDengan WebMCP: langkahTanpa WebMCP: berhasilDengan WebMCP: berhasil
Orbit docs (situs uji lokal): Secara default, berapa banyak rilis sebelumnya yang disimpan Orbit untuk rollback?2,02,0100%100%
Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain?2,02,0100%100%
Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya?2,02,0100%100%
Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy?2,02,0100%100%
Biaya per pertanyaan, USD per tugas; makin rendah makin baik. Tingkat keberhasilan per varian.
PertanyaanTanpa WebMCP: biayaDengan WebMCP: biayaTanpa WebMCP: berhasilDengan WebMCP: berhasil
Orbit docs (situs uji lokal): Secara default, berapa banyak rilis sebelumnya yang disimpan Orbit untuk rollback?$0,00031$0,00019100%100%
Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain?$0,0006$0,00015100%100%
Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya?$0,0003$0,00017100%100%
Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy?$0,00047$0,00019100%100%

3 tool WebMCP yang didaftarkan Orbit docs

seperti yang dilihat agent · 2026-11-08

ToolDeskripsiDipakai
search_page

Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific.

search_page({"limit":5,"query":"past releases rollback default keep"})

search_page({"limit":5,"query":"environment variable config file path"})

search_page({"limit":5,"query":"exit code 4"})

search_page({"limit":5,"query":"orbit deploy rollout strategy"})

 Dipakai
fetch_as_markdown

Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`.

–Tidak dipakai
get_page_context

Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead.

–Tidak dipakai
  • claude-haiku-5-5, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
  • Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
  • Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
  • Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
  • Situs uji lokal: tool-nya berasal dari webmcpx.
  • 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
  • 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
  • Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
  • Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
reproduksi sendiri 
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-haiku-5-5 --reasoning-effort medium