Benchmark webmcpx: Gemini 4 Argon
Peringkat
Seberapa banyak WebMCP menghemat, per model
Satu agent membaca, mengeklik, dan mengisi lewat snapshot halaman; yang lain memanggil tool WebMCP milik situs. Pilih model; penghematan terbesar ditampilkan lebih dulu.
Diurutkan menurut keberhasilan dengan WebMCP, lalu biaya per eksekusi.
Kasus pilihan: 21 dari 30 pertanyaan, yaitu yang menghabiskan paling banyak separuh token dengan WebMCP. Semua hasil terbuka untuk publik, atau jalankan sendiri dengan just bench.
Gemini 4 Argon (Google)
Cloudflare
“Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas?”
developers.cloudflare.com (membuka Cloudflare)42×
hemat token
62k → 1,5k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | 62k | 1,5k | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | 44k | 1,4k | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | 41k | 1,4k | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | 41k | 1,5k | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | 42k | 15k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | 121,6s | 40,8s | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | 71,4s | 38,4s | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | 99,0s | 19,6s | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | 55,3s | 32,1s | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | 550,5s | 120,6s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | 5,3 | 2,0 | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | 6,0 | 6,7 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | $0,064 | $0,0037 | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | $0,041 | $0,0037 | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | $0,036 | $0,0035 | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | $0,042 | $0,0036 | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | $0,043 | $0,028 | 100% | 100% |
2 tool WebMCP yang didaftarkan Cloudflare
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan requests per day limit"}) search({"query":"D1 limits maximum database size Workers Paid"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Cloudflare Queues limits message size"}) search({"query":"\"Maximum message size\" queues OR \"Message size\" queues KB MB"}) search({"query":"\"128 KB\" OR \"256 KB\" OR \"64 KB\" queues limits"}) search({"query":"\"128 KB\" queues metadata serialization"}) search({"query":"\"Maximum messages per sendBatch call\" \"Message size\""}) search({"query":"\"256KB in total\""}) | Dipakai |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Tidak dipakai |
- gemini-4-argon, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs live: menyediakan tool WebMCP-nya sendiri.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumNotion
“Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise?”
developers.notion.com (membuka Notion)17×
hemat token
24k → 1,4k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise? | 24k | 1,4k | 100% | 100% |
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | 22k | 3,5k | 100% | 100% |
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | 24k | 6,1k | 100% | 100% |
| Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons? | 24k | 7,2k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise? | 158,7s | 28,7s | 100% | 100% |
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | 151,0s | 51,5s | 100% | 100% |
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | 158,7s | 62,8s | 100% | 100% |
| Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons? | 163,8s | 72,4s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise? | 6,0 | 2,0 | 100% | 100% |
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | 6,0 | 3,0 | 100% | 100% |
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | 6,0 | 3,0 | 100% | 100% |
| Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons? | 6,0 | 3,7 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise? | $0,034 | $0,0034 | 100% | 100% |
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | $0,033 | $0,0081 | 100% | 100% |
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | $0,035 | $0,014 | 100% | 100% |
| Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons? | $0,035 | $0,017 | 100% | 100% |
5 tool WebMCP yang didaftarkan Notion
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"requests per minute connection Business Enterprise"}) search_docs({"query":"page_size pagination"}) search_docs({"query":"rich text object character limit request limits"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"Request limits status codes rate_limited"}) | Dipakai |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) | Dipakai |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Tidak dipakai |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Tidak dipakai |
read_skill | Read a Notion Docs agent skill document by name. | –Tidak dipakai |
- gemini-4-argon, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs live: menyediakan tool WebMCP-nya sendiri.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumspecification.website
“Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman?”
specification.website (membuka specification.website)6.1×
hemat token
30k → 4,9k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | 30k | 4,9k | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | 22k | 4,5k | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | 23k | 4,7k | 100% | 100% |
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | 23k | 4,7k | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | 24k | 5,6k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | 126,7s | 70,5s | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | 140,6s | 50,5s | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | 105,5s | 56,0s | 100% | 100% |
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | 79,6s | 45,5s | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | 195,8s | 52,4s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | 6,0 | 3,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | $0,033 | $0,011 | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | $0,028 | $0,011 | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | $0,027 | $0,01 | 100% | 100% |
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | $0,03 | $0,01 | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | $0,029 | $0,014 | 100% | 100% |
5 tool WebMCP yang didaftarkan specification.website
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP responsiveness"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) | Dipakai |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) | Dipakai |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Tidak dipakai |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Tidak dipakai |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Tidak dipakai |
- gemini-4-argon, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs live: menyediakan tool WebMCP-nya sendiri.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumKiln & Co lokal
“Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya.”
4.7×
hemat token
16k → 3,4k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | 16k | 3,4k | 100% | 100% |
| Kiln & Co (situs uji lokal): Saya butuh hadiah berwarna hijau di bawah $30 yang bisa dibeli sekarang. Ada apa saja? | 5,5k | 1,3k | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | 7,6k | 2,1k | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | 7,9k | 2,2k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | 89,0s | 32,2s | 100% | 100% |
| Kiln & Co (situs uji lokal): Saya butuh hadiah berwarna hijau di bawah $30 yang bisa dibeli sekarang. Ada apa saja? | 80,1s | 26,4s | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | 49,0s | 49,8s | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | 64,5s | 43,1s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | 6,0 | 3,0 | 100% | 100% |
| Kiln & Co (situs uji lokal): Saya butuh hadiah berwarna hijau di bawah $30 yang bisa dibeli sekarang. Ada apa saja? | 3,3 | 2,0 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | 4,0 | 3,0 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | 4,0 | 3,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | $0,027 | $0,0079 | 100% | 100% |
| Kiln & Co (situs uji lokal): Saya butuh hadiah berwarna hijau di bawah $30 yang bisa dibeli sekarang. Ada apa saja? | $0,013 | $0,0037 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | $0,017 | $0,005 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | $0,018 | $0,0057 | 100% | 100% |
4 tool WebMCP yang didaftarkan Kiln & Co
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({}) search_products({"color":"green","max_price":30}) search_products({"category":"teapot","sort":"price_desc"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) | Dipakai |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Dipakai |
get_cart | Return the cart: items with quantity and the total in USD. | –Tidak dipakai |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Tidak dipakai |
- gemini-4-argon, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs uji lokal: tool-nya berasal dari webmcpx.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumOrbit docs lokal
“Langkah CI saya gagal dengan exit code orbit 4. Apa artinya?”
2.7×
hemat token
3,4k → 1,3k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy? | 3,4k | 1,7k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | 128,4s | 34,1s | 100% | 100% |
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | 24,7s | 20,0s | 100% | 100% |
| Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy? | 37,7s | 37,1s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy? | 2,0 | 2,3 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | $0,0077 | $0,0032 | 100% | 100% |
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | $0,0076 | $0,0032 | 100% | 100% |
| Orbit docs (situs uji lokal): Strategi rollout apa saja yang bisa saya pilih saat menjalankan orbit deploy? | $0,0073 | $0,0043 | 100% | 100% |
3 tool WebMCP yang didaftarkan Orbit docs
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"exit code 4"}) search_page({"query":"environment variable config file path"}) search_page({"query":"orbit deploy rollout strategies"}) search_page({"query":"--strategy"}) | Dipakai |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Tidak dipakai |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Tidak dipakai |
- gemini-4-argon, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs uji lokal: tool-nya berasal dari webmcpx.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort medium