Benchmark webmcpx: Gemini 3.8 Flash
Peringkat
Seberapa banyak WebMCP menghemat, per model
Satu agent membaca, mengeklik, dan mengisi lewat snapshot halaman; yang lain memanggil tool WebMCP milik situs. Pilih model; penghematan terbesar ditampilkan lebih dulu.
Diurutkan menurut keberhasilan dengan WebMCP, lalu biaya per eksekusi.
Kasus pilihan: 21 dari 30 pertanyaan, yaitu yang menghabiskan paling banyak separuh token dengan WebMCP. Semua hasil terbuka untuk publik, atau jalankan sendiri dengan just bench.
Gemini 3.8 Flash (Google)
Cloudflare
“Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas?”
developers.cloudflare.com (membuka Cloudflare)46×
hemat token
72k → 1,6k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | 72k | 1,6k | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | 41k | 1,5k | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | 34k | 1,4k | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | 29k | 1,4k | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | 42k | 4,9k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | 14,4s | 5,8s | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | 40,3s | 6,8s | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | 11,0s | 5,2s | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | 10,7s | 6,9s | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | 14,8s | 12,9s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | 5,7 | 2,0 | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | 6,0 | 2,0 | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | 5,3 | 2,0 | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | 4,7 | 2,0 | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | 6,0 | 3,7 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Cloudflare: Berapa request per hari yang bisa ditangani Workers saya di paket Workers Free Cloudflare sebelum kena batas? | $0,03 | $0,0017 | 100% | 100% |
| Cloudflare: Seberapa panjang key di Cloudflare Workers KV? Saya ingin tahu ukuran maksimum key. | $0,015 | $0,0017 | 100% | 100% |
| Cloudflare: Berapa ukuran maksimum satu value yang disimpan di Cloudflare Workers KV? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare: Saya pakai paket Workers Paid. Seberapa besar satu database Cloudflare D1 bisa tumbuh? | $0,014 | $0,0016 | 100% | 100% |
| Cloudflare: Berapa ukuran pesan terbesar yang bisa saya kirim ke Cloudflare Queue? Saya butuh batas ukuran per pesan. | $0,017 | $0,0044 | 100% | 100% |
2 tool WebMCP yang didaftarkan Cloudflare
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan request limit per day"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"D1 limits maximum database size paid plan"}) search({"query":"Queues limits message size"}) | Dipakai |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –Tidak dipakai |
- gemini-3.8-flash, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs live: menyediakan tool WebMCP-nya sendiri.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumspecification.website
“Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman?”
specification.website (membuka specification.website)13×
hemat token
64k → 4,9k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | 64k | 4,9k | 100% | 100% |
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | 50k | 4,8k | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | 47k | 5,4k | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | 22k | 4,4k | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | 23k | 4,8k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | 26,1s | 7,3s | 100% | 100% |
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | 21,7s | 7,1s | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | 24,0s | 8,1s | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | 14,1s | 7,2s | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | 13,9s | 6,8s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | 10,0 | 3,0 | 100% | 100% |
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | 8,0 | 3,0 | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | 9,0 | 3,0 | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | 6,0 | 3,0 | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | 6,0 | 3,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| specification.website: Menurut spesifikasi ini, seberapa panjang meta description sebuah halaman? | $0,025 | $0,0045 | 100% | 100% |
| specification.website: Rasio kontras minimum berapa yang diwajibkan spesifikasi situs ini untuk teks isi berukuran normal? | $0,025 | $0,0043 | 100% | 100% |
| specification.website: Berapa ukuran minimum area sentuh yang diwajibkan spesifikasi ini untuk tombol dan kontrol interaktif lain? | $0,022 | $0,0052 | 100% | 100% |
| specification.website: Menurut spesifikasi ini, max-age berapa yang harus saya pasang di header HSTS untuk produksi? | $0,015 | $0,0042 | 100% | 100% |
| specification.website: Nilai INP berapa yang ditetapkan spesifikasi ini sebagai target responsivitas yang baik? | $0,013 | $0,0043 | 100% | 100% |
5 tool WebMCP yang didaftarkan specification.website
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP"}) | Dipakai |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) | Dipakai |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –Tidak dipakai |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –Tidak dipakai |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –Tidak dipakai |
- gemini-3.8-flash, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs live: menyediakan tool WebMCP-nya sendiri.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumNotion
“Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list?”
developers.notion.com (membuka Notion)8.2×
hemat token
29k → 3,5k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | 29k | 3,5k | 100% | 100% |
| Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons? | 68k | 9,2k | 100% | 100% |
| Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise? | 29k | 6,0k | 100% | 100% |
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | 49k | 16k | 100% | 100% |
| Notion: Berapa ukuran file terbesar yang bisa saya kirim ke Notion API dalam upload single-part sebelum harus beralih ke upload multi-part? | 71k | 32k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | 15,8s | 7,6s | 100% | 100% |
| Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons? | 23,0s | 11,5s | 100% | 100% |
| Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise? | 13,5s | 7,0s | 100% | 100% |
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | 20,5s | 13,3s | 100% | 100% |
| Notion: Berapa ukuran file terbesar yang bisa saya kirim ke Notion API dalam upload single-part sebelum harus beralih ke upload multi-part? | 23,1s | 18,6s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | 6,7 | 3,0 | 100% | 100% |
| Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons? | 8,0 | 4,7 | 100% | 100% |
| Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise? | 5,3 | 3,0 | 100% | 100% |
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | 7,3 | 4,3 | 100% | 100% |
| Notion: Berapa ukuran file terbesar yang bisa saya kirim ke Notion API dalam upload single-part sebelum harus beralih ke upload multi-part? | 8,7 | 7,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Notion: Saya sedang mempaginasi hasil dari Notion API. Berapa page_size terbesar yang bisa saya minta per panggilan di endpoint list? | $0,016 | $0,0033 | 100% | 100% |
| Notion: Saat integrasi Notion saya mengirim terlalu banyak request, string kode error apa yang ditaruh API di body respons? | $0,026 | $0,0079 | 100% | 100% |
| Notion: Berapa request per menit yang diizinkan Notion API per koneksi di paket selain Business dan Enterprise? | $0,016 | $0,0048 | 100% | 100% |
| Notion: Saya menulis paragraf panjang ke halaman Notion lewat API. Berapa jumlah karakter maksimum untuk isi teks satu objek rich text dalam satu request? | $0,022 | $0,0097 | 100% | 100% |
| Notion: Berapa ukuran file terbesar yang bisa saya kirim ke Notion API dalam upload single-part sebelum harus beralih ke upload multi-part? | $0,027 | $0,017 | 100% | 100% |
5 tool WebMCP yang didaftarkan Notion
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"pagination page_size"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"errors status code rate limited"}) search_docs({"query":"rate limits requests per minute"}) search_docs({"query":"rich text maximum characters limit"}) search_docs({"query":"\"Size limits\" \"text.content\""}) search_docs({"query":"upload single-part multi-part file"}) search_docs({"query":"working-with-files-and-media single_part"}) | Dipakai |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/file-upload"}) read_page({"path":"https://developers.notion.com/guides/data-apis/sending-larger-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/uploading-small-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/working-with-files-and-media"}) | Dipakai |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –Tidak dipakai |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –Tidak dipakai |
read_skill | Read a Notion Docs agent skill document by name. | –Tidak dipakai |
- gemini-3.8-flash, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs live: menyediakan tool WebMCP-nya sendiri.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumKiln & Co lokal
“Masukkan teko termahal yang kalian jual ke keranjang saya.”
5.9×
hemat token
12k → 2,1k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | 12k | 2,1k | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | 16k | 2,9k | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | 10k | 2,2k | 100% | 100% |
| Kiln & Co (situs uji lokal): Saya butuh hadiah berwarna hijau di bawah $30 yang bisa dibeli sekarang. Ada apa saja? | 7,3k | 2,6k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | 15,3s | 7,2s | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | 14,0s | 8,0s | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | 12,1s | 6,1s | 100% | 100% |
| Kiln & Co (situs uji lokal): Saya butuh hadiah berwarna hijau di bawah $30 yang bisa dibeli sekarang. Ada apa saja? | 11,7s | 9,0s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | 6,0 | 3,0 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | 6,0 | 3,3 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | 5,0 | 3,0 | 100% | 100% |
| Kiln & Co (situs uji lokal): Saya butuh hadiah berwarna hijau di bawah $30 yang bisa dibeli sekarang. Ada apa saja? | 4,0 | 3,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Kiln & Co (situs uji lokal): Masukkan teko termahal yang kalian jual ke keranjang saya. | $0,01 | $0,0022 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan satu Stoneware Teapot dan satu Speckled Bowl ke keranjang saya, lalu beri tahu total keranjangnya. | $0,013 | $0,0031 | 100% | 100% |
| Kiln & Co (situs uji lokal): Masukkan dua mug biru termurah ke keranjang saya. | $0,0092 | $0,0023 | 100% | 100% |
| Kiln & Co (situs uji lokal): Saya butuh hadiah berwarna hijau di bawah $30 yang bisa dibeli sekarang. Ada apa saja? | $0,0069 | $0,0033 | 100% | 100% |
4 tool WebMCP yang didaftarkan Kiln & Co
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"category":"teapot","sort":"price_desc"}) search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) search_products({"color":"green","max_price":30}) search_products({"color":"green"}) | Dipakai |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | Dipakai |
get_cart | Return the cart: items with quantity and the total in USD. get_cart({}) | Dipakai |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Tidak dipakai |
- gemini-3.8-flash, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs uji lokal: tool-nya berasal dari webmcpx.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumOrbit docs lokal
“Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain?”
2.7×
hemat token
3,4k → 1,3k token
| Pertanyaan | Tanpa WebMCP: token | Dengan WebMCP: token | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | 3,4k | 1,3k | 100% | 100% |
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | 3,4k | 1,3k | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: waktu | Dengan WebMCP: waktu | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | 6,9s | 5,2s | 100% | 100% |
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | 5,1s | 5,8s | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: langkah | Dengan WebMCP: langkah | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | 2,0 | 2,0 | 100% | 100% |
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | 2,0 | 2,0 | 100% | 100% |
| Pertanyaan | Tanpa WebMCP: biaya | Dengan WebMCP: biaya | Tanpa WebMCP: berhasil | Dengan WebMCP: berhasil |
|---|---|---|---|---|
| Orbit docs (situs uji lokal): Variabel lingkungan apa yang membuat Orbit membaca file konfigurasinya dari path lain? | $0,003 | $0,0013 | 100% | 100% |
| Orbit docs (situs uji lokal): Langkah CI saya gagal dengan exit code orbit 4. Apa artinya? | $0,0031 | $0,0015 | 100% | 100% |
3 tool WebMCP yang didaftarkan Orbit docs
seperti yang dilihat agent · 2026-11-08
| Tool | Deskripsi | Dipakai |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"environment variable config path"}) search_page({"query":"exit code 4"}) | Dipakai |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –Tidak dipakai |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –Tidak dipakai |
- gemini-3.8-flash, reasoning medium, Chrome headless. Prompt dan batas langkah sama di kedua varian; 3 run per pertanyaan per varian.
- Tanpa WebMCP: agent berbasis snapshot DOM yang membaca, mengeklik, dan mengisi.
- Dengan WebMCP: hanya tool yang didaftarkan halaman (milik situs itu sendiri, atau dari webmcpx di situs uji kami).
- Dinilai dari fakta dalam jawaban dan state halaman. Tanpa LLM judge.
- Situs uji lokal: tool-nya berasal dari webmcpx.
- 30 pertanyaan di 6 situs, 27 hanya membaca; penghematan terbesar datang dari alat pencarian milik situs itu sendiri.
- 3 eksekusi per pertanyaan dan lengan: 3 dari 3 adalah bukti, bukan jaminan 100%.
- Waktu adalah loop agen setelah halaman dimuat; biaya adalah penggunaan API model dengan harga daftar bertanggal, termasuk cache.
- Setiap eksekusi yang gagal menyebut alasannya di hasil (blokir situs, jawaban bukan dari halaman, batas langkah…).
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort medium