webmcpx बेंचमार्क: Gemini 3.8 Flash
लीडरबोर्ड
WebMCP कितना बचाता है, हर मॉडल पर
एक एजेंट पेज स्नैपशॉट के सहारे पढ़ता, क्लिक करता और फ़ॉर्म भरता है; दूसरा साइट के WebMCP टूल्स कॉल करता है। मॉडल चुनिए; सबसे बड़ी बचत सबसे पहले।
WebMCP के साथ सफलता से, फिर प्रति रन लागत से क्रमित।
चुने हुए केस: 30 में से 21 सवाल, जिनमें WebMCP ने ज़्यादा से ज़्यादा आधे टोकन इस्तेमाल किए। सभी नतीजे सार्वजनिक हैं, या just bench से इसे ख़ुद चलाइए।
Gemini 3.8 Flash (Google)
Cloudflare
“Cloudflare के Workers Free प्लान पर मेरे Workers लिमिट तक पहुँचने से पहले रोज़ कितनी requests संभाल सकते हैं?”
developers.cloudflare.com (Cloudflare पर जाता है)46×
कम टोकन
72k → 1.6k टोकन
| सवाल | WebMCP के बिना: टोकन | WebMCP के साथ: टोकन | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Cloudflare: Cloudflare के Workers Free प्लान पर मेरे Workers लिमिट तक पहुँचने से पहले रोज़ कितनी requests संभाल सकते हैं? | 72k | 1.6k | 100% | 100% |
| Cloudflare: Cloudflare Workers KV में key कितनी लंबी हो सकती है? मुझे key का अधिकतम साइज़ जानना है। | 41k | 1.5k | 100% | 100% |
| Cloudflare: Cloudflare Workers KV में रखी एक value का अधिकतम साइज़ कितना है? | 34k | 1.4k | 100% | 100% |
| Cloudflare: मैं Workers Paid प्लान पर हूँ। एक Cloudflare D1 डेटाबेस ज़्यादा से ज़्यादा कितना बड़ा हो सकता है? | 29k | 1.4k | 100% | 100% |
| Cloudflare: Cloudflare Queue में मैं सबसे बड़ा कितना message भेज सकता हूँ? मुझे हर message की साइज़ लिमिट चाहिए। | 42k | 4.9k | 100% | 100% |
| सवाल | WebMCP के बिना: समय | WebMCP के साथ: समय | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Cloudflare: Cloudflare के Workers Free प्लान पर मेरे Workers लिमिट तक पहुँचने से पहले रोज़ कितनी requests संभाल सकते हैं? | 14.4s | 5.8s | 100% | 100% |
| Cloudflare: Cloudflare Workers KV में key कितनी लंबी हो सकती है? मुझे key का अधिकतम साइज़ जानना है। | 40.3s | 6.8s | 100% | 100% |
| Cloudflare: Cloudflare Workers KV में रखी एक value का अधिकतम साइज़ कितना है? | 11.0s | 5.2s | 100% | 100% |
| Cloudflare: मैं Workers Paid प्लान पर हूँ। एक Cloudflare D1 डेटाबेस ज़्यादा से ज़्यादा कितना बड़ा हो सकता है? | 10.7s | 6.9s | 100% | 100% |
| Cloudflare: Cloudflare Queue में मैं सबसे बड़ा कितना message भेज सकता हूँ? मुझे हर message की साइज़ लिमिट चाहिए। | 14.8s | 12.9s | 100% | 100% |
| सवाल | WebMCP के बिना: स्टेप | WebMCP के साथ: स्टेप | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Cloudflare: Cloudflare के Workers Free प्लान पर मेरे Workers लिमिट तक पहुँचने से पहले रोज़ कितनी requests संभाल सकते हैं? | 5.7 | 2.0 | 100% | 100% |
| Cloudflare: Cloudflare Workers KV में key कितनी लंबी हो सकती है? मुझे key का अधिकतम साइज़ जानना है। | 6.0 | 2.0 | 100% | 100% |
| Cloudflare: Cloudflare Workers KV में रखी एक value का अधिकतम साइज़ कितना है? | 5.3 | 2.0 | 100% | 100% |
| Cloudflare: मैं Workers Paid प्लान पर हूँ। एक Cloudflare D1 डेटाबेस ज़्यादा से ज़्यादा कितना बड़ा हो सकता है? | 4.7 | 2.0 | 100% | 100% |
| Cloudflare: Cloudflare Queue में मैं सबसे बड़ा कितना message भेज सकता हूँ? मुझे हर message की साइज़ लिमिट चाहिए। | 6.0 | 3.7 | 100% | 100% |
| सवाल | WebMCP के बिना: लागत | WebMCP के साथ: लागत | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Cloudflare: Cloudflare के Workers Free प्लान पर मेरे Workers लिमिट तक पहुँचने से पहले रोज़ कितनी requests संभाल सकते हैं? | $0.03 | $0.0017 | 100% | 100% |
| Cloudflare: Cloudflare Workers KV में key कितनी लंबी हो सकती है? मुझे key का अधिकतम साइज़ जानना है। | $0.015 | $0.0017 | 100% | 100% |
| Cloudflare: Cloudflare Workers KV में रखी एक value का अधिकतम साइज़ कितना है? | $0.014 | $0.0016 | 100% | 100% |
| Cloudflare: मैं Workers Paid प्लान पर हूँ। एक Cloudflare D1 डेटाबेस ज़्यादा से ज़्यादा कितना बड़ा हो सकता है? | $0.014 | $0.0016 | 100% | 100% |
| Cloudflare: Cloudflare Queue में मैं सबसे बड़ा कितना message भेज सकता हूँ? मुझे हर message की साइज़ लिमिट चाहिए। | $0.017 | $0.0044 | 100% | 100% |
Cloudflare द्वारा रजिस्टर किए गए 2 WebMCP टूल्स
जैसे एजेंट ने देखे · 2026-11-08
| टूल | विवरण | कॉल हुआ |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan request limit per day"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"D1 limits maximum database size paid plan"}) search({"query":"Queues limits message size"}) | कॉल हुआ |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –कॉल नहीं हुआ |
- gemini-3.8-flash, रीज़निंग medium, हेडलेस Chrome। दोनों पक्षों में एक जैसा प्रॉम्प्ट और स्टेप लिमिट; हर सवाल और पक्ष के लिए 3 रन।
- WebMCP के बिना: DOM-स्नैपशॉट वाला एजेंट, जो पढ़ता, क्लिक करता और फ़ॉर्म भरता है।
- WebMCP के साथ: सिर्फ़ वे टूल्स जो पेज रजिस्टर करता है (उसके अपने, या हमारी टेस्ट साइटों पर webmcpx के)।
- ग्रेडिंग जवाब में मौजूद तथ्यों और पेज की स्टेट से। कोई LLM जज नहीं।
- लाइव साइट: इसके WebMCP टूल्स इसके अपने हैं।
- 6 साइटों पर 30 सवाल, जिनमें 27 सिर्फ़ पढ़ने वाले; सबसे बड़ी बचत साइटों के अपने सर्च टूल से आती है।
- हर सवाल और आर्म पर 3 रन: 3 में 3 सबूत है, 100% का प्रमाण नहीं।
- समय पेज लोड होने के बाद का एजेंट लूप है; लागत तारीख़ वाली सूची क़ीमतों पर मॉडल का API उपयोग है, कैश सहित।
- हर असफल रन नतीजों में कारण बताता है (साइट की रोक, पेज से बाहर का जवाब, स्टेप सीमा…)।
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumspecification.website
“इस स्पेक के मुताबिक़ किसी पेज की meta description कितनी लंबी होनी चाहिए?”
specification.website (specification.website पर जाता है)13×
कम टोकन
64k → 4.9k टोकन
| सवाल | WebMCP के बिना: टोकन | WebMCP के साथ: टोकन | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| specification.website: इस स्पेक के मुताबिक़ किसी पेज की meta description कितनी लंबी होनी चाहिए? | 64k | 4.9k | 100% | 100% |
| specification.website: इस साइट का स्पेक सामान्य साइज़ के body text के लिए कम से कम कितना contrast ratio माँगता है? | 50k | 4.8k | 100% | 100% |
| specification.website: यह स्पेक बटन और दूसरे interactive controls के लिए कम से कम कितना बड़ा tap target माँगता है? | 47k | 5.4k | 100% | 100% |
| specification.website: इस स्पेक के हिसाब से production में अपने HSTS header में कौन-सा max-age रखूँ? | 22k | 4.4k | 100% | 100% |
| specification.website: अच्छी responsiveness के लिए यह स्पेक INP का लक्ष्य कितना तय करता है? | 23k | 4.8k | 100% | 100% |
| सवाल | WebMCP के बिना: समय | WebMCP के साथ: समय | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| specification.website: इस स्पेक के मुताबिक़ किसी पेज की meta description कितनी लंबी होनी चाहिए? | 26.1s | 7.3s | 100% | 100% |
| specification.website: इस साइट का स्पेक सामान्य साइज़ के body text के लिए कम से कम कितना contrast ratio माँगता है? | 21.7s | 7.1s | 100% | 100% |
| specification.website: यह स्पेक बटन और दूसरे interactive controls के लिए कम से कम कितना बड़ा tap target माँगता है? | 24.0s | 8.1s | 100% | 100% |
| specification.website: इस स्पेक के हिसाब से production में अपने HSTS header में कौन-सा max-age रखूँ? | 14.1s | 7.2s | 100% | 100% |
| specification.website: अच्छी responsiveness के लिए यह स्पेक INP का लक्ष्य कितना तय करता है? | 13.9s | 6.8s | 100% | 100% |
| सवाल | WebMCP के बिना: स्टेप | WebMCP के साथ: स्टेप | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| specification.website: इस स्पेक के मुताबिक़ किसी पेज की meta description कितनी लंबी होनी चाहिए? | 10.0 | 3.0 | 100% | 100% |
| specification.website: इस साइट का स्पेक सामान्य साइज़ के body text के लिए कम से कम कितना contrast ratio माँगता है? | 8.0 | 3.0 | 100% | 100% |
| specification.website: यह स्पेक बटन और दूसरे interactive controls के लिए कम से कम कितना बड़ा tap target माँगता है? | 9.0 | 3.0 | 100% | 100% |
| specification.website: इस स्पेक के हिसाब से production में अपने HSTS header में कौन-सा max-age रखूँ? | 6.0 | 3.0 | 100% | 100% |
| specification.website: अच्छी responsiveness के लिए यह स्पेक INP का लक्ष्य कितना तय करता है? | 6.0 | 3.0 | 100% | 100% |
| सवाल | WebMCP के बिना: लागत | WebMCP के साथ: लागत | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| specification.website: इस स्पेक के मुताबिक़ किसी पेज की meta description कितनी लंबी होनी चाहिए? | $0.025 | $0.0045 | 100% | 100% |
| specification.website: इस साइट का स्पेक सामान्य साइज़ के body text के लिए कम से कम कितना contrast ratio माँगता है? | $0.025 | $0.0043 | 100% | 100% |
| specification.website: यह स्पेक बटन और दूसरे interactive controls के लिए कम से कम कितना बड़ा tap target माँगता है? | $0.022 | $0.0052 | 100% | 100% |
| specification.website: इस स्पेक के हिसाब से production में अपने HSTS header में कौन-सा max-age रखूँ? | $0.015 | $0.0042 | 100% | 100% |
| specification.website: अच्छी responsiveness के लिए यह स्पेक INP का लक्ष्य कितना तय करता है? | $0.013 | $0.0043 | 100% | 100% |
specification.website द्वारा रजिस्टर किए गए 5 WebMCP टूल्स
जैसे एजेंट ने देखे · 2026-11-08
| टूल | विवरण | कॉल हुआ |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP"}) | कॉल हुआ |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) | कॉल हुआ |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –कॉल नहीं हुआ |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –कॉल नहीं हुआ |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –कॉल नहीं हुआ |
- gemini-3.8-flash, रीज़निंग medium, हेडलेस Chrome। दोनों पक्षों में एक जैसा प्रॉम्प्ट और स्टेप लिमिट; हर सवाल और पक्ष के लिए 3 रन।
- WebMCP के बिना: DOM-स्नैपशॉट वाला एजेंट, जो पढ़ता, क्लिक करता और फ़ॉर्म भरता है।
- WebMCP के साथ: सिर्फ़ वे टूल्स जो पेज रजिस्टर करता है (उसके अपने, या हमारी टेस्ट साइटों पर webmcpx के)।
- ग्रेडिंग जवाब में मौजूद तथ्यों और पेज की स्टेट से। कोई LLM जज नहीं।
- लाइव साइट: इसके WebMCP टूल्स इसके अपने हैं।
- 6 साइटों पर 30 सवाल, जिनमें 27 सिर्फ़ पढ़ने वाले; सबसे बड़ी बचत साइटों के अपने सर्च टूल से आती है।
- हर सवाल और आर्म पर 3 रन: 3 में 3 सबूत है, 100% का प्रमाण नहीं।
- समय पेज लोड होने के बाद का एजेंट लूप है; लागत तारीख़ वाली सूची क़ीमतों पर मॉडल का API उपयोग है, कैश सहित।
- हर असफल रन नतीजों में कारण बताता है (साइट की रोक, पेज से बाहर का जवाब, स्टेप सीमा…)।
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumNotion
“मैं Notion API के नतीजों को पेज करके पढ़ रहा हूँ। list endpoints पर एक कॉल में सबसे बड़ा page_size कितना माँग सकता हूँ?”
developers.notion.com (Notion पर जाता है)8.2×
कम टोकन
29k → 3.5k टोकन
| सवाल | WebMCP के बिना: टोकन | WebMCP के साथ: टोकन | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Notion: मैं Notion API के नतीजों को पेज करके पढ़ रहा हूँ। list endpoints पर एक कॉल में सबसे बड़ा page_size कितना माँग सकता हूँ? | 29k | 3.5k | 100% | 100% |
| Notion: जब मेरा Notion integration बहुत ज़्यादा requests भेजता है, तो API response body में कौन-सा error code string देता है? | 68k | 9.2k | 100% | 100% |
| Notion: Business और Enterprise के अलावा बाकी प्लान पर Notion API हर connection को प्रति मिनट कितनी requests की इजाज़त देता है? | 29k | 6.0k | 100% | 100% |
| Notion: मैं API से Notion पेज में लंबे पैराग्राफ़ लिख रहा हूँ। एक request में एक rich text object के text content में ज़्यादा से ज़्यादा कितने कैरेक्टर हो सकते हैं? | 49k | 16k | 100% | 100% |
| Notion: Notion API पर single-part upload में मैं सबसे बड़ी कितनी फ़ाइल भेज सकता हूँ, जिसके बाद multi-part upload पर जाना पड़े? | 71k | 32k | 100% | 100% |
| सवाल | WebMCP के बिना: समय | WebMCP के साथ: समय | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Notion: मैं Notion API के नतीजों को पेज करके पढ़ रहा हूँ। list endpoints पर एक कॉल में सबसे बड़ा page_size कितना माँग सकता हूँ? | 15.8s | 7.6s | 100% | 100% |
| Notion: जब मेरा Notion integration बहुत ज़्यादा requests भेजता है, तो API response body में कौन-सा error code string देता है? | 23.0s | 11.5s | 100% | 100% |
| Notion: Business और Enterprise के अलावा बाकी प्लान पर Notion API हर connection को प्रति मिनट कितनी requests की इजाज़त देता है? | 13.5s | 7.0s | 100% | 100% |
| Notion: मैं API से Notion पेज में लंबे पैराग्राफ़ लिख रहा हूँ। एक request में एक rich text object के text content में ज़्यादा से ज़्यादा कितने कैरेक्टर हो सकते हैं? | 20.5s | 13.3s | 100% | 100% |
| Notion: Notion API पर single-part upload में मैं सबसे बड़ी कितनी फ़ाइल भेज सकता हूँ, जिसके बाद multi-part upload पर जाना पड़े? | 23.1s | 18.6s | 100% | 100% |
| सवाल | WebMCP के बिना: स्टेप | WebMCP के साथ: स्टेप | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Notion: मैं Notion API के नतीजों को पेज करके पढ़ रहा हूँ। list endpoints पर एक कॉल में सबसे बड़ा page_size कितना माँग सकता हूँ? | 6.7 | 3.0 | 100% | 100% |
| Notion: जब मेरा Notion integration बहुत ज़्यादा requests भेजता है, तो API response body में कौन-सा error code string देता है? | 8.0 | 4.7 | 100% | 100% |
| Notion: Business और Enterprise के अलावा बाकी प्लान पर Notion API हर connection को प्रति मिनट कितनी requests की इजाज़त देता है? | 5.3 | 3.0 | 100% | 100% |
| Notion: मैं API से Notion पेज में लंबे पैराग्राफ़ लिख रहा हूँ। एक request में एक rich text object के text content में ज़्यादा से ज़्यादा कितने कैरेक्टर हो सकते हैं? | 7.3 | 4.3 | 100% | 100% |
| Notion: Notion API पर single-part upload में मैं सबसे बड़ी कितनी फ़ाइल भेज सकता हूँ, जिसके बाद multi-part upload पर जाना पड़े? | 8.7 | 7.0 | 100% | 100% |
| सवाल | WebMCP के बिना: लागत | WebMCP के साथ: लागत | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Notion: मैं Notion API के नतीजों को पेज करके पढ़ रहा हूँ। list endpoints पर एक कॉल में सबसे बड़ा page_size कितना माँग सकता हूँ? | $0.016 | $0.0033 | 100% | 100% |
| Notion: जब मेरा Notion integration बहुत ज़्यादा requests भेजता है, तो API response body में कौन-सा error code string देता है? | $0.026 | $0.0079 | 100% | 100% |
| Notion: Business और Enterprise के अलावा बाकी प्लान पर Notion API हर connection को प्रति मिनट कितनी requests की इजाज़त देता है? | $0.016 | $0.0048 | 100% | 100% |
| Notion: मैं API से Notion पेज में लंबे पैराग्राफ़ लिख रहा हूँ। एक request में एक rich text object के text content में ज़्यादा से ज़्यादा कितने कैरेक्टर हो सकते हैं? | $0.022 | $0.0097 | 100% | 100% |
| Notion: Notion API पर single-part upload में मैं सबसे बड़ी कितनी फ़ाइल भेज सकता हूँ, जिसके बाद multi-part upload पर जाना पड़े? | $0.027 | $0.017 | 100% | 100% |
Notion द्वारा रजिस्टर किए गए 5 WebMCP टूल्स
जैसे एजेंट ने देखे · 2026-11-08
| टूल | विवरण | कॉल हुआ |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"pagination page_size"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"errors status code rate limited"}) search_docs({"query":"rate limits requests per minute"}) search_docs({"query":"rich text maximum characters limit"}) search_docs({"query":"\"Size limits\" \"text.content\""}) search_docs({"query":"upload single-part multi-part file"}) search_docs({"query":"working-with-files-and-media single_part"}) | कॉल हुआ |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/file-upload"}) read_page({"path":"https://developers.notion.com/guides/data-apis/sending-larger-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/uploading-small-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/working-with-files-and-media"}) | कॉल हुआ |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –कॉल नहीं हुआ |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –कॉल नहीं हुआ |
read_skill | Read a Notion Docs agent skill document by name. | –कॉल नहीं हुआ |
- gemini-3.8-flash, रीज़निंग medium, हेडलेस Chrome। दोनों पक्षों में एक जैसा प्रॉम्प्ट और स्टेप लिमिट; हर सवाल और पक्ष के लिए 3 रन।
- WebMCP के बिना: DOM-स्नैपशॉट वाला एजेंट, जो पढ़ता, क्लिक करता और फ़ॉर्म भरता है।
- WebMCP के साथ: सिर्फ़ वे टूल्स जो पेज रजिस्टर करता है (उसके अपने, या हमारी टेस्ट साइटों पर webmcpx के)।
- ग्रेडिंग जवाब में मौजूद तथ्यों और पेज की स्टेट से। कोई LLM जज नहीं।
- लाइव साइट: इसके WebMCP टूल्स इसके अपने हैं।
- 6 साइटों पर 30 सवाल, जिनमें 27 सिर्फ़ पढ़ने वाले; सबसे बड़ी बचत साइटों के अपने सर्च टूल से आती है।
- हर सवाल और आर्म पर 3 रन: 3 में 3 सबूत है, 100% का प्रमाण नहीं।
- समय पेज लोड होने के बाद का एजेंट लूप है; लागत तारीख़ वाली सूची क़ीमतों पर मॉडल का API उपयोग है, कैश सहित।
- हर असफल रन नतीजों में कारण बताता है (साइट की रोक, पेज से बाहर का जवाब, स्टेप सीमा…)।
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumKiln & Co लोकल
“आप जो सबसे महँगी teapot बेचते हैं, उसे मेरे कार्ट में डालो।”
5.9×
कम टोकन
12k → 2.1k टोकन
| सवाल | WebMCP के बिना: टोकन | WebMCP के साथ: टोकन | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Kiln & Co (लोकल टेस्ट साइट): आप जो सबसे महँगी teapot बेचते हैं, उसे मेरे कार्ट में डालो। | 12k | 2.1k | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): मेरे कार्ट में एक Stoneware Teapot और एक Speckled Bowl डालो, फिर बताओ कार्ट का कुल कितना हुआ। | 16k | 2.9k | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): सबसे सस्ते नीले मग के दो पीस मेरे कार्ट में डालो। | 10k | 2.2k | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): मुझे $30 से कम का कोई हरा गिफ़्ट चाहिए जो अभी ख़रीदा जा सके। आपके पास क्या है? | 7.3k | 2.6k | 100% | 100% |
| सवाल | WebMCP के बिना: समय | WebMCP के साथ: समय | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Kiln & Co (लोकल टेस्ट साइट): आप जो सबसे महँगी teapot बेचते हैं, उसे मेरे कार्ट में डालो। | 15.3s | 7.2s | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): मेरे कार्ट में एक Stoneware Teapot और एक Speckled Bowl डालो, फिर बताओ कार्ट का कुल कितना हुआ। | 14.0s | 8.0s | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): सबसे सस्ते नीले मग के दो पीस मेरे कार्ट में डालो। | 12.1s | 6.1s | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): मुझे $30 से कम का कोई हरा गिफ़्ट चाहिए जो अभी ख़रीदा जा सके। आपके पास क्या है? | 11.7s | 9.0s | 100% | 100% |
| सवाल | WebMCP के बिना: स्टेप | WebMCP के साथ: स्टेप | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Kiln & Co (लोकल टेस्ट साइट): आप जो सबसे महँगी teapot बेचते हैं, उसे मेरे कार्ट में डालो। | 6.0 | 3.0 | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): मेरे कार्ट में एक Stoneware Teapot और एक Speckled Bowl डालो, फिर बताओ कार्ट का कुल कितना हुआ। | 6.0 | 3.3 | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): सबसे सस्ते नीले मग के दो पीस मेरे कार्ट में डालो। | 5.0 | 3.0 | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): मुझे $30 से कम का कोई हरा गिफ़्ट चाहिए जो अभी ख़रीदा जा सके। आपके पास क्या है? | 4.0 | 3.0 | 100% | 100% |
| सवाल | WebMCP के बिना: लागत | WebMCP के साथ: लागत | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Kiln & Co (लोकल टेस्ट साइट): आप जो सबसे महँगी teapot बेचते हैं, उसे मेरे कार्ट में डालो। | $0.01 | $0.0022 | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): मेरे कार्ट में एक Stoneware Teapot और एक Speckled Bowl डालो, फिर बताओ कार्ट का कुल कितना हुआ। | $0.013 | $0.0031 | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): सबसे सस्ते नीले मग के दो पीस मेरे कार्ट में डालो। | $0.0092 | $0.0023 | 100% | 100% |
| Kiln & Co (लोकल टेस्ट साइट): मुझे $30 से कम का कोई हरा गिफ़्ट चाहिए जो अभी ख़रीदा जा सके। आपके पास क्या है? | $0.0069 | $0.0033 | 100% | 100% |
Kiln & Co द्वारा रजिस्टर किए गए 4 WebMCP टूल्स
जैसे एजेंट ने देखे · 2026-11-08
| टूल | विवरण | कॉल हुआ |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"category":"teapot","sort":"price_desc"}) search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) search_products({"color":"green","max_price":30}) search_products({"color":"green"}) | कॉल हुआ |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | कॉल हुआ |
get_cart | Return the cart: items with quantity and the total in USD. get_cart({}) | कॉल हुआ |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –कॉल नहीं हुआ |
- gemini-3.8-flash, रीज़निंग medium, हेडलेस Chrome। दोनों पक्षों में एक जैसा प्रॉम्प्ट और स्टेप लिमिट; हर सवाल और पक्ष के लिए 3 रन।
- WebMCP के बिना: DOM-स्नैपशॉट वाला एजेंट, जो पढ़ता, क्लिक करता और फ़ॉर्म भरता है।
- WebMCP के साथ: सिर्फ़ वे टूल्स जो पेज रजिस्टर करता है (उसके अपने, या हमारी टेस्ट साइटों पर webmcpx के)।
- ग्रेडिंग जवाब में मौजूद तथ्यों और पेज की स्टेट से। कोई LLM जज नहीं।
- लोकल टेस्ट साइट: इसके टूल्स webmcpx से आते हैं।
- 6 साइटों पर 30 सवाल, जिनमें 27 सिर्फ़ पढ़ने वाले; सबसे बड़ी बचत साइटों के अपने सर्च टूल से आती है।
- हर सवाल और आर्म पर 3 रन: 3 में 3 सबूत है, 100% का प्रमाण नहीं।
- समय पेज लोड होने के बाद का एजेंट लूप है; लागत तारीख़ वाली सूची क़ीमतों पर मॉडल का API उपयोग है, कैश सहित।
- हर असफल रन नतीजों में कारण बताता है (साइट की रोक, पेज से बाहर का जवाब, स्टेप सीमा…)।
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumOrbit docs लोकल
“कौन-सा environment variable Orbit को उसकी config फ़ाइल किसी दूसरे path से पढ़वाता है?”
2.7×
कम टोकन
3.4k → 1.3k टोकन
| सवाल | WebMCP के बिना: टोकन | WebMCP के साथ: टोकन | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Orbit docs (लोकल टेस्ट साइट): कौन-सा environment variable Orbit को उसकी config फ़ाइल किसी दूसरे path से पढ़वाता है? | 3.4k | 1.3k | 100% | 100% |
| Orbit docs (लोकल टेस्ट साइट): मेरा CI स्टेप orbit के exit code 4 के साथ फ़ेल हुआ। इसका क्या मतलब है? | 3.4k | 1.3k | 100% | 100% |
| सवाल | WebMCP के बिना: समय | WebMCP के साथ: समय | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Orbit docs (लोकल टेस्ट साइट): कौन-सा environment variable Orbit को उसकी config फ़ाइल किसी दूसरे path से पढ़वाता है? | 6.9s | 5.2s | 100% | 100% |
| Orbit docs (लोकल टेस्ट साइट): मेरा CI स्टेप orbit के exit code 4 के साथ फ़ेल हुआ। इसका क्या मतलब है? | 5.1s | 5.8s | 100% | 100% |
| सवाल | WebMCP के बिना: स्टेप | WebMCP के साथ: स्टेप | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Orbit docs (लोकल टेस्ट साइट): कौन-सा environment variable Orbit को उसकी config फ़ाइल किसी दूसरे path से पढ़वाता है? | 2.0 | 2.0 | 100% | 100% |
| Orbit docs (लोकल टेस्ट साइट): मेरा CI स्टेप orbit के exit code 4 के साथ फ़ेल हुआ। इसका क्या मतलब है? | 2.0 | 2.0 | 100% | 100% |
| सवाल | WebMCP के बिना: लागत | WebMCP के साथ: लागत | WebMCP के बिना: हल | WebMCP के साथ: हल |
|---|---|---|---|---|
| Orbit docs (लोकल टेस्ट साइट): कौन-सा environment variable Orbit को उसकी config फ़ाइल किसी दूसरे path से पढ़वाता है? | $0.003 | $0.0013 | 100% | 100% |
| Orbit docs (लोकल टेस्ट साइट): मेरा CI स्टेप orbit के exit code 4 के साथ फ़ेल हुआ। इसका क्या मतलब है? | $0.0031 | $0.0015 | 100% | 100% |
Orbit docs द्वारा रजिस्टर किए गए 3 WebMCP टूल्स
जैसे एजेंट ने देखे · 2026-11-08
| टूल | विवरण | कॉल हुआ |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"environment variable config path"}) search_page({"query":"exit code 4"}) | कॉल हुआ |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –कॉल नहीं हुआ |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –कॉल नहीं हुआ |
- gemini-3.8-flash, रीज़निंग medium, हेडलेस Chrome। दोनों पक्षों में एक जैसा प्रॉम्प्ट और स्टेप लिमिट; हर सवाल और पक्ष के लिए 3 रन।
- WebMCP के बिना: DOM-स्नैपशॉट वाला एजेंट, जो पढ़ता, क्लिक करता और फ़ॉर्म भरता है।
- WebMCP के साथ: सिर्फ़ वे टूल्स जो पेज रजिस्टर करता है (उसके अपने, या हमारी टेस्ट साइटों पर webmcpx के)।
- ग्रेडिंग जवाब में मौजूद तथ्यों और पेज की स्टेट से। कोई LLM जज नहीं।
- लोकल टेस्ट साइट: इसके टूल्स webmcpx से आते हैं।
- 6 साइटों पर 30 सवाल, जिनमें 27 सिर्फ़ पढ़ने वाले; सबसे बड़ी बचत साइटों के अपने सर्च टूल से आती है।
- हर सवाल और आर्म पर 3 रन: 3 में 3 सबूत है, 100% का प्रमाण नहीं।
- समय पेज लोड होने के बाद का एजेंट लूप है; लागत तारीख़ वाली सूची क़ीमतों पर मॉडल का API उपयोग है, कैश सहित।
- हर असफल रन नतीजों में कारण बताता है (साइट की रोक, पेज से बाहर का जवाब, स्टेप सीमा…)।
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort medium