webmcpx ベンチマーク：Gemini 4 Argon
リーダーボード
WebMCPでどれだけ節約できるか、モデル別に
一方のエージェントはページのスナップショットを見ながら読み、クリックし、入力します。もう一方はサイトの WebMCP ツールを呼び出します。モデルを選んでください。削減効果の大きい順に並んでいます。
WebMCP での成功率、同率なら 1 回あたりのコストで順位付け。
抜粋したケース：全 30 問中 21 問。WebMCP のトークン使用量が半分以下だった質問です。すべての結果を公開しているほか、just bench で自分で実行することもできます。
Gemini 4 Argon（Google）
Cloudflare
“Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？”
developers.cloudflare.com （Cloudflare を開きます）42×
トークン削減
62k → 1.5k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | 62k | 1.5k | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | 44k | 1.4k | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | 41k | 1.4k | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | 41k | 1.5k | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | 42k | 15k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | 121.6s | 40.8s | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | 71.4s | 38.4s | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | 99.0s | 19.6s | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | 55.3s | 32.1s | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | 550.5s | 120.6s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | 5.3 | 2.0 | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | 6.0 | 2.0 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | 6.0 | 2.0 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | 6.0 | 2.0 | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | 6.0 | 6.7 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | $0.064 | $0.0037 | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | $0.041 | $0.0037 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | $0.036 | $0.0035 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | $0.042 | $0.0036 | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | $0.043 | $0.028 | 100% | 100% |
Cloudflare が登録している WebMCP ツール（2 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan requests per day limit"}) search({"query":"D1 limits maximum database size Workers Paid"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Cloudflare Queues limits message size"}) search({"query":"\"Maximum message size\" queues OR \"Message size\" queues KB MB"}) search({"query":"\"128 KB\" OR \"256 KB\" OR \"64 KB\" queues limits"}) search({"query":"\"128 KB\" queues metadata serialization"}) search({"query":"\"Maximum messages per sendBatch call\" \"Message size\""}) search({"query":"\"256KB in total\""}) | 呼び出し |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –呼び出しなし |
- gemini-4-argon、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- 実サイト：独自の WebMCP ツールを提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumNotion
“Business と Enterprise 以外のプランで、Notion API は接続ごとに 1 分あたり何リクエストまで許可していますか？”
developers.notion.com （Notion を開きます）17×
トークン削減
24k → 1.4k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：Business と Enterprise 以外のプランで、Notion API は接続ごとに 1 分あたり何リクエストまで許可していますか？ | 24k | 1.4k | 100% | 100% |
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | 22k | 3.5k | 100% | 100% |
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | 24k | 6.1k | 100% | 100% |
| Notion：Notion インテグレーションがリクエストを送りすぎたとき、API はレスポンスボディにどのエラーコード文字列を返しますか？ | 24k | 7.2k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：Business と Enterprise 以外のプランで、Notion API は接続ごとに 1 分あたり何リクエストまで許可していますか？ | 158.7s | 28.7s | 100% | 100% |
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | 151.0s | 51.5s | 100% | 100% |
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | 158.7s | 62.8s | 100% | 100% |
| Notion：Notion インテグレーションがリクエストを送りすぎたとき、API はレスポンスボディにどのエラーコード文字列を返しますか？ | 163.8s | 72.4s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：Business と Enterprise 以外のプランで、Notion API は接続ごとに 1 分あたり何リクエストまで許可していますか？ | 6.0 | 2.0 | 100% | 100% |
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | 6.0 | 3.0 | 100% | 100% |
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | 6.0 | 3.0 | 100% | 100% |
| Notion：Notion インテグレーションがリクエストを送りすぎたとき、API はレスポンスボディにどのエラーコード文字列を返しますか？ | 6.0 | 3.7 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：Business と Enterprise 以外のプランで、Notion API は接続ごとに 1 分あたり何リクエストまで許可していますか？ | $0.034 | $0.0034 | 100% | 100% |
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | $0.033 | $0.0081 | 100% | 100% |
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | $0.035 | $0.014 | 100% | 100% |
| Notion：Notion インテグレーションがリクエストを送りすぎたとき、API はレスポンスボディにどのエラーコード文字列を返しますか？ | $0.035 | $0.017 | 100% | 100% |
Notion が登録している WebMCP ツール（5 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"requests per minute connection Business Enterprise"}) search_docs({"query":"page_size pagination"}) search_docs({"query":"rich text object character limit request limits"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"Request limits status codes rate_limited"}) | 呼び出し |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) | 呼び出し |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –呼び出しなし |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –呼び出しなし |
read_skill | Read a Notion Docs agent skill document by name. | –呼び出しなし |
- gemini-4-argon、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- 実サイト：独自の WebMCP ツールを提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumspecification.website
“この仕様によると、ページの meta description はどのくらいの長さにすべきですか？”
specification.website （specification.website を開きます）6.1×
トークン削減
30k → 4.9k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | 30k | 4.9k | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | 22k | 4.5k | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | 23k | 4.7k | 100% | 100% |
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | 23k | 4.7k | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | 24k | 5.6k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | 126.7s | 70.5s | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | 140.6s | 50.5s | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | 105.5s | 56.0s | 100% | 100% |
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | 79.6s | 45.5s | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | 195.8s | 52.4s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | 6.0 | 3.0 | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | 6.0 | 3.0 | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | 6.0 | 3.0 | 100% | 100% |
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | 6.0 | 3.0 | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | 6.0 | 3.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | $0.033 | $0.011 | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | $0.028 | $0.011 | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | $0.027 | $0.01 | 100% | 100% |
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | $0.03 | $0.01 | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | $0.029 | $0.014 | 100% | 100% |
specification.website が登録している WebMCP ツール（5 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP responsiveness"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) | 呼び出し |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) | 呼び出し |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –呼び出しなし |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –呼び出しなし |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –呼び出しなし |
- gemini-4-argon、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- 実サイト：独自の WebMCP ツールを提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumKiln & Co テスト
“Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。”
4.7×
トークン削減
16k → 3.4k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | 16k | 3.4k | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：$30 未満で今すぐ買える緑色のギフトを探しています。何がありますか？ | 5.5k | 1.3k | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | 7.6k | 2.1k | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | 7.9k | 2.2k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | 89.0s | 32.2s | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：$30 未満で今すぐ買える緑色のギフトを探しています。何がありますか？ | 80.1s | 26.4s | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | 49.0s | 49.8s | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | 64.5s | 43.1s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | 6.0 | 3.0 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：$30 未満で今すぐ買える緑色のギフトを探しています。何がありますか？ | 3.3 | 2.0 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | 4.0 | 3.0 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | 4.0 | 3.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | $0.027 | $0.0079 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：$30 未満で今すぐ買える緑色のギフトを探しています。何がありますか？ | $0.013 | $0.0037 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | $0.017 | $0.005 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | $0.018 | $0.0057 | 100% | 100% |
Kiln & Co が登録している WebMCP ツール（4 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({}) search_products({"color":"green","max_price":30}) search_products({"category":"teapot","sort":"price_desc"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) | 呼び出し |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | 呼び出し |
get_cart | Return the cart: items with quantity and the total in USD. | –呼び出しなし |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –呼び出しなし |
- gemini-4-argon、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- ローカルのテストサイト：ツールは webmcpx が提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort mediumOrbit docs テスト
“CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？”
2.7×
トークン削減
3.4k → 1.3k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | 3.4k | 1.3k | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | 3.4k | 1.3k | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：orbit deploy を実行するとき、どのロールアウト戦略を選べますか？ | 3.4k | 1.7k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | 128.4s | 34.1s | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | 24.7s | 20.0s | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：orbit deploy を実行するとき、どのロールアウト戦略を選べますか？ | 37.7s | 37.1s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | 2.0 | 2.0 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | 2.0 | 2.0 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：orbit deploy を実行するとき、どのロールアウト戦略を選べますか？ | 2.0 | 2.3 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | $0.0077 | $0.0032 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | $0.0076 | $0.0032 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：orbit deploy を実行するとき、どのロールアウト戦略を選べますか？ | $0.0073 | $0.0043 | 100% | 100% |
Orbit docs が登録している WebMCP ツール（3 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"exit code 4"}) search_page({"query":"environment variable config file path"}) search_page({"query":"orbit deploy rollout strategies"}) search_page({"query":"--strategy"}) | 呼び出し |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –呼び出しなし |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –呼び出しなし |
- gemini-4-argon、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- ローカルのテストサイト：ツールは webmcpx が提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-4-argon --reasoning-effort medium