webmcpx ベンチマーク：Gemini 3.8 Flash
リーダーボード
WebMCPでどれだけ節約できるか、モデル別に
一方のエージェントはページのスナップショットを見ながら読み、クリックし、入力します。もう一方はサイトの WebMCP ツールを呼び出します。モデルを選んでください。削減効果の大きい順に並んでいます。
WebMCP での成功率、同率なら 1 回あたりのコストで順位付け。
抜粋したケース：全 30 問中 21 問。WebMCP のトークン使用量が半分以下だった質問です。すべての結果を公開しているほか、just bench で自分で実行することもできます。
Gemini 3.8 Flash（Google）
Cloudflare
“Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？”
developers.cloudflare.com （Cloudflare を開きます）46×
トークン削減
72k → 1.6k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | 72k | 1.6k | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | 41k | 1.5k | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | 34k | 1.4k | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | 29k | 1.4k | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | 42k | 4.9k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | 14.4s | 5.8s | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | 40.3s | 6.8s | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | 11.0s | 5.2s | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | 10.7s | 6.9s | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | 14.8s | 12.9s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | 5.7 | 2.0 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | 6.0 | 2.0 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | 5.3 | 2.0 | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | 4.7 | 2.0 | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | 6.0 | 3.7 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | $0.03 | $0.0017 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | $0.015 | $0.0017 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | $0.014 | $0.0016 | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | $0.014 | $0.0016 | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | $0.017 | $0.0044 | 100% | 100% |
Cloudflare が登録している WebMCP ツール（2 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"query":"Workers Free plan request limit per day"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"query":"D1 limits maximum database size paid plan"}) search({"query":"Queues limits message size"}) | 呼び出し |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –呼び出しなし |
- gemini-3.8-flash、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- 実サイト：独自の WebMCP ツールを提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumspecification.website
“この仕様によると、ページの meta description はどのくらいの長さにすべきですか？”
specification.website （specification.website を開きます）13×
トークン削減
64k → 4.9k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | 64k | 4.9k | 100% | 100% |
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | 50k | 4.8k | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | 47k | 5.4k | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | 22k | 4.4k | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | 23k | 4.8k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | 26.1s | 7.3s | 100% | 100% |
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | 21.7s | 7.1s | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | 24.0s | 8.1s | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | 14.1s | 7.2s | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | 13.9s | 6.8s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | 10.0 | 3.0 | 100% | 100% |
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | 8.0 | 3.0 | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | 9.0 | 3.0 | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | 6.0 | 3.0 | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | 6.0 | 3.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | $0.025 | $0.0045 | 100% | 100% |
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | $0.025 | $0.0043 | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | $0.022 | $0.0052 | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | $0.015 | $0.0042 | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | $0.013 | $0.0043 | 100% | 100% |
specification.website が登録している WebMCP ツール（5 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"query":"meta description"}) search_spec({"query":"contrast ratio"}) search_spec({"query":"tap target size"}) search_spec({"query":"HSTS"}) search_spec({"query":"INP"}) | 呼び出し |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"meta-description"}) get_topic({"slug":"color-contrast"}) get_topic({"slug":"touch-target-size"}) get_topic({"slug":"hsts"}) get_topic({"slug":"core-web-vitals"}) | 呼び出し |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –呼び出しなし |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –呼び出しなし |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –呼び出しなし |
- gemini-3.8-flash、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- 実サイト：独自の WebMCP ツールを提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumNotion
“Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？”
developers.notion.com （Notion を開きます）8.2×
トークン削減
29k → 3.5k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | 29k | 3.5k | 100% | 100% |
| Notion：Notion インテグレーションがリクエストを送りすぎたとき、API はレスポンスボディにどのエラーコード文字列を返しますか？ | 68k | 9.2k | 100% | 100% |
| Notion：Business と Enterprise 以外のプランで、Notion API は接続ごとに 1 分あたり何リクエストまで許可していますか？ | 29k | 6.0k | 100% | 100% |
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | 49k | 16k | 100% | 100% |
| Notion：Notion API へのシングルパートアップロードで送れるファイルの最大サイズは？それを超えるとマルチパートに切り替える必要があります。 | 71k | 32k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | 15.8s | 7.6s | 100% | 100% |
| Notion：Notion インテグレーションがリクエストを送りすぎたとき、API はレスポンスボディにどのエラーコード文字列を返しますか？ | 23.0s | 11.5s | 100% | 100% |
| Notion：Business と Enterprise 以外のプランで、Notion API は接続ごとに 1 分あたり何リクエストまで許可していますか？ | 13.5s | 7.0s | 100% | 100% |
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | 20.5s | 13.3s | 100% | 100% |
| Notion：Notion API へのシングルパートアップロードで送れるファイルの最大サイズは？それを超えるとマルチパートに切り替える必要があります。 | 23.1s | 18.6s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | 6.7 | 3.0 | 100% | 100% |
| Notion：Notion インテグレーションがリクエストを送りすぎたとき、API はレスポンスボディにどのエラーコード文字列を返しますか？ | 8.0 | 4.7 | 100% | 100% |
| Notion：Business と Enterprise 以外のプランで、Notion API は接続ごとに 1 分あたり何リクエストまで許可していますか？ | 5.3 | 3.0 | 100% | 100% |
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | 7.3 | 4.3 | 100% | 100% |
| Notion：Notion API へのシングルパートアップロードで送れるファイルの最大サイズは？それを超えるとマルチパートに切り替える必要があります。 | 8.7 | 7.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | $0.016 | $0.0033 | 100% | 100% |
| Notion：Notion インテグレーションがリクエストを送りすぎたとき、API はレスポンスボディにどのエラーコード文字列を返しますか？ | $0.026 | $0.0079 | 100% | 100% |
| Notion：Business と Enterprise 以外のプランで、Notion API は接続ごとに 1 分あたり何リクエストまで許可していますか？ | $0.016 | $0.0048 | 100% | 100% |
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | $0.022 | $0.0097 | 100% | 100% |
| Notion：Notion API へのシングルパートアップロードで送れるファイルの最大サイズは？それを超えるとマルチパートに切り替える必要があります。 | $0.027 | $0.017 | 100% | 100% |
Notion が登録している WebMCP ツール（5 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"pagination page_size"}) search_docs({"query":"rate limit error code"}) search_docs({"query":"errors status code rate limited"}) search_docs({"query":"rate limits requests per minute"}) search_docs({"query":"rich text maximum characters limit"}) search_docs({"query":"\"Size limits\" \"text.content\""}) search_docs({"query":"upload single-part multi-part file"}) search_docs({"query":"working-with-files-and-media single_part"}) | 呼び出し |
read_page | Read the full content of a Notion Docs documentation page as markdown. read_page({"path":"https://developers.notion.com/reference/pagination"}) read_page({"path":"https://developers.notion.com/reference/status-codes"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/request-limits"}) read_page({"path":"https://developers.notion.com/reference/file-upload"}) read_page({"path":"https://developers.notion.com/guides/data-apis/sending-larger-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/uploading-small-files"}) read_page({"path":"https://developers.notion.com/guides/data-apis/working-with-files-and-media"}) | 呼び出し |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –呼び出しなし |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –呼び出しなし |
read_skill | Read a Notion Docs agent skill document by name. | –呼び出しなし |
- gemini-3.8-flash、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- 実サイト：独自の WebMCP ツールを提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumKiln & Co テスト
“取り扱っている中でいちばん高いティーポットをカートに入れてください。”
5.9×
トークン削減
12k → 2.1k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | 12k | 2.1k | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | 16k | 2.9k | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | 10k | 2.2k | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：$30 未満で今すぐ買える緑色のギフトを探しています。何がありますか？ | 7.3k | 2.6k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | 15.3s | 7.2s | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | 14.0s | 8.0s | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | 12.1s | 6.1s | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：$30 未満で今すぐ買える緑色のギフトを探しています。何がありますか？ | 11.7s | 9.0s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | 6.0 | 3.0 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | 6.0 | 3.3 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | 5.0 | 3.0 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：$30 未満で今すぐ買える緑色のギフトを探しています。何がありますか？ | 4.0 | 3.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | $0.01 | $0.0022 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | $0.013 | $0.0031 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | $0.0092 | $0.0023 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：$30 未満で今すぐ買える緑色のギフトを探しています。何がありますか？ | $0.0069 | $0.0033 | 100% | 100% |
Kiln & Co が登録している WebMCP ツール（4 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"category":"teapot","sort":"price_desc"}) search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) search_products({"color":"green","max_price":30}) search_products({"color":"green"}) | 呼び出し |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"quantity":1,"sku":"TPT-02"}) add_to_cart({"quantity":1,"sku":"TPT-01"}) add_to_cart({"quantity":1,"sku":"BWL-01"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | 呼び出し |
get_cart | Return the cart: items with quantity and the total in USD. get_cart({}) | 呼び出し |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –呼び出しなし |
- gemini-3.8-flash、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- ローカルのテストサイト：ツールは webmcpx が提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort mediumOrbit docs テスト
“Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？”
2.7×
トークン削減
3.4k → 1.3k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | 3.4k | 1.3k | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | 3.4k | 1.3k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | 6.9s | 5.2s | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | 5.1s | 5.8s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | 2.0 | 2.0 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | 2.0 | 2.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | $0.003 | $0.0013 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | $0.0031 | $0.0015 | 100% | 100% |
Orbit docs が登録している WebMCP ツール（3 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"environment variable config path"}) search_page({"query":"exit code 4"}) | 呼び出し |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –呼び出しなし |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –呼び出しなし |
- gemini-3.8-flash、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- ローカルのテストサイト：ツールは webmcpx が提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
GEMINI_API_KEY=... just bench --model gemini-3.8-flash --reasoning-effort medium