webmcpx ベンチマーク：Claude Opus 5.5
リーダーボード
WebMCPでどれだけ節約できるか、モデル別に
一方のエージェントはページのスナップショットを見ながら読み、クリックし、入力します。もう一方はサイトの WebMCP ツールを呼び出します。モデルを選んでください。削減効果の大きい順に並んでいます。
WebMCP での成功率、同率なら 1 回あたりのコストで順位付け。
抜粋したケース：全 30 問中 20 問。WebMCP のトークン使用量が半分以下だった質問です。すべての結果を公開しているほか、just bench で自分で実行することもできます。
Claude Opus 5.5（Anthropic）
Cloudflare
“Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？”
developers.cloudflare.com （Cloudflare を開きます）24×
トークン削減
69k → 2.9k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | 69k | 2.9k | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | 31k | 2.7k | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | 28k | 2.9k | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | 21k | 2.7k | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | 22k | 5.6k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | 6.3s | 4.5s | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | 5.0s | 4.7s | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | 4.7s | 5.4s | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | 4.0s | 3.8s | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | 5.4s | 8.2s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | 4.0 | 2.0 | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | 4.0 | 2.0 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | 4.0 | 2.0 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | 3.0 | 2.0 | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | 3.0 | 3.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Cloudflare：Cloudflare の Workers Free プランでは、Workers は 1 日に何リクエストまで処理でき、どこで上限に達しますか？ | $0.11 | $0.014 | 100% | 100% |
| Cloudflare：Workers Paid プランを使っています。Cloudflare D1 のデータベース 1 つは最大どこまで大きくできますか？ | $0.057 | $0.012 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV のキーはどこまで長くできますか？キーの最大サイズを知りたいです。 | $0.03 | $0.01 | 100% | 100% |
| Cloudflare：Cloudflare Workers KV に保存できる値 1 つの最大サイズはいくつですか？ | $0.036 | $0.011 | 100% | 100% |
| Cloudflare：Cloudflare Queue に送れるメッセージの最大サイズは？メッセージ 1 件あたりの上限が必要です。 | $0.055 | $0.021 | 100% | 100% |
Cloudflare が登録している WebMCP ツール（2 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search | Full-text search across Cloudflare developer documentation. Returns matching pages with titles, URLs, and content snippets. Use this to find documentation on any Cloudflare product or feature. search({"limit":5,"query":"Workers Free plan requests per day limit"}) search({"query":"D1 limits maximum database size Workers Paid"}) search({"query":"Workers KV limits maximum key size"}) search({"query":"Workers KV limits maximum value size"}) search({"limit":5,"query":"Queues limits message size"}) search({"limit":3,"query":"Queues message size 128 KB footnote metadata overhead"}) | 呼び出し |
list-directories | Returns a list of all Cloudflare products available in the developer documentation, including each product's name, docs URL, short description, and category group. Use this to discover what products exist before searching or navigating. | –呼び出しなし |
- claude-opus-5-5、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- 実サイト：独自の WebMCP ツールを提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumNotion
“API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？”
developers.notion.com （Notion を開きます）7.0×
トークン削減
19k → 2.7k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | 19k | 2.7k | 100% | 100% |
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | 22k | 4.9k | 100% | 100% |
| Notion：Notion API へのシングルパートアップロードで送れるファイルの最大サイズは？それを超えるとマルチパートに切り替える必要があります。 | 19k | 4.9k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | 8.9s | 4.0s | 100% | 100% |
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | 11.7s | 5.7s | 100% | 100% |
| Notion：Notion API へのシングルパートアップロードで送れるファイルの最大サイズは？それを超えるとマルチパートに切り替える必要があります。 | 9.4s | 5.1s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | 4.0 | 2.0 | 100% | 100% |
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | 5.0 | 2.7 | 100% | 100% |
| Notion：Notion API へのシングルパートアップロードで送れるファイルの最大サイズは？それを超えるとマルチパートに切り替える必要があります。 | 3.7 | 3.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Notion：API で Notion のページに長い段落を書き込んでいます。1 回のリクエストで、rich text オブジェクト 1 つのテキスト内容は最大何文字までですか？ | $0.054 | $0.0076 | 100% | 100% |
| Notion：Notion API の結果をページングしています。一覧系エンドポイントで 1 回の呼び出しに指定できる page_size の最大値はいくつですか？ | $0.047 | $0.017 | 100% | 100% |
| Notion：Notion API へのシングルパートアップロードで送れるファイルの最大サイズは？それを超えるとマルチパートに切り替える必要があります。 | $0.051 | $0.011 | 100% | 100% |
Notion が登録している WebMCP ツール（5 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_docs | Search the Notion Docs documentation for relevant pages and content. search_docs({"query":"rich text object text content character limit request"}) search_docs({"query":"pagination page_size maximum"}) search_docs({"query":"file upload size limit single-part multi-part"}) search_docs({"query":"upload files larger than 20 MB multi-part"}) | 呼び出し |
get_site_overview | Get an outline of the Notion Docs documentation, grouped by section, with a short description of each page. May be truncated for large sites; use search_docs to find pages not listed. | –呼び出しなし |
navigate_page | Navigate the current browser tab to a Notion Docs documentation page. | –呼び出しなし |
read_page | Read the full content of a Notion Docs documentation page as markdown. | –呼び出しなし |
read_skill | Read a Notion Docs agent skill document by name. | –呼び出しなし |
- claude-opus-5-5、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- 実サイト：独自の WebMCP ツールを提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumKiln & Co テスト
“Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。”
4.4×
トークン削減
19k → 4.3k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | 19k | 4.3k | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | 12k | 3.7k | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | 7.7k | 3.8k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | 6.3s | 3.5s | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | 6.2s | 3.1s | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | 10.5s | 3.2s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | 5.0 | 3.0 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | 4.0 | 3.0 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | 3.0 | 3.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Kiln & Co（ローカルのテストサイト）：Stoneware Teapot と Speckled Bowl を 1 つずつカートに入れて、カートの合計金額を教えてください。 | $0.028 | $0.011 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：取り扱っている中でいちばん高いティーポットをカートに入れてください。 | $0.024 | $0.0068 | 100% | 100% |
| Kiln & Co（ローカルのテストサイト）：いちばん安い青いマグを 2 つカートに入れてください。 | $0.021 | $0.0074 | 100% | 100% |
Kiln & Co が登録している WebMCP ツール（4 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_products | Search the catalog. Every filter is optional; with none, returns every product. Prices are USD. search_products({"query":"Stoneware Teapot"}) search_products({"query":"Speckled Bowl"}) search_products({"category":"teapot","sort":"price_desc"}) search_products({"category":"mug","color":"blue","sort":"price_asc"}) | 呼び出し |
add_to_cart | Add a product to the cart by sku. Adding a sku already in the cart increases its quantity. add_to_cart({"sku":"TPT-01"}) add_to_cart({"sku":"BWL-01"}) add_to_cart({"sku":"TPT-02"}) add_to_cart({"quantity":2,"sku":"MUG-03"}) | 呼び出し |
get_cart | Return the cart: items with quantity and the total in USD. | –呼び出しなし |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –呼び出しなし |
- claude-opus-5-5、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- ローカルのテストサイト：ツールは webmcpx が提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumspecification.website
“このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？”
specification.website （specification.website を開きます）3.5×
トークン削減
25k → 7.3k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | 25k | 7.3k | 100% | 100% |
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | 24k | 7.3k | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | 22k | 7.4k | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | 23k | 8.5k | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | 15k | 6.6k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | 6.3s | 5.2s | 100% | 100% |
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | 6.4s | 5.1s | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | 17.2s | 6.0s | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | 7.4s | 6.7s | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | 4.9s | 3.7s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | 4.7 | 3.0 | 100% | 100% |
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | 5.0 | 3.0 | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | 4.0 | 3.0 | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | 4.7 | 3.0 | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | 4.0 | 3.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| specification.website：このサイトの仕様は、標準サイズの本文テキストに最低どのくらいのコントラスト比を求めていますか？ | $0.041 | $0.015 | 100% | 100% |
| specification.website：この仕様によると、ページの meta description はどのくらいの長さにすべきですか？ | $0.033 | $0.018 | 100% | 100% |
| specification.website：この仕様によると、本番環境の HSTS ヘッダーにはどの max-age を設定すべきですか？ | $0.064 | $0.02 | 100% | 100% |
| specification.website：この仕様は、ボタンなどのインタラクティブな要素に最低どのくらいのタップ領域を求めていますか？ | $0.038 | $0.018 | 100% | 100% |
| specification.website：この仕様では、良好な応答性の目標として INP をいくつに定めていますか？ | $0.02 | $0.013 | 100% | 100% |
specification.website が登録している WebMCP ツール（5 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_spec | Search The Website Specification for matching topics. Returns ranked results with title, status, category, canonical URL, and a one-line summary. Use this when the user asks about a topic by keyword (e.g. "CSP", "alt text", "llms.txt"). search_spec({"limit":3,"query":"color contrast ratio text"}) search_spec({"limit":3,"query":"meta description length"}) search_spec({"limit":3,"query":"HSTS max-age"}) search_spec({"query":"tap target size"}) search_spec({"limit":3,"query":"INP Interaction to Next Paint"}) search_spec({"limit":5,"query":"Core Web Vitals responsiveness"}) | 呼び出し |
get_topic | Fetch the Markdown for one spec page by its slug, returned as lines you can page through. Use this after search_spec or list_topics to read the canonical guidance. get_topic({"slug":"color-contrast"}) get_topic({"slug":"meta-description"}) get_topic({"slug":"hsts"}) get_topic({"slug":"touch-target-size"}) | 呼び出し |
list_topics | List spec topics, optionally filtered by category and/or status. Returns title, status, category, summary, and URL per topic. Use this when the user wants the canonical list (e.g. "all required SEO topics"). Results are paged — follow page/page_size to walk the whole list. | –呼び出しなし |
open_checklist | Navigate the user to the full spec checklist page. Optionally jumps to a category section via URL hash. UI action — does not return data. | –呼び出しなし |
open_search | Open the on-page ⌘K search overlay so the user can search the spec interactively. Optionally pre-fills a query. UI action — does not return results; use search_spec for that. | –呼び出しなし |
- claude-opus-5-5、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- 実サイト：独自の WebMCP ツールを提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort mediumOrbit docs テスト
“CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？”
2.3×
トークン削減
5.6k → 2.4k トークン
| 質問 | WebMCP なし：トークン | WebMCP あり：トークン | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | 5.6k | 2.4k | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit はロールバック用に、過去のリリースをデフォルトでいくつ保持しますか？ | 5.4k | 2.4k | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | 5.4k | 2.4k | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：orbit deploy を実行するとき、どのロールアウト戦略を選べますか？ | 5.5k | 2.4k | 100% | 100% |
| 質問 | WebMCP なし：時間 | WebMCP あり：時間 | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | 4.0s | 4.4s | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit はロールバック用に、過去のリリースをデフォルトでいくつ保持しますか？ | 2.4s | 2.5s | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | 2.5s | 2.5s | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：orbit deploy を実行するとき、どのロールアウト戦略を選べますか？ | 3.2s | 7.4s | 100% | 100% |
| 質問 | WebMCP なし：ステップ | WebMCP あり：ステップ | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | 2.0 | 2.0 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit はロールバック用に、過去のリリースをデフォルトでいくつ保持しますか？ | 2.0 | 2.0 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | 2.0 | 2.0 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：orbit deploy を実行するとき、どのロールアウト戦略を選べますか？ | 2.0 | 2.0 | 100% | 100% |
| 質問 | WebMCP なし：コスト | WebMCP あり：コスト | WebMCP なし：成功 | WebMCP あり：成功 |
|---|---|---|---|---|
| Orbit docs（ローカルのテストサイト）：CI のステップが orbit の終了コード 4 で失敗しました。これはどういう意味ですか？ | $0.013 | $0.01 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit はロールバック用に、過去のリリースをデフォルトでいくつ保持しますか？ | $0.011 | $0.0095 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：Orbit に別のパスから設定ファイルを読ませる環境変数はどれですか？ | $0.017 | $0.0058 | 100% | 100% |
| Orbit docs（ローカルのテストサイト）：orbit deploy を実行するとき、どのロールアウト戦略を選べますか？ | $0.012 | $0.0071 | 100% | 100% |
Orbit docs が登録している WebMCP ツール（3 個）
エージェントが受け取った内容 · 2026-11-08
| ツール | 説明 | 呼び出し |
|---|---|---|
search_page | Find passages on the current page that match a query. Returns up to `limit` passages ranked by relevance, each with its section heading and a link to it. Prefer it to reading the whole page when looking for something specific. search_page({"query":"exit code 4"}) search_page({"query":"past releases kept for rollback default"}) search_page({"query":"environment variable config file path"}) search_page({"query":"orbit deploy rollout strategy"}) | 呼び出し |
fetch_as_markdown | Return the main content of the current page as Markdown. Long pages come in parts: when `truncated` is true, call again with `cursor` set to `next_cursor`. | –呼び出しなし |
get_page_context | Describe the page the user is on: title, URL, language, meta description, heading outline and the text the user has selected. Use it for the page's structure or the user's selection; to find a fact on the page, call search_page instead. | –呼び出しなし |
- claude-opus-5-5、推論レベル medium、ヘッドレス Chrome。両条件で同じプロンプトとステップ上限を使い、質問と条件ごとに 3 回実行しています。
- WebMCP なし：DOM スナップショットを読み、クリックし、入力するエージェント。
- WebMCP あり：ページが登録したツールだけを使用（サイト独自のもの、またはテスト用サイトでは webmcpx のもの）。
- 回答に含まれる事実とページの状態で採点します。LLM ジャッジは使いません。
- ローカルのテストサイト：ツールは webmcpx が提供しています。
- 6 サイトで 30 問、うち 27 問は読み取りのみ。最大の削減はサイト自身の検索ツールによるもの。
- 質問とアームごとに 3 回実行。3/3 は根拠であって 100% の証明ではない。
- 時間はページ読み込み後のエージェントループ。コストは日付付き定価でのモデルの API 使用量 (キャッシュ込み)。
- 失敗した実行には結果に理由が記録される (ボット確認、ページ外の回答、ステップ上限など)。
git clone https://github.com/webmcpx/webmcpx
cd webmcpx && just setup
ANTHROPIC_API_KEY=... just bench --model claude-opus-5-5 --reasoning-effort medium