Skip to main content

Jev AI / ガイド

Cloudflare Clef vs Jev:オープンウェイト判定モデルの選び方

2026 年 9 月、TypeSafe AI の Jev が「判定モデル(decision model)」という言葉を広めました。その 2 週間後の 10 月 1 日、Cloudflare は比較可能な 2 つのモデル——Clef と Clef-flash——をリリースしました。Workers AI でホストされ、Apache-2.0 のオープンウェイトとして Hugging Face でも公開されています。

Clef の立ち位置は明快です:Jev に真っ向から挑み、「オープンウェイト + マルチモーダル + セルフホスト可能」を差別化要因にする。 27B で、ビジョンエンコーダーを搭載し、64k のコンテキストウィンドウをサポートし、Jev / SystemOne API と完全互換です。技術評価を行う人にとって、問題はもはや判定モデルが有用かどうかではなく、ホスト型 API とオープンウェイトのセルフホストのどちらがチームに合うかです。

以下のベンチマークはすべて Cloudflare が公開した社内実行結果に基づきます。明らかに不適合な候補を除外するには十分ですが、自社データでの再テストの代わりにはなりません。

要約

  • ゼロ運用・最大精度:Jev と Clef のホスト版はいずれも使えます。Clef はほとんどの分類ベンチマークでリードし、マルチモーダル入力は Clef だけの特徴です。最速で試すなら、defapi の Clef ホスト型 API を有料で利用できます。
  • 画像または動画の入力:Jev は現時点でテキスト専用です。Clef が唯一の選択肢です。
  • セルフホストまたはデータレジデンシー:Clef の Apache-2.0 ウェイトは厳格な要件で優位に立ちます。代償は 27B の GPU フットプリントと運用です。
  • 極めて低いレイテンシ:Clef-flash(9B、中央値 38.8ms)は Jev(524ms)より桁違いに速く、精度はいくらか犠牲になります。
  • とりあえず試したい:どちらも互換 API から始められますが、公開ベンチマークに調達検証を置き換えさせないでください。

すでに Jev vs Laya の比較 を読んだ方は、本記事が同じ枠組みを 3 つ目の候補に適用したものだと捉えてください。

Clef とは

Clef は Cloudflare が訓練した判定モデルのファミリーです。主な特徴:

項目ClefClef-flash
バックボーンQwen3.8-27B(ビジョンエンコーダー付き)Qwen3.5-9B
入力テキスト、JSON、画像、動画テキスト、JSON、画像、動画
コンテキスト64k64k
出力質問ごとの各許可選択肢に 1 つの logit、質問ごとに softmax同じ
ライセンスApache-2.0Apache-2.0
ホスティングCloudflare Workers AICloudflare Workers AI

その動作は Jev と同じカテゴリーですが、実装は異なります:自由形式のテキスト生成はなく、出力のパースもありません。state(テキスト、JSON、画像、動画)と一連の型付きスキーマ質問を渡すと、単一のフォワードパスで、すべての質問のすべての許可選択肢の確率を返します。

命名について、Cloudflare は音楽のメタファーを用いています:譜表の先頭にある clef(音部記号)が線と間に音名を割り当てるように、判定モデルは後続の行動を決めるコンテキストの領域を定義します。「CF」は Cloudflare へのオマージュでもあります。

アーキテクチャ:prefill + 並列スコアリングであり、トークン単位の生成ではない

Clef を理解する鍵は、自己回帰ではないという点です:

  1. Qwen バックボーンが入力全体に対して prefill のみのフォワードパスを実行します。
  2. 小さな joint schema head がバックボーンの最終隠れ状態を読み取り、state からの証拠を各質問にルーティングし、すべての質問のすべての選択肢を合同でスコアリングします。
  3. 各選択肢が logit を受け取り、質問ごとの softmax がそれを確率に変換します。

中間生成テキストはありません。LLM が推論を生成してから JSON にフォーマットするのに対し、Clef はスキーマの選択をバックボーンの内部表現から直接導出します。

Cloudflare の 2 段階アテンションルーティングは覚えておく価値があります:各有効な選択肢はまず自分に関連するコンテキストを抽出し(選択肢固有の証拠ルーティング)、次にフィールド同士が相互に、そして元のペイロードにクロスアテンドし(合同クロスフィールドアテンション)、その後スキーマに束縛されたスコアリングが行われます。**語彙事前分布(lexical prior)**が選択肢をまたいで意味的意図を保持します。

訓練では、Cloudflare は Qwen バックボーンを凍結し、ルーティングヘッドを rank-256 の LoRA アダプターとともに合同で最適化しました:

  • ラベルスムージング付き交差エントロピー(有効なスキーマ出力を保証するため)
  • Brier 損失(確率較正を改善するため)
  • 二次目的としての RLCD(Reinforcement Learning for Calibrated Decisions)。隣接する順序選択肢に部分点を与え、完全に正確なレコードに報酬を与え、分布シフトを防ぐための参照ペナルティを課します。

ここに興味深い詳細があります:Cloudflare は Jev のローンチと同じ週に、DiffusionGemma 上に構築した判定モデルの実験を公開していました。Clef はその流れの延長であり、バックボーンが異なるだけです。Jev のアーキテクチャのコピーではなく、LLM の logprob を決定論的な確率として公開するという独立した道筋から生まれました。

Jev / SystemOne との互換性

Clef は完全互換です。同じ POST /v1/systemone リクエストボディが、同じ model、answers、usage 構造を返します。choice の回答には choice / confidence / probabilities があり、score の回答には期待される score / confidence / legend / probabilities があり、noul の回答は命題が真である確率を返します。

3 つのプリミティブは Jev と一致します:

プリミティブ意味戻り値
noul二値命題、真/偽0.0 から 1.0 の間の確率
choice名前付き選択肢から 1 つ選ぶ選択肢 + 信頼度 + 選択肢ごとの確率
score順序付き選択肢を評価期待スコア + 信頼度 + レベルごとの確率

すでに Jev を統合しているシステムにとって、これは移行コストが非常に低いことを意味します——同じクライアントを 2 つのプロバイダーの背後に置いてシャドウトラフィックを流すこともできます。ただし 1 つ警告があります:wire protocol の互換性は意味的な等価性ではありません。 選択肢の上限、信頼度の計算式、較正曲線はモデル間で異なる可能性があるため、古い閾値は境界サンプルで再検証する必要があります。

具体的な公式例(Cloudflare Workers AI エンドポイント):

curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef \
  -X POST \
  -H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
  -d '{
    "model": "clef",
    "state": "Checkout has been failing for every customer for the last hour.",
    "questions": {
      "urgent": { "type": "noul", "instructions": "Is this support request urgent?" },
      "team": {
        "type": "choice",
        "instructions": "Which team should handle this request?",
        "criteria": {
          "billing": "Payments, invoices, and refunds",
          "technical": "Outages, errors, and configuration",
          "sales": "Plans and upgrades"
        }
      },
      "severity": {
        "type": "score",
        "instructions": "How severe is the customer impact?",
        "criteria": ["No impact", "Minor", "Major", "Critical"]
      }
    }
  }'

マルチモーダル:現在 Clef だけが持つ機能

これが Jev に対する Clef の最も明確な製品上の違いです。Jev はテキストのみを分類しますが、Clef はビジョンエンコーダーを搭載し、画像と動画フレームを読み取れます。

使い方は、レコードに images(PIL 画像)または videos(フレーム配列)を追加し、プロセッサを encode_record に渡すだけです。任意のプロセッサ引数は media_kwargs に入れます。テキストのみのレコードとマルチモーダルのレコードは同じバッチで混在させられます:

from PIL import Image

record = {
    "state": {"task": "Review the attached receipt."},
    "images": [Image.open("receipt.jpg")],
    "questions": {
        "legible": {"type": "noul", "instructions": "Is the receipt total legible?"},
    },
}

Cloudflare 自身のショーケースは脅威インテリジェンスです:ドメインと Browser Run のスクリーンショットを Clef に渡し、「95% ファッション、85% eコマース、<1% フィッシング」のようなマルチラベル確率を出力させます。彼らによると、取得・レンダリング・分類というワークフロー全体は Clef で 2.2 秒、最も速い汎用 LLM である gpt-oss-120b では 4.7 秒でした。ただし gpt-oss-120b は 2 つの分類しか返しませんでした。これはレイテンシとカバレッジの有用な比較ですが、ワークフロー全体を測定したものであり、モデル推論だけではない点に注意してください。

ベンチマーク:どこで誰がリードするか

ベンダーのベンチマークは精査に値します。以下は公式の Decision Index 0.2.1 社内実行結果の一部です(パーセンテージ、高いほど良い):

ベンチマークClefClef-flashJevリーダー
BFCL(case exact)98.598.895.8Clef ファミリー
ToolRet(nDCG@10)69.266.465.3Clef
API-Bank(正解率)91.993.188.2Clef ファミリー
BANKING77(macro-F1)94.290.979.7Clef
CLINC150+OOS(macro-F1)97.466.889.3Clef
家電(case exact)83.097.752.3Clef ファミリー
ContractNLI(macro-F1)81.484.371.7Clef ファミリー
MMLU(正解率)90.391.891.7引き分け
GPQA Diamond(正解率)48.051.078.3Jev
MMLU-Pro(正解率)65.965.382.7Jev
BBH(正解率)73.768.992.9Jev
When2Call MCQ(正解率)72.465.681.0Jev
BRIGHT(nDCG@10)45.939.347.5Jev

結論は「Clef の圧勝」ではありません。より正確な読み方はこうです:Clef は分類、ツール呼び出し、構造化インデックス付けに強く、Jev は少しの汎用推論を要するタスク(GPQA、MMLU-Pro、BBH)で先行しています。 これは両者のバックボーンと訓練目標に合致します——Clef は Qwen バックボーンを事後訓練して汎用推論をより保持し、Jev は判定に特化したいくつかの指標で先行します。自分のタスクがどちらに似ているかで選んでください。

レイテンシ(ミリ秒、低いほど良い):

指標ClefClef-flashJevLaya
中央値レイテンシ209.338.8524.15.8
p95 レイテンシ238.6122.4536.0222.5

Laya は中央値で非常に高速ですが、上記の品質ベンチマークでは明らかに見劣りします——「速いが精度を犠牲にする」立場です。Clef ファミリーは品質対レイテンシの曲線上の異なる点を取ります:Clef は品質を最適化し、Clef-flash は速度を最適化します。これらの数値は異なるハードウェアとデプロイに由来し、行をまたいで換算することはできません——相対的なシグナルとしてのみ扱ってください。

ワークフロー評価(TypeSafe Evals によるエンドツーエンドの業務フロー):

ワークフローClefClef-flashJev
請求書処理(exact)64.757.161.8
カスタマーサービス(exact)76.377.076.0
セキュリティインシデント(exact)62.961.761.7
エージェントトレース可観測性(primary)68.569.871.6

Cloudflare の主張は「4 つのうち 3 つで勝利」です。公平を期すなら、差はすべて 1 桁台であり、これは Cloudflare が TypeSafe 自身の評価スイートを実行したものです——実際の購入にあたっては、やはり自社データが必要です。

デプロイとライセンス:「オープン」が実際にもたらすもの

両方の Clef モデルは Apache-2.0 の下で Hugging Face に公開され、ローカルで実行できる標準的なシャーディングされた safetensors を備えています:

  • Transformers(image-text-to-text パイプライン)
  • vLLM(vllm serve "Cloudflare/clef")
  • SGLang
  • Docker Model Runner、llama.cpp / Ollama / LM Studio(量子化ビルド)

ファイルレイアウトも明確です:バックボーンの重み、joint_head.safetensors + joint_head_config.json(joint schema head)、そして joint_schema_model.py(レコードのエンコード、バッチ処理、systemone ラッパー)。Cloudflare は torch 2.11 と transformers 5.10.2 を搭載した単一の H200 でテストしました。

ここで「オープンソースは無料」という幻想を打ち破る必要があります:

  • Apache-2.0 はライセンス料を免除しますが、GPU の代金は払うことになります。 BF16 の 27B はコンシューマー向けカードに快適には収まりません。Clef-flash の 9B の方がはるかに現実的です。
  • 運用はあなたの責任です。 モデルサービング、常駐 VRAM、バージョンアップグレード、セキュリティパッチ、監視はすべてコストです。
  • ホスト版はこれらのコストを取り除きます:Cloudflare Workers AI のほか、Clef や Clef-flash のホスト型 API を有料で利用でき、代償は従量課金への切り替えです。

Cloudflare はエンタープライズ向けの点も強調しています:デフォルトでは、あなたのリクエストとレスポンスを読んだり、保存したり、訓練に使ったりしません——ファインチューニング製品にオプトインしない限り。セルフホストはデータ境界の要件を容易に満たします。これは、ホスト型 API のデータ保持をベンダーに確認する必要があった Jev 比較で残っていたギャップをちょうど埋めます。

新しい RL ファインチューニングプラットフォーム

Clef のローンチには見落としやすいが重要な部分があります:Cloudflare は RL ファインチューニングサービスを導入しました。

動機は、高度に専門化した社内分類ニーズの大きな集合体(Trust & Safety の申請レビュー、サポートのトリアージ、良い bot と悪い bot の判定)です。これらのシナリオには長年のラベル付き判定データがあります。ファインチューニングは汎用性能の一部を、特定ドメインでのより高い精度と引き換えます——そして 15 年以上のネットワークデータを持つことは、まさに Cloudflare の強みです。

技術スタックは注目に値します:

  • Cloudflare AI Gateway:AI トラフィックを自動でデータセットに取り込む
  • Workers AI:ベースの Clef モデルに対してロールアウトを生成する
  • Cloudflare Containers:エージェントの行動をスコアリングしてリプレイする RL サンドボックス
  • [新] Trainer:ファインチューニングされた Clef の重みを更新する
  • Workers AI + BYO Model:ファインチューニングされたモデルを Workers AI に再デプロイする

現在は Cloudflare のフォワードデプロイドエンジニア(FDE)チームとのハンズオン契約として運用され、セルフサービスプラットフォームは後日予定されています。すでに Cloudflare を多用しているチームにとって、これはラベル付きデータをオーダーメイドの判定モデルに変える道です——Jev には今日、これに相当する公開されたものはありません。

推奨:スローガンではなく条件

Clef(または Clef-flash)を選ぶ場合

  • 入力に画像や動画が含まれ、マルチモーダル分類が必要である。
  • データを境界の外に出せず、セルフホストまたはオフラインデプロイ可能な Apache-2.0 ウェイトが必要である。
  • より長い state のために 64k のコンテキストウィンドウが欲しい。
  • Cloudflare エコシステム内でファインチューニングし、ラベルからオーダーメイドモデルを構築したい。
  • レイテンシが重要で、精度とのトレードオフを受け入れる:Clef-flash は非常に高速です。
  • いますぐ検証したい:defapi で Clef または Clef-flash のリクエストを 1 本実行する。

Jev を選ぶ場合

  • テキストの判定だけが必要で、ゼロ運用のホスト型 API を求める。
  • タスクが汎用推論(GPQA / MMLU-Pro / BBH)に傾いており、そこで Jev が現在リードしている。
  • すでに Jev の統合、閾値、較正曲線があり、移行の見返りが再テストのコストを賄わない。
  • チームに GPU 運用能力がなく、モデルサービングを実行する計画もない。

両方が機能するなら、次に

  • 実際の state 分布、選択肢セット、score 基準でシャドウトラフィックを流す。
  • 正解率、較正、p50/p95 レイテンシ、フォールバック動作、コストをまとめて測定する。
  • API 互換性を移行コストゼロとみなさない——閾値を境界サンプルで再検証する。
  • データ保持、レジデンシー、SLA、サポートのコミットメントを、公開ベンチマークに頼るのではなく調達のゲートに組み込む。

FAQ

Clef は本当に Jev と完全互換ですか?
wire protocol のレベルでは、はい:同じ POST /v1/systemone リクエストボディ、同じ answers / usage レスポンス形状、一致する choice / score / noul プリミティブです。ただし選択肢の上限、信頼度の計算式、較正曲線はモデル内部で異なるため、古い閾値をそのままコピーすることはできません。

Clef はオープンソースです——本番で無料で実行できますか?
無料のライセンスは TCO ゼロではありません。27B には本格的な GPU が必要で、さらにモデルサービング、VRAM、監視、アップグレード、セキュリティパッチがかかります。Clef-flash(9B)やホスト版の方がしばしば経済的です。

Clef と Clef-flash のどちらですか?
Clef は精度重視モデルでほとんどのベンチマークをリードします。Clef-flash はレイテンシモデルで中央値 38.8ms、Clef より約 5 倍速いですが、CLINC150 や ContractNLI のようなタスクでは明確に精度が落ちます。ホットパスには flash を、重要な判定には Clef を使います。どちらもホスト済みで、defapi で有料試用できます:Clef、Clef-flash。

公式ベンチマークだけで調達判断の根拠にできますか?
いいえ。これらは Cloudflare の社内実行結果であり、Clef は TypeSafe 自身の評価スイートで比較されています。明らかに不適合な候補を除外するには十分ですが、最終判断には同じデータセット、障害の定義、信頼度閾値を自社データで適用する必要があります。

画像入力を実際にどう使いますか?
レコードに images(PIL 画像)または videos(フレーム配列)を追加し、任意のプロセッサ引数を media_kwargs に入れ、プロセッサを encode_record に渡します。テキストとマルチモーダルのレコードはバッチで混在させられます。

Clef のセルフホストには何が必要ですか?
H200 クラスの GPU、torch 2.11 + transformers 5.10.2、画像/動画用の pillow です。Cloudflare はコンシューマーハードウェアの保証をしていないため、本番前にターゲットハードウェアで p95 をロードテストしてください。

Clef は Jev を置き換えますか?
必ずしもそうではありません。両者はベンチマークで勝敗を分け合い、Jev は汎用推論タスクでリードし、純粋なホスト型の道であり続けます。実際に変わったのは、判定モデルというカテゴリーが単一ベンダーから、オープンウェイトとマルチモーダル入力を備えた競争の場になったことです——これは買い手にとって良いことです。

次のステップ

ホスト型の道を直接試すなら、defapi の Clef(27B 精度モデル)または Clef-flash(9B 速度モデル)を有料で利用し、Jev API とシャドウトラフィックで比較できます。画像入力やセルフホストがハード要件なら、Hugging Face の Clef モデルカードと Cloudflare のローンチ投稿を読み、自社データで比較を実行してください。まず基本を押さえるなら、Jev vs Laya の比較と System One 入門をご覧ください。