Im September 2026 brachte Jev von TypeSafe AI den Begriff „Decision Model” in den Mainstream. Zwei Wochen später, am 1. Oktober, veröffentlichte Cloudflare zwei vergleichbare Modelle – Clef und Clef-flash –, die auf Workers AI gehostet und zugleich als offene Gewichte unter Apache-2.0 auf Hugging Face publiziert wurden.
Clefs Positionierung ist unverblümt: Jev direkt herausfordern und „offene Gewichte + multimodal + selbst hostbar” zum Differenzierungsmerkmal machen. Es hat 27B Parameter, bringt einen Vision-Encoder mit, unterstützt ein Kontextfenster von 64k und ist vollständig kompatibel mit der Jev-/SystemOne-API. Für alle, die eine technische Bewertung durchführen, lautet die Frage nicht mehr, ob Entscheidungsmodelle nützlich sind – sondern ob eine gehostete API oder Self-Hosting mit offenen Gewichten besser zu deinem Team passt.
Jeder der folgenden Benchmarks stammt aus Cloudflares veröffentlichten internen Läufen. Sie reichen aus, um offensichtlich ungeeignete Optionen auszuschließen, ersetzen aber kein erneutes Testen mit deinen eigenen Daten.
Die Kurzfassung
- Zero-Ops, maximale Genauigkeit: Sowohl die gehosteten Versionen von Jev als auch von Clef funktionieren; Clef führt bei den meisten Klassifikations-Benchmarks, und multimodale Eingaben gibt es nur dort. Am schnellsten startest du mit der gehosteten Clef-API auf defapi.
- Bild- oder Videoeingabe: Jev ist heute reiner Text. Clef ist die einzige Option.
- Self-Hosting oder Datenresidenz: Clefs Apache-2.0-Gewichte sind ein entscheidender Vorteil bei harten Anforderungen. Der Preis ist ein 27B-GPU-Footprint samt Betrieb.
- Extrem niedrige Latenz: Clef-flash (9B, 38,8 ms Median) ist eine Größenordnung schneller als Jev (524 ms), allerdings zu Lasten der Genauigkeit.
- Nur mal ausprobieren: Beide beginnen bei einer kompatiblen API, aber lass öffentliche Benchmarks niemals die Beschaffungsvalidierung ersetzen.
Wenn du bereits unseren Jev-vs-Laya-Vergleich gelesen hast, wendet dieser Beitrag dasselbe Framework auf einen dritten Kandidaten an.
Was Clef ist
Clef ist eine Familie von Entscheidungsmodellen, die von Cloudflare trainiert wurden. Die wichtigsten Merkmale:
| Punkt | Clef | Clef-flash |
|---|---|---|
| Backbone | Qwen3.8-27B (mit Vision-Encoder) | Qwen3.5-9B |
| Eingabe | Text, JSON, Bilder, Video | Text, JSON, Bilder, Video |
| Kontext | 64k | 64k |
| Ausgabe | Ein Logit pro erlaubter Option pro Frage, Softmax pro Frage | Gleich |
| Lizenz | Apache-2.0 | Apache-2.0 |
| Hosting | Cloudflare Workers AI | Cloudflare Workers AI |
Seine Funktionsweise gehört zur selben Kategorie wie Jev, ist aber eine andere Implementierung: keine Freitext-Generierung, kein Parsen der Ausgabe. Du übergibst ihm einen state (Text, JSON, Bilder oder Video) plus eine Reihe typisierter Schema-Fragen, und es liefert in einem einzigen Forward Pass eine Wahrscheinlichkeit für jede erlaubte Option jeder Frage.
Zur Namensgebung greift Cloudflare auf eine Musikmetapher zurück: Ein Notenschlüssel am Anfang eines Notensystems weist den Linien und Zwischenräumen Tonnamen zu, und ein Entscheidungsmodell definiert den Bereich des Kontexts, der die darauf folgenden Aktionen bestimmt. Das „CF” ist zudem eine Anspielung auf Cloudflare.
Architektur: Prefill plus paralleles Scoring statt tokenweiser Generierung
Der Schlüssel zum Verständnis von Clef ist, dass es nicht autoregressiv ist:
- Das Qwen-Backbone führt einen Prefill-only-Forward-Pass über die gesamte Eingabe aus.
- Ein kleiner Joint-Schema-Head liest die letzten Hidden States des Backbones, leitet Evidenz aus dem State zu jeder Frage weiter und bewertet alle Optionen aller Fragen gemeinsam.
- Jede Option erhält ein Logit; ein Softmax pro Frage macht daraus Wahrscheinlichkeiten.
Es gibt keinen zwischengeschalteten generierten Text. Wo ein LLM eine Begründung generiert und sie anschließend als JSON formatiert, leitet Clef Schema-Entscheidungen direkt aus den internen Backbone-Repräsentationen ab.
Cloudflares zweistufiges Attention-Routing ist es wert, im Gedächtnis zu behalten: Jede gültige Wahl extrahiert zunächst den für sie relevanten Kontext (optionsspezifisches Evidenz-Routing), dann attendieren die Felder über Kreuz aufeinander und zurück auf die ursprüngliche Payload (gemeinsame Cross-Field-Attention), bevor das schema-gebundene Scoring erfolgt. Ein lexikalisches Prior bewahrt die semantische Absicht über die Optionen hinweg.
Für das Training fror Cloudflare die Qwen-Backbones ein und optimierte den Routing-Head gemeinsam mit Rank-256-LoRA-Adaptern:
- label-geglättete Cross-Entropy (um gültige Schema-Ausgaben zu garantieren)
- Brier-Loss (um die Wahrscheinlichkeitskalibrierung zu verbessern)
- RLCD (Reinforcement Learning for Calibrated Decisions) als sekundäres Ziel, das benachbarten ordinalen Wahlen Teilanrechnung gewährt, vollständig präzise Datensätze belohnt und eine Referenzstrafe anwendet, um Distribution Shift zu verhindern
Ein interessantes Detail: Cloudflare hatte in derselben Woche, in der Jev startete, ein auf DiffusionGemma aufbauendes Entscheidungsmodell-Experiment veröffentlicht. Clef ist eine Fortsetzung dieser Linie, nur mit einem anderen Backbone. Es ist keine Kopie von Jevs Architektur – es entstand über einen unabhängigen Weg, LLM-Logprobs als deterministische Wahrscheinlichkeiten offenzulegen.
Kompatibilität mit Jev / SystemOne
Clef ist vollständig kompatibel. Derselbe POST /v1/systemone-Request-Body liefert dieselbe Struktur aus model, answers und usage. Eine choice-Antwort enthält choice / confidence / probabilities; eine score-Antwort enthält den erwarteten score / confidence / legend / probabilities; eine noul-Antwort liefert die Wahrscheinlichkeit, dass die Aussage wahr ist.
Die drei Primitive stimmen mit Jev überein:
| Primitiv | Bedeutung | Rückgabe |
|---|---|---|
noul | Binäre Aussage, wahr/falsch | Eine Wahrscheinlichkeit zwischen 0,0 und 1,0 |
choice | Benannte Optionen, eine auswählen | Wahl + Konfidenz + Wahrscheinlichkeiten pro Option |
score | Geordnete Optionen, bewerten | Erwarteter Score + Konfidenz + Wahrscheinlichkeiten pro Stufe |
Für ein System, das Jev bereits integriert hat, bedeutet das sehr geringe Migrationskosten – du kannst denselben Client sogar hinter zwei Anbieter für Shadow-Traffic legen. Doch eine Warnung: Wire-Protocol-Kompatibilität ist keine semantische Äquivalenz. Optionsgrenzen, Konfidenzformeln und Kalibrierungskurven können sich zwischen Modellen unterscheiden, weshalb alte Schwellenwerte an Grenzfällen erneut validiert werden müssen.
Ein konkretes offizielles Beispiel (Cloudflare-Workers-AI-Endpunkt):
curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef \
-X POST \
-H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
-d '{
"model": "clef",
"state": "Checkout has been failing for every customer for the last hour.",
"questions": {
"urgent": { "type": "noul", "instructions": "Is this support request urgent?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this request?",
"criteria": {
"billing": "Payments, invoices, and refunds",
"technical": "Outages, errors, and configuration",
"sales": "Plans and upgrades"
}
},
"severity": {
"type": "score",
"instructions": "How severe is the customer impact?",
"criteria": ["No impact", "Minor", "Major", "Critical"]
}
}
}'Multimodal: die Fähigkeit, die heute nur Clef hat
Das ist Clefs deutlichster Produktunterschied zu Jev. Jev klassifiziert ausschließlich Text, während Clef einen Vision-Encoder mitbringt und Bilder sowie Videoframes lesen kann.
Die Verwendung besteht darin, images (PIL-Bilder) oder videos (Frame-Arrays) zum Record hinzuzufügen und den Processor an encode_record zu übergeben; optionale Processor-Argumente kommen in media_kwargs. Reine Text-Records und multimodale Records können im selben Batch gemischt werden:
from PIL import Image
record = {
"state": {"task": "Review the attached receipt."},
"images": [Image.open("receipt.jpg")],
"questions": {
"legible": {"type": "noul", "instructions": "Is the receipt total legible?"},
},
}Cloudflares eigenes Aushängeschild ist Threat Intelligence: Übergib Clef eine Domain plus einen Browser-Run-Screenshot und lass es Multi-Label-Wahrscheinlichkeiten wie „95 % Fashion, 85 % E-Commerce, <1 % Phishing” ausgeben. Sie berichten, dass der vollständige Ablauf aus Fetch, Render und Klassifikation mit Clef 2,2 s dauerte gegenüber 4,7 s für ihr schnellstes allgemeines LLM gpt-oss-120b, das nur zwei Klassifikationen zurückgab. Das ist ein nützlicher Latenz-und-Abdeckungs-Vergleich, aber beachte: Er misst den gesamten Workflow, nicht allein die Modellinferenz.
Benchmarks: wer wo führt
Anbieter-Benchmarks verdienen kritische Prüfung. Hier ein Ausschnitt aus dem offiziellen internen Lauf des Decision Index 0.2.1 (Prozentwerte, höher ist besser):
| Benchmark | Clef | Clef-flash | Jev | Leader |
|---|---|---|---|---|
| BFCL (case exact) | 98.5 | 98.8 | 95.8 | Clef-Familie |
| ToolRet (nDCG@10) | 69.2 | 66.4 | 65.3 | Clef |
| API-Bank (accuracy) | 91.9 | 93.1 | 88.2 | Clef-Familie |
| BANKING77 (macro-F1) | 94.2 | 90.9 | 79.7 | Clef |
| CLINC150+OOS (macro-F1) | 97.4 | 66.8 | 89.3 | Clef |
| Home appliance (case exact) | 83.0 | 97.7 | 52.3 | Clef-Familie |
| ContractNLI (macro-F1) | 81.4 | 84.3 | 71.7 | Clef-Familie |
| MMLU (accuracy) | 90.3 | 91.8 | 91.7 | Gleichstand |
| GPQA Diamond (accuracy) | 48.0 | 51.0 | 78.3 | Jev |
| MMLU-Pro (accuracy) | 65.9 | 65.3 | 82.7 | Jev |
| BBH (accuracy) | 73.7 | 68.9 | 92.9 | Jev |
| When2Call MCQ (accuracy) | 72.4 | 65.6 | 81.0 | Jev |
| BRIGHT (nDCG@10) | 45.9 | 39.3 | 47.5 | Jev |
Das Fazit lautet nicht, dass „Clef alles abräumt”. Eine treffendere Lesart: Clef ist stark bei Klassifikation, Tool Calling und strukturiertem Indexing; Jev liegt bei Aufgaben vorn, die ein wenig allgemeines Reasoning erfordern (GPQA, MMLU-Pro, BBH). Das passt zu ihren Backbones und Trainingszielen – Clef trainiert ein Qwen-Backbone nach und behält mehr allgemeines Reasoning, während Jev bei einigen entscheidungsspezifischen Metriken davorgezogen wird. Wähle danach, welcher Aufgabenart deine ähnelt.
Latenz (Millisekunden, niedriger ist besser):
| Metrik | Clef | Clef-flash | Jev | Laya |
|---|---|---|---|---|
| Median-Latenz | 209.3 | 38.8 | 524.1 | 5.8 |
| p95-Latenz | 238.6 | 122.4 | 536.0 | 222.5 |
Laya ist im Median extrem schnell, liegt bei den obigen Qualitäts-Benchmarks aber klar zurück – eine Position als „schnell, aber auf Kosten der Genauigkeit”. Die Clef-Familie besetzt verschiedene Punkte auf der Qualität-vs-Latenz-Kurve: Clef optimiert die Qualität, Clef-flash die Geschwindigkeit. Diese Zahlen stammen von unterschiedlicher Hardware und unterschiedlichen Deployments und lassen sich nicht über die Zeilen hinweg umrechnen – behandle sie nur als relative Signale.
Workflow-Evals (End-to-End-Geschäftsabläufe aus TypeSafe Evals):
| Workflow | Clef | Clef-flash | Jev |
|---|---|---|---|
| Rechnungsverarbeitung (exact) | 64.7 | 57.1 | 61.8 |
| Kundenservice (exact) | 76.3 | 77.0 | 76.0 |
| Sicherheitsvorfälle (exact) | 62.9 | 61.7 | 61.7 |
| Agent-Trace-Observability (primary) | 68.5 | 69.8 | 71.6 |
Cloudflares Framing lautet „drei von vier gewonnen”. Fairerweise sind alle Abstände einstellig, und hier führt Cloudflare TypeSafes eigene Eval-Suite aus – für einen echten Kauf brauchst du also weiterhin deine eigenen Daten.
Deployment und Lizenz: was „offen” wirklich bringt
Beide Clef-Modelle werden auf Hugging Face unter Apache-2.0 veröffentlicht, mit standardmäßigen geshardeten Safetensors, die du lokal ausführen kannst:
- Transformers (
image-text-to-text-Pipeline) - vLLM (
vllm serve "Cloudflare/clef") - SGLang
- Docker Model Runner, llama.cpp / Ollama / LM Studio (quantisierte Builds)
Auch das Dateilayout ist klar: Backbone-Gewichte, joint_head.safetensors + joint_head_config.json (der Joint-Schema-Head) und joint_schema_model.py (Record-Encoding, Batching und der systemone-Wrapper). Cloudflare testete auf einer einzelnen H200 mit torch 2.11 und transformers 5.10.2.
Hier muss die Illusion „Open Source heißt kostenlos” zerstört werden:
- Apache-2.0 erlässt die Lizenzgebühr, aber du zahlst für GPUs. 27B in BF16 passt nicht komfortabel auf Consumer-Karten; die 9B von Clef-flash sind deutlich realistischer.
- Der Betrieb liegt bei dir. Model Serving, residenter VRAM, Versions-Upgrades, Sicherheitspatches und Monitoring sind allesamt Kosten.
- Die gehostete Version nimmt diese Kosten ab: Neben Cloudflare Workers AI kannst du die gehostete API von Clef oder Clef-flash kostenpflichtig nutzen, zum Preis einer Umstellung auf nutzungsbasierte Abrechnung.
Cloudflare betont zudem einen unternehmenstauglichen Punkt: Standardmäßig werden deine Anfragen und Antworten weder gelesen noch gespeichert noch zum Training verwendet – es sei denn, du entscheidest dich für das Fine-Tuning-Produkt. Self-Hosting erfüllt Datenbegrenzungsanforderungen mühelos. Damit wird genau die Lücke geschlossen, die der Jev-Vergleich hinterlassen hat, bei dem die Datenaufbewahrung der gehosteten API beim Anbieter erfragt werden musste.
Die neue RL-Fine-Tuning-Plattform
Einen Abschnitt des Clef-Launches kann man leicht übersehen, der aber wichtig ist: Cloudflare führte einen RL-Fine-Tuning-Dienst ein.
Die Motivation ist eine große Menge stark spezialisierter interner Klassifikationsbedürfnisse (Prüfung von Trust-&-Safety-Einreichungen, Support-Triage, Entscheidung zwischen gutem und schlechtem Bot). Diese Szenarien verfügen über Jahre gelabelter Entscheidungsdaten. Fine-Tuning tauscht etwas Allzweckleistung gegen höhere Genauigkeit in einer bestimmten Domäne – und mit über 15 Jahren Netzwerkdaten ist das genau Cloudflares Stärke.
Der technische Stack ist erwähnenswert:
- Cloudflare AI Gateway: erfasst AI-Traffic automatisch in einem Datensatz
- Workers AI: erzeugt Rollouts gegen das Basis-Clef-Modell
- Cloudflare Containers: eine RL-Sandbox zum Bewerten und Wiederabspielen von Agent-Aktionen
- [Neu] Trainer: aktualisiert die feinabgestimmten Clef-Gewichte
- Workers AI + BYO Model: stellt das feinabgestimmte Modell wieder auf Workers AI bereit
Heute läuft es als Hands-on-Engagement mit Cloudflares Forward-Deployed-Engineer-(FDE-)Team, eine Self-Serve-Plattform ist später geplant. Für Teams, die bereits stark auf Cloudflare setzen, ist es ein Weg, aus deinen gelabelten Daten ein maßgeschneidertes Entscheidungsmodell zu machen – etwas, wofür Jev heute kein öffentliches Äquivalent bietet.
Empfehlungen: Bedingungen, keine Slogans
Wähle Clef (oder Clef-flash), wenn
- Deine Eingabe Bilder oder Video enthält und du multimodale Klassifikation benötigst.
- Daten deine Grenze nicht verlassen dürfen und du Apache-2.0-Gewichte mit Self-Hosting oder Offline-Deployment brauchst.
- Du ein Kontextfenster von 64k für längeren State möchtest.
- Du innerhalb des Cloudflare-Ökosystems fine-tunen möchtest, um aus deinen Labels ein maßgeschneidertes Modell zu bauen.
- Latenz entscheidend ist und du den Genauigkeitskompromiss akzeptierst: Clef-flash ist sehr schnell.
- Du willst es sofort validieren: führe eine Clef- oder Clef-flash-Anfrage auf defapi aus.
Wähle Jev, wenn
- Du nur Textentscheidungen brauchst und eine gehostete API ohne Betriebsaufwand möchtest.
- Deine Aufgaben eher in Richtung allgemeines Reasoning gehen (GPQA / MMLU-Pro / BBH), wo Jev derzeit führt.
- Du bereits Jev-Integrationen, Schwellenwerte und Kalibrierungskurven hast und der Migrationsnutzen die Kosten für erneutes Testen nicht deckt.
- Dein Team keine GPU-Betriebskapazität und keine Pläne für Model Serving hat.
Wenn beide funktionieren, dann
- Betreibe Shadow-Traffic mit deiner echten State-Verteilung, deinen Optionssätzen und Score-Kriterien.
- Miss Correct Rate, Kalibrierung, p50/p95-Latenz, Fallback-Verhalten und Kosten gemeinsam.
- Behandle API-Kompatibilität nicht als Null-Migration – validiere Schwellenwerte an Grenzfällen erneut.
- Nimm Datenaufbewahrung, Residenz, SLA und Support-Zusagen in das Beschaffungsgate auf, statt dich auf öffentliche Benchmarks zu verlassen.
FAQ
Ist Clef wirklich vollständig kompatibel mit Jev?
Auf Wire-Protocol-Ebene ja: derselbe POST /v1/systemone-Request-Body und dieselbe Antwortstruktur answers / usage, mit übereinstimmenden Primitiven choice / score / noul. Aber Optionsgrenzen, Konfidenzformeln und Kalibrierungskurven unterscheiden sich innerhalb der Modelle, sodass alte Schwellenwerte nicht unverändert übernommen werden können.
Clef ist Open Source – kann ich es in der Produktion kostenlos betreiben?
Eine kostenlose Lizenz bedeutet keinen TCO von null. 27B braucht eine ernsthafte GPU, dazu Model Serving, VRAM, Monitoring, Upgrades und Sicherheitspatches. Clef-flash (9B) oder die gehostete Version ist oft wirtschaftlicher.
Clef oder Clef-flash?
Clef ist das Präzisionsmodell und führt bei den meisten Benchmarks; Clef-flash ist das Latenzmodell mit 38,8 ms Median, rund 5× schneller als Clef, mit deutlichen Genauigkeitseinbußen bei Aufgaben wie CLINC150 und ContractNLI. Nutze Flash auf Hot Paths und Clef für kritische Urteile. Beide sind gehostet und auf defapi kostenpflichtig testbar: Clef, Clef-flash.
Kann ich eine Beschaffungsentscheidung auf die offiziellen Benchmarks stützen?
Nein. Das sind Cloudflares interne Läufe, und Clef wird anhand von TypeSafes eigener Eval-Suite verglichen. Sie sind gut geeignet, um offensichtlich ungeeignete Optionen auszuschließen; die endgültige Entscheidung braucht denselben Datensatz, dieselbe Failure-Definition und dieselben Konfidenzschwellen auf deinen Daten.
Wie nutze ich die Bildeingabe konkret?
Füge images (PIL-Bilder) oder videos (Frame-Arrays) zum Record hinzu, lege optionale Processor-Argumente in media_kwargs ab und übergib den Processor an encode_record. Text- und multimodale Records können in einem Batch gemischt werden.
Was erfordert das Self-Hosting von Clef?
Eine GPU der H200-Klasse, torch 2.11 + transformers 5.10.2 und pillow für Bild/Video. Cloudflare gibt keine Garantien für Consumer-Hardware, also teste p95 auf deiner Zielhardware, bevor du in Produktion gehst.
Wird Clef Jev ersetzen?
Nicht unbedingt. Die beiden teilen sich die Siege bei den Benchmarks, Jev führt bei Aufgaben des allgemeinen Reasonings und bleibt ein reiner gehosteter Pfad. Was sich tatsächlich geändert hat: Die Kategorie der Entscheidungsmodelle ist von einem einzigen Anbieter zu einem Wettbewerbsfeld mit offenen Gewichten und multimodaler Eingabe geworden – was gut für Käufer ist.
Nächste Schritte
Um den gehosteten Pfad direkt zu testen, nutze kostenpflichtig Clef auf defapi (27B, Präzision) oder Clef-flash (9B, Tempo) und vergleiche per Shadow-Traffic mit der Jev API. Wenn Bildeingabe oder Self-Hosting eine harte Anforderung ist, lies die Clef-Modellkarte auf Hugging Face und den Cloudflare-Launch-Beitrag und führe dann einen Vergleich mit deinen eigenen Daten durch. Für die Grundlagen zuerst siehe den Jev-vs-Laya-Vergleich und die System-One-Einführung.