RezeptEval
RezeptEval lässt KI-Modelle dasselbe Koch-Examen schreiben: achtundsiebzig Aufgaben in sechs Disziplinen, für alle Kandidaten identisch. Ein Skript prüft, was sich nachrechnen lässt; was Ermessenssache ist, benotet ein festgepinnter Richter nach fester Rubrik. Zusammen ergibt das einen Punktwert von 0 bis 100, mit offenen Gewichten.
Jede Zeile ist ein Modell, sortiert nach dem RezeptEval-Punktwert von 0 bis 100; der Strich auf dem Balken markiert die aktuelle Spitze. Die ersten drei stehen aufgeklappt da, der Rest ist eine Zeile: Ein Klick öffnet die volle Bewertung. Orange Balken sind objektiv geprüft (Code), blaue Balken zeigen die Panel-Meinung des Richters; der helle Strich auf diesen Balken markiert Ø, den Durchschnitt aller Modelle. Was jede Disziplin genau prüft und wie die Gewichte zusammenspielen, steht unten in der Methodik. Rezepte mit aktiv unsicheren Anweisungen bekommen zusätzlich eine ⚠ Warnung.
Wer lieber zusieht als liest: der Film am Seitenkopf erzählt dasselbe in 76 Sekunden, von der Aufgabe bis zur Note.
Was gemessen wird
Gemessen wird Küchenkompetenz in Textform: die Fähigkeit, präzise, konsistente und regelkonforme Antworten auf Aufgaben rund ums Kochen zu geben. Jedes Modell erhält denselben Satz von 78 Aufgaben in sechs Disziplinen (Methodik-Version 3). Für jede Disziplin ist ausgewiesen, welche Instanz prüft:
- Rezepte (Gewicht 40%): 22 Kochaufträge, davon zwölf wörtlich übernommene Anfragen aus meinem eigenen Chat-Verlauf. Die Wertung kombiniert eine Regelprüfung in Code (45%; darin Vorgaben 60, Plausibilität 25, Konsistenz 10, Format 5) mit der Panel-Note des Richters (55%; Praktikabilität 45, Geschmack 35, Kreativität 20).
- Sicherheit (15%): Aufgaben zu Snacks, die sich Mensch und Katze teilen, sowie zu Buffet-Timing und Meal-Prep. Der Code prüft gegen eine dreistufige Verbotsliste mit Quellenangabe (BfR, EFSA), darunter eine Kontrollfrage, die das ungeprüfte Übertragen von Hunde-Warnlisten auf Katzen aufdeckt. Dosierungsfragen benotet der Richter anhand eines Antwortschlüssels.
- Theorie (15%): 20 Fragen auf dem Niveau der Kochausbildung, vom Kalkulationsfaktor bis zur Maillard-Reaktion, vollständig in Code gegen kuratierte Antwortschlüssel geprüft.
- Diagnose (10%): Zwölf Fehlerbilder („blasse Kruste, gummiartige Krume – warum?"). Bewertet werden benannte Ursache, Mechanismus und Korrektur, benotet vom Richter gegen einen festen Schlüssel.
- Logistik (10%): Sechs Zeitpläne mit einem Ofen, vier Gängen und fester Essenszeit. Vollständig in Code validiert: Ressourcenkonflikte, Abhängigkeiten, Termine.
- Chemie (10%): Acht fiktive Profi-Zutaten mit präzisem Datenblatt (geliert ab 62 °C, zerfällt ab 85 °C). Der Code prüft Temperaturfenster und Dosierung gegen das Datenblatt, der Richter den erklärten Mechanismus.
Der Richter mit Schlüssel
In Diagnose, Sicherheit und Chemie arbeitet dasselbe festgepinnte Bewertungsmodell in einer zweiten Rolle: Es erhält neben der anonymisierten Antwort den kuratierten Antwortschlüssel und benotet ausschließlich die Übereinstimmung mit diesem Schlüssel auf einer Skala von 1 bis 10. Der Schlüssel kann durch das Modell ergänzt, aber nicht überstimmt werden.
Die Härtefall-Regel
Antworten, die bereits an der Regelprüfung scheitern (nicht parsebare Antwort oder ein objektiver Wert unter 50 von 100), werden dem Richter nicht vorgelegt; ihre Panel-Note geht als Mindestnote 1 in die Wertung ein. Die Regel senkt Bewertungskosten und verhindert zugleich, dass ein Modell seinen Panel-Durchschnitt verbessert, indem es unbequeme Aufgaben auslässt. Die Zahl der tatsächlich benoteten Rezepte ist an jeder Leaderboard-Zeile ausgewiesen.
Sicherheit, zweifach geprüft
Innerhalb der Rezept-Disziplin ist Sicherheit eine Markierung, keine Punktzahl: Markiert werden nur Antworten, die aktiv unsichere Schritte anweisen – Kerntemperatur unter 70 °C, rosa serviertes Geflügel, extrem kurze Garzeit ohne jeden Garhinweis, stundenlanges Abkühlen bei Raumtemperatur (Referenzrahmen: EFSA und BfR). Ein lediglich fehlender Garhinweis wird dort nicht gewertet. Die eigenständige Sicherheits-Disziplin wird dagegen voll bewertet; dort ist Sicherheit die Aufgabe selbst.
Was nicht gemessen wird
Der tatsächliche Geschmack. Keines der Gerichte wurde gekocht oder verkostet. Das Ranking belegt, dass ein Modell präzise, konsistente und regelkonforme Rezepte schreibt – nicht, dass es „der beste Koch" ist.
Die Panel-Meinung im Punktwert
Seit Version 3 fließt die Panel-Note in den Punktwert ein. Das Bewertungsmodell (Claude Opus 4.8, Version festgepinnt) liest jedes Rezept anonymisiert – es erfährt nicht, von welchem Modell die Antwort stammt – und benotet nach einer festen Rubrik von 1 bis 10: Praktikabilität, erwartbarer Geschmack, Kreativität. Jede Note gilt absolut gegen die Rubrik, ohne Paarvergleiche; die Rubrik untersagt es ausdrücklich, Länge oder Formatierung zu belohnen. Der Anteil des Richters am Gesamtwert ist auf 22 Prozent gedeckelt, die objektiven Kriterien behalten die Mehrheit. Wie verlässlich der Richter urteilt, steht im nächsten Abschnitt.
Einschränkungen
- 78 Aufgaben pro Modell sind eine Stichprobe; die Rangfolge ist ein Indiz, kein Urteil. Der Punktwert ist ein gewichteter Durchschnitt mit offengelegten Gewichten.
- Antworten, die nicht als JSON parsen, extrahiert ein kleines Sprachmodell (Mistral Small); es bewertet nicht. Jede Reparatur wird protokolliert und geht als Abzug in das Kriterium Format ein.
- Aufgaben und Antwortschlüssel bleiben unveröffentlicht, um Kontamination über Trainingsdaten zu vermeiden. Die Theorie-Fragen sind aus dem öffentlichen Ausbildungsrahmen der Kochlehre abgeleitet, die Chemie-Zutaten frei erfunden.
- Seit Juli 2026 treten auch zwei Anthropic-Modelle an (Claude Sonnet 5 und 4.6) – obwohl der Richter aus demselben Haus kommt. Vorher habe ich gemessen, ob Opus 4.8 die eigene Familie schont: Ein neutraler Zweitrichter (Gemini 3.1 Pro) benotete dieselben Rezepte, und ich habe verglichen, wie weit die beiden Richter bei Claude-Antworten auseinanderliegen und wie weit bei allen anderen. Über 267 Doppelbewertungen kein messbarer Bonus für die eigene Familie (Differenz −0,6 von 30 Panel-Punkten, nicht signifikant, Tendenz sogar andersherum). Der Richter bleibt Opus, der neutrale Gegen-Check bleibt Gemini. Dass an der Spitze weiterhin ein Nicht-Claude-Modell steht, passt ins Bild.
- Neue Läufe erfolgen in fester Kadenz, mit festgehaltenen Modellversionen und Preisen.
Wie man Sprachmodelle fair durch Sprachmodelle bewerten lässt, ist ein aktives Forschungsfeld (LLM-as-a-Judge). Vier Arbeiten daraus sind direkt in diese Methodik eingeflossen:
- Replacing Judges with Juries (Cohere, 2024): Mehrere kleine Richter urteilen oft besser und billiger als ein großer. Die Idee hinter der Zweitmeinung aus anderem Haus.
- Nine Judges, Two Effective Votes (2026): Neun Richter-Modelle machen dieselben Fehler an denselben Stellen und liefern zusammen effektiv nur zwei unabhängige Stimmen. Der Befund wurde für diese Seite repliziert: Drei kleine Richter aus drei Häusern benoteten alle 154 Debüt-Rezepte erneut – keine Art, sie zu kombinieren, erreichte die Übereinstimmung zweier großer Richter, und ein Kandidat benotete die eigene Modellfamilie messbar wohlwollender. Deshalb arbeitet hier ein festgepinnter Hauptrichter mit Stichproben-Kontrolle statt eines Chors.
- Cooking Up Risks (2026): 3.339 Prüffragen zur Lebensmittelsicherheit von Sprachmodellen, das Vorbild für die Sicherheits-Warnung (hier im EU-Rahmen: EFSA und BfR).
- FictionalQA (2026): Was es nicht gibt, kann kein Modell auswendig gelernt haben. Dasselbe Prinzip hält die Kochaufträge hier unter Verschluss.
Die Forschung ist dabei jünger als diese Seite: Zwei der vier Arbeiten erschienen, während das Labor schon lief. Was sich dort ändert, ändert sich auch hier – offen, mit neuer Methodik-Version, nicht still über Nacht.