Wer mit einem KI-Ergebnis unzufrieden ist und „mach mal neue Vorschläge“ schreibt, bekommt fast immer andere Vorschläge und selten bessere. Das liegt daran, dass die Bitte dem Modell keine einzige neue Information gibt, es zieht schlicht noch einmal aus demselben Topf. Deutlich besser funktioniert eine Methode, die wir in unserer eigenen Arbeit regelmäßig einsetzen: Die KI oder man selbst legt vor der eigentlichen Aufgabe Bewertungskriterien fest, bewertet jeden Vorschlag danach und arbeitet so lange weiter, bis eine bestimmte Zahl von Vorschlägen eine vorher gesetzte Schwelle erreicht.
Die Methode wirkt allerdings aus einem anderen Grund, als die meisten vermuten, und sie hat eine Schwachstelle, die in unserer eigenen Anwendung sichtbar geworden ist. Beides gehört zusammen, deshalb steht beides in diesem Artikel.
Warum Neu-Würfeln nichts verbessert
Sprachmodelle erzeugen Text, indem sie aus einer Wahrscheinlichkeitsverteilung möglicher Fortsetzungen ziehen. Bitten Sie um neue Vorschläge, ohne zu sagen, was an den alten nicht gepasst hat, zieht das Modell erneut aus derselben Verteilung. Sie bekommen eine neue Stichprobe aus demselben Angebot, die zufällig besser sein kann, genauso gut aber schlechter, und weder Sie noch das Modell lernen dabei etwas.
Viele Nutzer reagieren auf schwache Ergebnisse dann mit zunehmend ungeduldigen Formulierungen wie „das ist alles zu generisch“ oder „mach es kreativer“. Das ist ein kleiner Fortschritt, weil es immerhin eine Richtung angibt. Für ein Modell ist „kreativer“ aber genauso unscharf wie für einen Praktikanten, der den Auftrag zum ersten Mal hört und raten muss, was gemeint ist.
Der eigentliche Engpass liegt in solchen Situationen fast nie bei der KI. Er liegt in der fehlenden Antwort auf die Frage, was „gut“ in diesem konkreten Fall überhaupt bedeutet.
Die Methode in vier Schritten
1. Kriterien festlegen. Vor der eigentlichen Aufgabe definieren Sie, oder die KI auf Ihre Anweisung, fünf bis acht Kriterien, an denen sich ein guter Vorschlag erkennen lässt. Bei einem Themenplan für einen Unternehmensblog waren das bei uns unter anderem die Relevanz für die Zielgruppe, das Rankingpotenzial, die Nähe zur eigenen Kompetenz und die Frage, ob wir zu dem Thema etwas sagen können, was Wettbewerber nicht sagen können.
2. Kriterien gewichten. Nicht jedes Kriterium zählt gleich viel. Relevanz und Rankingpotenzial trugen bei uns jeweils ein Fünftel zum Gesamtwert bei, die Haltbarkeit des Themas nur ein Zwanzigstel. Die Gewichtung zwingt zu einer Entscheidung, die sonst unausgesprochen bleibt und später in jeder Diskussion wieder aufbricht.
3. Schwelle setzen. Sie legen fest, ab welchem Wert ein Vorschlag als gut genug gilt und wie viele Vorschläge Sie am Ende brauchen. Bei uns waren es zehn Themen mit jeweils mindestens 8 von 10 Punkten.
4. Erzeugen, bewerten, aussortieren, wiederholen. Die KI erzeugt Vorschläge, bewertet jeden nach der Matrix, verwirft alles unter der Schwelle und erzeugt Ersatz, bis die Zielzahl erreicht ist. In unserem Fall waren drei Durchgänge nötig: Von den ersten zehn Ideen bestanden drei, von sieben neuen Kandidaten fünf und von vier weiteren zwei.
Warum das funktioniert
Naheliegend wäre die Annahme, dass die Methode funktioniert, weil die Bewertungen genau sind. Tatsächlich sind die Zahlen der unzuverlässigste Teil des ganzen Verfahrens, dazu gleich mehr. Die Wirkung hat andere Ursachen.
Die Kriterien liefern die Information, die vorher fehlte. Eine Bewertungsmatrix ist im Kern eine Spezifikation, also eine Beschreibung dessen, was ein gutes Ergebnis ausmacht. Genau diese Beschreibung fehlt in „mach mal neue Vorschläge“. Das Modell bekommt damit dieselbe Orientierung, die ein Mitarbeiter durch ein sauberes Briefing bekommt.
Das Aussortieren wird sichtbar. Neben dem, was übrig bleibt, sehen Sie auch das Verworfene samt Begründung. In unserem Themenplan flog etwa ein Artikel zum Barrierefreiheitsstärkungsgesetz heraus, weil die gesetzliche Frist zum geplanten Veröffentlichungszeitpunkt bereits ein Jahr zurückgelegen hätte und das Thema damit seine Dringlichkeit verloren hatte. Solche Begründungen sind oft wertvoller als die Gewinner, weil sie zeigen, wo die eigene Einschätzung vorher danebenlag.
Erzeugen und Bewerten werden getrennt. Wer gleichzeitig Ideen produziert und sie beurteilt, macht in der Regel beides schlechter. Die Methode zwingt zu zwei getrennten Arbeitsschritten.
Die Forschung stützt diesen Effekt, zumindest für offene Aufgaben. Eine 2023 auf der NeurIPS vorgestellte Studie von Madaan und Kollegen zeigte, dass Sprachmodelle ihre Ergebnisse durch wiederholtes Selbst-Feedback und Überarbeitung über sieben unterschiedliche Aufgaben hinweg um durchschnittlich rund 20 Prozent verbesserten, ganz ohne zusätzliches Training. Menschliche Bewerter bevorzugten die überarbeiteten Fassungen.
Wo die Methode Sie täuscht
Jetzt der unbequeme Teil, und er stammt nicht aus der Theorie.
Die Zahlen sehen aus wie Messwerte und sind keine. Eine 8,7 wirkt präzise, ist aber vom Modell erzeugter Text in Zahlenform, ohne Messung und ohne Kalibrierung dahinter. Eine 2025 veröffentlichte Untersuchung hat gezeigt, dass sich die Bewertungen von KI-Gutachtern bereits messbar verschieben, wenn man nur die Reihenfolge der Kriterien oder die Art der Notenbezeichnung ändert. Zwischen einer 8,4 und einer 8,7 liegt deshalb kein belastbarer Qualitätsunterschied.
Modelle bewerten ihre eigene Arbeit zu gut. Eine weitere Untersuchung aus 2025 mit über 5.000 Bewertungspaaren und Expertenurteilen kam zu dem Ergebnis, dass führende Modelle wie GPT-4o und Claude 3.5 Sonnet ihre eigenen Ausgaben systematisch höher bewerten und zusätzlich Ausgaben aus derselben Modellfamilie bevorzugen. Wer eine KI ihre eigenen Vorschläge bewerten lässt, beauftragt also einen Gutachter mit eingebautem Interessenkonflikt.
Die Schwelle lädt zum Schönrechnen ein. Das haben wir selbst beobachtet. Nach dem Themenplan haben wir dieselbe Methode zur Qualitätsprüfung der fertigen Artikel eingesetzt, mit einer Schwelle von 8,5. Im ersten Durchgang fielen zwei Artikel durch und wurden überarbeitet. Danach lag über die gesamte Serie hinweg jeder einzelne Endwert zwischen 8,7 und 9,3, also auffällig dicht über der Schwelle, und die später geschriebenen Artikel lagen tendenziell höher als die frühen. Eine echte Qualitätsverteilung sieht anders aus. Das Muster entspricht ziemlich genau dem, was zu erwarten ist, wenn der bequemste Weg zur Erfüllung des Auftrags darin besteht, die Bewertung knapp über die Linie zu heben.
Wichtig ist dabei die Unterscheidung: Die Kritik selbst war in beiden Fällen berechtigt. Dem ersten Artikel fehlte tatsächlich jeder eigene Praxisbezug, im zweiten stand eine Formulierung, die gegen unsere eigenen Stilregeln verstieß. Die Matrix hat also echte Mängel gefunden, die Endnoten taugen trotzdem nicht als Qualitätsbeweis.
Der Durchschnitt versteckt Totalausfälle. Ein gewichteter Mittelwert gleicht Schwächen durch Stärken an anderer Stelle aus. Bei einem unserer Artikel lag das Kriterium Glaubwürdigkeit bei 6,5 von 10, während der Gesamtwert bei 8,3 stand. Ohne den Blick auf die Einzelwerte wäre ein Text durchgegangen, dem genau die Substanz fehlte, die er von anderen einforderte.
Bei Aufgaben mit richtiger Antwort kann Selbstkorrektur schaden. Eine Forschergruppe von Google DeepMind hat auf der ICLR 2024 gezeigt, dass Sprachmodelle ihre Lösungen bei Denkaufgaben ohne externes Feedback kaum verbessern und sie häufig sogar verschlechtern. In einem der Tests fiel die Trefferquote eines Modells nach zwei Korrekturrunden von 75,8 auf 41,8 Prozent, weil es richtige Antworten nachträglich in falsche umschrieb.
Die beiden Forschungsergebnisse widersprechen sich nur auf den ersten Blick. Bei offenen Aufgaben wie Texten, Ideen oder Konzepten hilft strukturiertes Selbst-Feedback. Bei Aufgaben mit einer überprüfbar richtigen Antwort kann es schaden, weil dem Modell eine verlässliche Instanz fehlt, die ihm sagt, ob die erste Antwort bereits gestimmt hat.
So machen Sie die Methode belastbar
Sechs Anpassungen fangen den Großteil der Schwächen auf.
Kriterien selbst festlegen oder zumindest freigeben. Lassen Sie die KI ruhig Kriterien vorschlagen, korrigieren Sie sie aber, bevor die erste Idee entsteht. Ein Modell, das sich seine Prüfung selbst ausdenkt, wählt bevorzugt Kriterien, die es ohnehin gut erfüllt.
Mindestwerte pro Kriterium. Zusätzlich zur Gesamtschwelle darf kein einzelnes Kriterium unter eine Untergrenze fallen, etwa 7 von 10. Damit lässt sich ein Totalausfall nicht mehr durch Stärken an anderer Stelle überdecken.
Jede Note braucht eine Begründung am Objekt. Eine Zahl ohne konkreten Bezug zum bewerteten Vorschlag ist Dekoration. Verlangen Sie für jeden Wert einen Satz, der auf eine bestimmte Stelle oder Eigenschaft verweist.
Feste Menge statt offener Schleife. Lassen Sie eine größere Zahl von Vorschlägen erzeugen als Sie brauchen, etwa zwanzig für zehn benötigte, und übernehmen Sie die besten. Damit entfällt der Anreiz, Bewertungen über eine Linie zu schieben. Liegen am Ende trotzdem alle Werte knapp über Ihrer Erwartung, sollten Sie der Verteilung misstrauen, bevor Sie sich über das Ergebnis freuen.
Bewertung in einem neuen Kontext. Die wirksamste einzelne Maßnahme: Lassen Sie die Bewertung von einem frischen Chat oder einem zweiten Modell vornehmen, das den Entstehungsprozess nicht kennt. Wer nicht weiß, wie viel Arbeit in einem Vorschlag steckt, bewertet ihn nüchterner.
Überprüfbares nachprüfen. Fakten, Zahlen, Quellen und Code gehören in keine Bewertungsmatrix. Eine Quellenangabe lässt sich öffnen, eine Rechnung nachrechnen und Code ausführen, und jede dieser Prüfungen ist zuverlässiger als die beste Note.
Wann Sie keine Matrix brauchen
Die Methode kostet Zeit und lohnt sich längst nicht für jede Frage. Für eine schnelle Formulierung, eine E-Mail-Antwort oder eine Rechenaufgabe ist sie schlicht zu schwerfällig. Sinnvoll wird sie bei Aufgaben, für die es viele mögliche Lösungen gibt, deren Qualität eine Frage des Urteils ist, bei denen Sie benennen können, was eine gute Lösung ausmacht, und bei denen ein Fehlgriff spürbar Geld oder Zeit kostet. Themenpläne, Namensfindung, Positionierungsvarianten, Kampagnenideen und Gliederungen für längere Texte gehören typischerweise dazu.
Der größte Nutzen entsteht vor dem ersten Vorschlag
Wer fünf Kriterien formulieren muss, merkt dabei häufig erst, dass er selbst nicht genau wusste, was er eigentlich sucht. Diese Klärung ist der wertvollste Teil der Methode, und sie bleibt Ihnen auch dann erhalten, wenn Sie den Zahlen am Ende kein Wort glauben. Die Noten taugen als Sortierhilfe, mehr nicht, und wer sie als Qualitätsgarantie behandelt, verwechselt die Prüfung mit dem Ergebnis.
Sie setzen KI im Marketing ein und haben den Eindruck, dass die Ergebnisse austauschbar bleiben? Sprechen Sie mit uns. Wir zeigen Ihnen, wie wir in unseren Projekten mit KI arbeiten, einschließlich der Stellen, an denen wir ihr bewusst nicht vertrauen.
