Was ist Prompt-Sensitivität?
Prompt-Sensitivität ist die Neigung eines Sprachmodells, auf dieselbe Frage anders zu antworten, wenn sie anders formuliert ist. Ein Wort ändern, die Reihenfolge der Optionen vertauschen, einen Hinweis auf die erwartete Antwort einbauen – und die Antwort kann kippen, manchmal von Ja zu Nein.
Für das Vertrauen ist das wichtig, denn eine einzelne Antwort kann ebenso die Formulierung widerspiegeln wie die Fakten. Eine Schlussfolgerung, die beim Umformulieren kippt, war keine stabile Schlussfolgerung.
Woher sie kommt
Framing. „Ist diese Geldanlage sicher?“ und „Welche Risiken hat diese Geldanlage?“ ziehen die Antworten in verschiedene Richtungen. Die Frage trägt eine Annahme, und das Modell folgt ihr tendenziell.
Suggestive Formulierung. Modelle sind darauf trainiert, hilfreich und entgegenkommend zu sein. Verrät deine Frage die gewünschte Antwort, kann sich ein Modell ihr zuneigen.
Reihenfolge und Format. Bei Multiple Choice oder Rankings kann die Position einer Option die Wahl beeinflussen.
Fehlender Kontext. Eine vage Frage lässt das Modell Lücken füllen, und unterschiedliche Formulierungen füllen sie unterschiedlich.
Warum das beim Modellvergleich zählt
Wenn zwei Modelle widersprechen, kann das an echten Wissensunterschieden liegen – oder nur daran, wie der Prompt bei jedem ankam. Deshalb schickt ein fairer Vergleich denselben, unveränderten Prompt an alle Modelle. Unterschiede stammen dann von den Modellen, nicht von der Formulierung.
Du kannst Sensitivität auch als Test an dir selbst nutzen: Hängt dein Ergebnis davon ab, wie du gefragt hast, hast du eine Annahme gefunden, die du prüfen solltest.
Ein einfacher Test
- Formuliere die Frage neutral, ohne die erwartete Antwort.
- Stelle sie ein zweites Mal anders: Drehe das Framing um, von positiv zu negativ („Vorteile“ gegenüber „Risiken“).
- Vergleiche. Bleibt der Kern gleich, hält die Antwort der Formulierung stand. Kippt sie, behandle das Thema als unsicher und prüfe Primärquellen.
Sie in der Praxis verringern
- Beschreibe die Entscheidung und die Rahmenbedingungen, nicht die bevorzugte Antwort.
- Bitte um Pro und Contra oder um das beste Argument jeder Seite.
- Gib allen Modellen denselben Kontext und halte die Formulierung fest.
- Nenne die relevanten Daten (Budget, Land, Datum), damit Modelle nicht raten.
- Sei misstrauisch gegenüber einer einzigen sicheren Antwort auf eine suggestive Frage.
Mit der eigenen Frage ausprobieren
Stelle die Frage, die dir wichtig ist, sechs unabhängigen Modellen und sieh, wo sie übereinstimmen und wo nicht. 6 KIs auf Satcove fragen, kostenlos, ohne Karte.
Häufig gestellte Fragen
Ist Prompt-Sensitivität ein Fehler? Sie ist eine Eigenschaft der Funktionsweise von Sprachmodellen. Sie reagieren auf den gesamten Prompt-Text, daher zählt die Formulierung. Du kannst die Wirkung verringern, nicht beseitigen.
Kann sie falsche Uneinigkeit erzeugen? Ja, wenn Modelle unterschiedliche Formulierungen erhalten. Identische Prompts an alle verhindern das.
Kann sie falsche Einigkeit erzeugen? Ja. Ein stark suggestiver Prompt kann mehrere Modelle zu der angedeuteten Antwort drängen.
Heißt niedrige Einigkeit, dass mein Prompt schlecht ist? Nicht unbedingt, aber vage oder suggestive Fragen sind eine häufige Ursache. Probiere eine präzisere, neutrale Fassung.