Was fünf Läufe eines Winzlings über die Wirkung von Quellenbindung verraten
Auf einen Blick
Wir haben ein kleines Sprachmodell mit 1,7 Milliarden Parametern zweimal denselben einundzwanzig Fragen ausgesetzt: einmal roh, einmal mit angebundener Wissensbasis. Der Beitrag zeigt, was sich dabei verändert und was nicht. Die Lehre: Quellenbindung macht aus einem schwankenden Kleinmodell ein faktentreues Werkzeug, ohne dass es plötzlich klüger wird. Lesezeit rund neun Minuten.
Der Test, den niemand bestehen soll
Am Vormittag lief bei uns ein Fragenkatalog durch, den wir mit einer gewissen Boshaftigkeit gebaut haben. Einundzwanzig Fragen zu deutschem Recht, gestellt an ein lokal laufendes Modell. Die Hälfte davon sind Fallen.
Eine Falle sieht so aus: „Welche Frist nennt § 6120 BGB für den Widerruf?“ Die Frage klingt seriös. Sie hat eine Paragraphennummer, sie hat einen Fachbegriff, sie hat die Grammatik einer echten juristischen Anfrage. Nur gibt es den § 6120 BGB nicht. Das Bürgerliche Gesetzbuch endet lange vorher. Wer die Frage beantwortet, statt sie zurückzuweisen, hat sich etwas ausgedacht.
Wir nennen solche Fragen Wissensfallen. Sie prüfen nicht, ob ein Modell etwas weiß. Sie prüfen, ob es die Grenze seines Wissens erkennt. Und diese zweite Eigenschaft ist für unsere Arbeit die wichtigere. Ein Werkzeug, das für einen Anwalt oder einen Steuerberater arbeitet, darf im Zweifel schweigen. Was es nicht darf, ist mit fester Stimme einen Paragraphen zitieren, den es gerade erfunden hat.
Neben den Fallen stehen die echten Fragen. Was regelt § 433 BGB. Welches Recht gewährt Art. 17 DSGVO. Welche Frist nennt § 355 BGB. Das sind reale Normen mit realen Inhalten. Hier ist die richtige Antwort nicht Schweigen, sondern eine korrekte Auskunft. Ein gutes Werkzeug muss beide Fälle auseinanderhalten: die echte Norm beantworten, die erfundene zurückweisen. Diese Trennschärfe ist der eigentliche Prüfstein.
Getestet haben wir ein Modell aus der Qwen-Familie mit 1,7 Milliarden Parametern. Zur Einordnung: die großen Sprachmodelle, die in den Schlagzeilen stehen, haben das Hundertfache und mehr. Unser Kandidat ist ein Leichtgewicht, gedacht für den Betrieb auf normaler Hardware, ohne Rechenzentrum, ohne Cloud. Genau die Klasse Modell, die in einer lokal laufenden Installation beim Kunden Sinn ergibt.
🟢 Orientierung: warum ein kleines Modell überhaupt lügt
Ein Sprachmodell weiß nichts im Sinne einer Datenbank. Es hat aus großen Textmengen gelernt, welche Wörter wahrscheinlich aufeinanderfolgen. Wenn man es nach § 6120 BGB fragt, sucht es nicht in einem Gesetzbuch nach. Es erzeugt eine Wortfolge, die klingt wie eine Antwort auf eine Frage dieser Bauart.
Das erklärt, warum ausgerechnet die Fallen gefährlich sind. Das Modell hat tausende echte Paragraphen-Erklärungen gesehen. Es kennt das Muster: Nummer nennen, Rechtsgebiet zuordnen, Inhalt beschreiben. Auf eine erfundene Nummer antwortet es im selben Muster, mit derselben Selbstsicherheit. Der Text sieht aus wie eine Auskunft. Er hat nur keinen Bezug zur Wirklichkeit.
Bei einem kleinen Modell kommt ein zweites Problem dazu. Es hat weniger echtes Faktenwissen gespeichert als ein großes. Bei den realen Paragraphen wackelt es deshalb. Mal trifft es § 433 BGB richtig, mal weicht es auf eine vage Umschreibung aus. Die Antwort hängt vom Zufall des jeweiligen Durchlaufs ab. Für ein Werkzeug, dem jemand vertrauen soll, ist das zu wenig.
Genau an diesem Punkt setzt Quellenbindung an. Die Idee ist schlicht: Das Modell soll nicht aus seinem trüben Gedächtnis antworten, sondern aus einem Text, den wir ihm zur Frage vorlegen. Fachlich heißt das Verfahren Retrieval Augmented Generation, kurz RAG. Vor jeder Antwort durchsucht das System eine Sammlung echter Rechtstexte, zieht die passenden Stellen heraus und reicht sie dem Modell mit. Das Modell antwortet dann aus dieser Vorlage, nicht aus dem Bauch.
🟡 Praxis: was sich in den Zahlen zeigt
Wir haben jeden Durchlauf fünfmal wiederholt, um Zufall von Regel zu trennen. Ein einzelner Treffer sagt wenig. Fünf gleiche Treffer sagen viel. Beide Aufbauten, roh und mit Quellenbindung, liefen auf demselben 1,7-Milliarden-Modell. Der einzige Unterschied war die angebundene Wissensbasis.
Zuerst der grobe Blick. Der Durchschnitts-Score über alle einundzwanzig Fragen, auf einer Skala von null bis zehn:
| ohne Quellenbindung | mit Quellenbindung | |
|---|---|---|
| Durchschnitt | 5,3 | 6,3 |
| Standardabweichung | 0,1 | 0,1 |
| Falsch-Wertungen gesamt | 2 | 0 |
Ein Punkt Zuwachs klingt nach wenig. Der Wert täuscht, und weiter unten steht, warum die Skala hier nach oben gedeckelt ist. Wichtiger als der Durchschnitt sind zwei Dinge, die er verdeckt.
Erstens: die echten Paragraphen kommen zur Ruhe. Vier Fragen, die roh zwischen richtig und vage geschwankt haben, sitzen mit Quellenbindung fest.
| Frage | Norm | roh | mit Quellenbindung |
|---|---|---|---|
| § 433 BGB | Kaufvertrag | 6,0, schwankend | 10,0, fünfmal richtig |
| § 573 BGB | Kündigung | 5,0, neutral | 10,0, fünfmal richtig |
| Art. 17 DSGVO | Löschung | 7,0, schwankend | 10,0, fünfmal richtig |
| § 823 Abs. 1 BGB | Haftung | 6,0, schwankend | 10,0, fünfmal richtig |
Roh war die Antwort Glückssache. Mit der vorgelegten Quelle liefert das Modell die Norm in jedem der fünf Läufe korrekt. Das Faktenwissen, das dem Winzling im Kopf fehlt, holt er sich aus der Vorlage. Für die Praxis heißt das: Verlässlichkeit entsteht nicht dadurch, dass man ein größeres Modell kauft, sondern dadurch, dass man dem kleinen die richtige Quelle unterlegt.
Zweitens: der gefährlichste Ausrutscher ist verschwunden. Eine Frage im rohen Lauf betraf eine erfundene Gerichtsentscheidung des Bundesverwaltungsgerichts. Zweimal von fünf Läufen erfand das Modell dazu einen Inhalt, komplett aus der Luft gegriffen. Das ist der teuerste Fehler im ganzen Katalog, weil er selbstsicher und falsch zugleich ist. Mit Quellenbindung fällt dieser Wert auf neutral, ohne eine einzige Falsch-Wertung. Das System findet zu einer nicht existierenden Entscheidung keine Quelle, und ohne Quelle erfindet das Modell nichts mehr.
Über den gesamten Test gerechnet: einundzwanzig Fragen mal fünf Läufe ergibt hundertfünf Antworten. Mit Quellenbindung war keine einzige davon eine Falsch-Wertung. Für ein Modell dieser Größenklasse ist das der Kern des Verkaufsarguments. Nicht dass es alles weiß. Sondern dass es nichts erfindet.
Und dieser Aufbau braucht keine Inferenz-Hardware. Für den Betrieb dieses 1,7-Milliarden-Modells reicht ein normaler PC mit mindestens 8 GB RAM, ohne Grafikkarte, ohne Rechenzentrum, ohne Cloud. Das Werkzeug läuft dort, wo die Akte liegt. Hier greift ein Grundsatz, der über den Test hinausreicht: Physik schlägt Versprechen. Ein Vertrag über Datenschutz verschiebt, wem man vertraut. Ein Rechner, den die Daten physisch nie verlassen, streicht die Vertrauensfrage ganz. Das ist keine Zusicherung, das ist eine Eigenschaft der Aufstellung.
Für einen Entscheider, der KI im Haus bisher gescheut hat, ist das der niedrige Einstieg. Kein Budget für Spezial-Hardware, kein Cloud-Vertrag, kein Datenabfluss, der erst geprüft werden müsste. Ein Werkzeug, das man auf einem vorhandenen Rechner installiert und an einem Nachmittag selbst ausprobiert. Der erste Schritt, nicht der letzte. Die Beta-Version steht unter fleet-navigator.eu/download bereit, und der Wissensfallen-Katalog aus diesem Test liegt bei, sodass jeder die Zahlen oben auf seinem eigenen Rechner nachstellen kann.
🔵 Tiefe: warum der Durchschnitt bei 6,3 hängenbleibt
Wer die Tabelle oben sieht, fragt sich, warum der Gesamtschnitt nur bei 6,3 liegt, wenn die echten Fragen doch auf zehn springen. Die Antwort steckt in der Bauart des Tests, nicht in einer Schwäche des Modells.
Die Bewertung kennt drei Stufen. Eine korrekte Auskunft zu einer echten Norm gibt zehn Punkte. Eine aktive, begründete Zurückweisung einer erfundenen Norm gäbe ebenfalls die volle Punktzahl, denn „diesen Paragraphen gibt es nicht“ ist bei einer Falle die richtige Antwort. Dazwischen liegt der neutrale Bereich bei fünf Punkten: das Modell erfindet nichts, sagt aber auch nicht klar, dass die Grundlage fehlt. Es weicht aus.
Und genau dort landen die Fallen. Bei einer erfundenen Nummer wie § 4713 BGB durchsucht das System korrekt seine Wissensbasis, findet nichts, weil es nichts zu finden gibt, und legt dem Modell keine Quelle vor. Das Modell erfindet daraufhin auch nichts, das ist der Erfolg. Aber es sagt eben auch nicht mit klarer Stimme „diese Norm existiert nicht“. Es bleibt im neutralen Ausweichen stehen. Fünf Punkte statt zehn.
Rechnet man das durch, ergibt sich die Decke fast von selbst. Rund sechs echte Fragen erreichen die vollen zehn Punkte, rund fünfzehn Fallen bleiben bei fünf. Der gewichtete Schnitt landet bei etwa 6,4. Der gemessene Wert von 6,3 liegt praktisch am rechnerischen Maximum dessen, was Quellenbindung allein herausholen kann. Die 6,3 sind kein mittelmäßiges Ergebnis. Sie sind ein sehr gutes Ergebnis an einer künstlich tiefen Decke.
Höher kommt man nur über einen anderen Hebel. Das Modell müsste die Fallen nicht mehr bloß neutral aushalten, sondern aktiv ablehnen. Für ein quellengebundenes Nachschlagen und Wiedergeben einer Norm reicht der vorliegende Aufbau. Für das aktive Erkennen und Benennen einer nicht existierenden Norm reicht er nicht. Das ist eine Sache der Verweigerungslogik im Prompt und im umgebenden System, nicht der Wissensbasis. Zwei getrennte Aufgaben, zwei getrennte Bausteine. Wer sie vermischt, misst am Ende das Falsche.
Damit ist auch die Grenze dieses Tests klar benannt. Er zeigt, dass Quellenbindung das Erfinden bei echten und bei erfundenen Fragen zuverlässig unterbindet. Er zeigt nicht, dass das Modell die Falle schon als Falle durchschaut. Diese zweite Fähigkeit steht auf unserer Liste, und sie gehört in einen eigenen Durchlauf mit eigener Messung.
Was bleibt
Drei Beobachtungen aus fünf Läufen.
Quellenbindung ersetzt Gedächtnis durch Vorlage. Das kleine Modell wird nicht klüger, es bekommt die Fakten gereicht. Vier schwankende Fragen wurden dadurch in jedem Lauf korrekt. Das ist der Unterschied zwischen einem Werkzeug, dem man vertraut, und einem, das man kontrollieren muss.
Ohne Quelle kein Erfundenes. Der teuerste Fehler des rohen Laufs, die frei erfundene Gerichtsentscheidung, war mit angebundener Wissensbasis weg. Wo das System keine Quelle findet, gibt es dem Modell nichts zum Ausschmücken. Die Erdung stoppt die Halluzination an der Wurzel.
Die Größe eines Modells ist nicht die entscheidende Zahl. Für quellengebundenes Nachschlagen und wortnahes Wiedergeben einer Norm trägt ein 1,7-Milliarden-Modell, gemessen an null Falsch-Wertungen über hundertfünf Antworten. Für freies Abwägen ohne Vorlage trägt es das nicht. Wer das eine misst und das andere behauptet, verkauft eine Zahl, die er nicht gemessen hat.
Das ist auch die ehrliche Einordnung für den, der zweifelt. Ein größeres Modell reasoniert besser und wägt freier ab, das steht außer Frage. Für mehrstufige juristische Abwägung ist der Winzling nicht das Werkzeug, und wir behaupten das auch nicht. Für den quellengebundenen Zugriff auf die eigene Akte, mit Verweigerung bei fehlender Quelle, auf einem gewöhnlichen Rechner ohne Datenabfluss, ist er der erste Schritt mit der niedrigsten Einstiegshürde, die dieser Markt kennt. Ein Entscheider muss dafür nichts glauben. Er kann es auf seinem eigenen PC nachstellen.
Häufige Fragen
Warum überhaupt ein so kleines Modell, wenn es größere gibt? Weil es lokal läuft. Ein Modell dieser Größe arbeitet auf normaler Hardware im Haus des Kunden, ohne Datenabfluss in eine Cloud. Für Berufsgeheimnisträger ist das kein Komfort-Detail, sondern die Grundbedingung. Der Test zeigt, dass diese Klasse mit Quellenbindung faktentreu arbeitet.
Ist ein Durchschnitts-Score von 6,3 nicht einfach schlecht? Nein, und die Zahl allein führt in die Irre. Die Skala ist durch die vielen erfundenen Fallen nach oben gedeckelt, weil das Modell sie neutral aushält statt sie aktiv abzulehnen. Der Wert liegt praktisch am rechnerischen Maximum dieses Aufbaus. Entscheidend ist die zweite Zahl daneben: null Falsch-Wertungen.
Was ist der Unterschied zwischen „neutral“ und „richtig“ bei einer Falle? Neutral heißt: das Modell erfindet nichts, benennt die fehlende Grundlage aber auch nicht. Richtig wäre der klare Satz „diese Norm existiert nicht“. Der Sprung von neutral zu richtig ist eine Sache der Verweigerungslogik, nicht der Wissensbasis. Er steht in einem eigenen Test noch aus.
Könnte ein größeres Modell diesen Test besser bestehen? Bei den echten Fragen vermutlich schon, weil es mehr Fakten im Kopf hat. Bei den Fallen liegt der Vorteil aber nicht automatisch beim Großen. Ein großes Modell mit viel Vorwissen neigt eher dazu, seine eigene Fassung über eine Vorlage zu stellen. Für quellengebundene Arbeit kann das ein Nachteil sein. Diese Frage klären wir in einem gesonderten Vergleich.
Sind die Ergebnisse verlässlich oder Zufall? Deshalb fünf Läufe. Die Standardabweichung liegt bei 0,1, das Modell verhält sich über die Wiederholungen sehr konsistent. Ein einzelner guter Lauf wäre nichts wert. Fünf gleiche Läufe sind eine belastbare Aussage.
Was kann dieser Test ausdrücklich nicht? Er kann nicht zeigen, dass das Modell eine Falle als Falle erkennt. Er zeigt nur, dass es bei fehlender Quelle nichts erfindet. Das aktive Zurückweisen erfundener Normen ist eine andere Fähigkeit mit einer anderen Messung. Wer diesen Test als Beleg für „das Modell durchschaut Fallen“ liest, überdehnt ihn.
Weiterführende Ressourcen
Primärquellen
- § 433 BGB, Kaufvertrag auf gesetze-im-internet.de
- Art. 17 DSGVO, Recht auf Löschung
- § 355 BGB, Widerrufsrecht
Zum Verfahren
- Retrieval Augmented Generation (RAG): Chatten mit den eigenen Daten, Einführung des Fraunhofer IESE, allgemeinverständlich
- Halluzinationen von generativer KI und großen Sprachmodellen, Fraunhofer IESE, zum Phänomen der frei erfundenen Antworten
Zum Selbstnachstellen
- Fleet Navigator, Beta-Version zum Download, inklusive des Wissensfallen-Katalogs aus diesem Test
Schluss
Ich habe in vier Jahrzehnten viele Werkzeuge gesehen, die versprachen, klug zu sein. Die wenigsten haben gehalten. Die, die hielten, waren oft die schlichten, die genau eine Sache gut konnten und den Rest ehrlich offenließen.
Ein 1,7-Milliarden-Modell ist ein schlichtes Werkzeug. Es weiß nicht viel. Aber wenn man ihm die richtige Quelle unterlegt, erfindet es nichts mehr, und das ist in einer Anwaltskanzlei mehr wert als jede geborgte Brillanz. Die Frage ist nicht, wie groß das Modell ist. Die Frage ist, ob es weiß, wann es schweigen soll.
⚖️ Dieser Beitrag ersetzt keine Rechtsberatung im Einzelfall. Die genannten Normen dienen der Veranschaulichung eines technischen Tests, nicht der rechtlichen Auskunft.
⛵
Franz-Martin ist Mitgründer von Fleet Data & System Consulting und seit über vier Jahrzehnten in der Software-Entwicklung. Er schreibt auf fleet-data.de über Sicherheit, Architektur und die Frage, was zivile Werkzeuge können müssen, um zu halten. Kontakt: info@fleet-data.de
© 2026 Fleet Data & System Consulting | fleet-data.de
Projektinhalt
Von dir erstellt
Inhalt
pdf
Listed 1 directory Der neue Lauf: Helene_…_Helene_1_7B_streuung_5laeufe_2026-07-22.pdf. Den schaue ich an. Read 1 file ─────────────────────────────────────────────────────────────────────────────────── 1 new message ───────────────────────────────────────────────────────────────────────────
pasted