Dokumente durchsuchen oder Modell anlernen: was wofür taugt

Der eine ist der Dokumentenabruf (englisch: Retrieval Augmented Generation, kurz RAG). Dabei bleibt das Modell unverändert. Zu jeder Frage werden passende Textstellen aus einer hinterlegten Dokumentensammlung gesucht und dem Modell zusammen mit der Frage übergeben. Es antwortet auf dieser Grundlage. Der Begriff stammt aus einer Arbeit von 2020, die vortrainiertes Wissen im Modell mit einem durchsuchbaren Textbestand daneben kombiniert hat (Lewis et al., 2020).

Der andere ist das Anlernen (englisch: Fine-Tuning). Dabei wird ein fertiges Modell auf firmeneigenen Texten weitertrainiert und verändert dabei seine internen Werte, die sogenannten Gewichte (Microsoft Learn).

Das übliche Missverständnis lautet, man müsse sich für eines von beiden entscheiden. Tatsächlich beantworten die beiden unterschiedliche Fragen. Microsoft zieht die Trennlinie in seiner Entwicklerdokumentation so: Anlernen passt zu stabilen Inhalten und zu einer klar umrissenen Aufgabe, der Dokumentenabruf zu wechselnden Inhalten und breiter Themenabdeckung (Microsoft Learn).

Beim Anlernen verschiebt sich, wie das Modell formuliert, gliedert und gewichtet. Es übernimmt die Fachsprache eines Hauses, den üblichen Aufbau einer Stellungnahme, die Abkürzungen, die intern selbstverständlich sind, und die Art, wie im Betrieb Fragen beantwortet werden. Microsoft führt als Nutzen ausdrücklich auf, dass das Anlernen dem Modell hilft, Sprache, Stil und Terminologie eines neuen Fachgebiets zu verstehen (Microsoft Learn). OpenAI beschreibt denselben Effekt aus der Anwendungssicht: Angelernt wird, um Ausgaben verlässlich in einem bestimmten Format zu erzeugen und wiederkehrende Fehler beim Befolgen von Anweisungen abzustellen (OpenAI, Model optimization).

Entscheidend ist, was dabei nicht passiert: Das Modell lernt keine Sätze auswendig, sondern Muster. Nach dem Anlernen schreibt es eine Stellungnahme so, wie Ihr Haus Stellungnahmen schreibt, auch in einem Fall, der in keinem Trainingsdokument vorkam.

Tagesaktuelle Einzelfakten nennen. Ein neuer Preis, ein geänderter Vertragsstand, eine Kennzahl von gestern: Solches Wissen steckt nicht in den Gewichten, wenn es nach dem Training entstanden ist.

Auch für älteres Wissen gilt eine Bedingung: Ein Fakt, der im Material nur einmal vorkommt, prägt sich schwach ein. Eine vergleichende Untersuchung von 2024 kommt zu dem Ergebnis, dass Sprachmodelle neue Fakten über das Anlernen erst dann verlässlich aufnehmen, wenn ihnen dieselbe Information in vielen Formulierungen begegnet (Ovadia et al., 2024). Ein Dokument einmal abzuschreiben reicht also nicht. Aus jedem Dokument müssen viele belegte Beispiele entstehen, und genau so ist der Anlernvorgang bei IonKon gebaut.

Dazu kommt die Pflege. Was sich laufend ändert, gehört nicht in die Gewichte, sondern in den Abruf; Microsoft ordnet das Anlernen deshalb stabilen Inhalten zu (Microsoft Learn). Wächst der stabile Bestand, kommt der Zuwachs über ein Nachtraining hinein; dafür liefern wir zu jedem Modell den Trainingsadapter mit.

Nachschlagen. Die Dokumente werden in Abschnitte zerlegt, in eine durchsuchbare numerische Form gebracht und in einer Datenbank abgelegt. Zur Frage werden die passenden Abschnitte herausgesucht und an das Modell weitergereicht (Microsoft Learn).

Der praktische Vorteil ist die Wartbarkeit. AWS fasst ihn knapp zusammen: Der Dokumentenabruf erweitert ein Modell um die internen Wissensbestände einer Organisation, ohne dass das Modell neu trainiert werden muss (AWS). Neue Dokumente hinein, veraltete heraus, und die Antworten ändern sich mit. Dieselbe Quelle nennt zwei weitere Punkte: Der Weg ist kostengünstiger als ein erneutes Training, und die Ausgaben können Quellenangaben enthalten, sodass sich eine Aussage bis zum Ausgangsdokument zurückverfolgen lässt.

Er kennt Ihr Unternehmen nicht. Er durchsucht Text, ohne ihn gelernt zu haben. Anwendungsfall, Anforderungen, Arbeitsweise und Sprache Ihres Hauses bleiben ihm fremd. Er liefert Textstellen, die zur Frage passen, und überlässt alles Weitere dem Modell, das er beliefert. Ist dieses Modell ein allgemeines Modell von der Stange, klingt die Antwort auch so.

Zweitens hilft er nur, wenn die Antwort irgendwo geschrieben steht. Für Fragen nach Einschätzung, Vorgehen oder Formulierung gibt es keine Fundstelle, die man heraussuchen könnte.

An dieser Stelle liegt ein Einwand nahe: Wenn das Modell ein Verfahren beherrschen soll, kann man ihm die Verfahrensbeschreibung doch einfach mitgeben, über den Abruf oder im Anfragetext. Der Einwand trifft die Hälfte. Die Beschreibung lässt sich mitgeben. Die Übung nicht.

Ein Beispiel: Ein Haus arbeitet seit zwanzig Jahren mit derselben eigenen Schnittstelle. Ein Abruf kann die Dokumentation dazu ausliefern. Was er nicht ausliefert, ist die Erfahrung damit. Welcher Aufruf in welcher Reihenfolge sinnvoll ist, wie ein Sonderfall behandelt wird, woran ein Fehler in der Regel wirklich liegt, obwohl die Meldung auf etwas anderes zeigt: Das steht in keinem Dokument, weil es nie jemand aufgeschrieben hat. Es entsteht aus vielen Fällen, und aus vielen Fällen entstehen auch die Trainingsbeispiele.

Dazu kommt, dass ein Abruf eine Frage braucht. Verfahrenswissen wird aber nicht erfragt, es wird angewandt. Niemand tippt „wie behandeln wir eine Reklamation aus dem Ausland", sondern legt die Reklamation vor und erwartet die übliche Behandlung. Damit der Abruf hier hilft, müsste jemand vorher wissen, welches Dokument gebraucht wird, und daran denken, es mitzugeben. Genau dieser Schritt fällt im Alltag aus.

Und der Weg über den Anfragetext ist nicht kostenlos. Was in jedem Gespräch neu mitgegeben wird, belegt Kontextfenster, verlängert die Antwortzeit und ist nach dem Gespräch wieder weg. Ein langer Kontext wird zudem nicht gleichmäßig genutzt: Eine Untersuchung von 2023 zeigt, dass Sprachmodelle Angaben am Anfang und am Ende einer langen Eingabe deutlich besser verwerten als solche in der Mitte (Liu et al., 2023). Wer eine Arbeitsweise dauerhaft wirksam haben will, legt sie besser in die Gewichte als in jede einzelne Anfrage.

Die Trennlinie verläuft damit nicht zwischen zwei Sorten Wissen, sondern zwischen zwei Sorten Aufgabe. Der Abruf antwortet auf Fragen. Das Modell handelt in Situationen. Faktenwissen ist im Alltag oft der kleinere Teil; wichtiger ist, dass das Ergebnis stimmt, ohne dass vorher jemand erklären muss, wie es zustande kommen soll.

Diese Fragen sprechen für den Dokumentenabruf:

• „Was steht in Vertrag 4711 zur Kündigungsfrist?"
• „Welchen Preis hat Artikel X in der aktuellen Liste?"
• „Was hat der Lieferant im Protokoll vom Dienstag zugesagt?"
• „Welche Prüfnorm gilt seit der Aktualisierung im Juni?"

Gemeinsames Merkmal: Die Antwort ist ein Einzelfakt, sie steht in genau einem Dokument, und sie kann sich nächste Woche ändern.

Diese Fragen sprechen für das angelernte Modell:

• „Formuliere die Absage an einen Bewerber, so wie wir das hier machen."
• „Fasse diesen Prüfbericht in unserer üblichen Gliederung zusammen."
• „Erkläre einem neuen Kollegen, wie bei uns eine Reklamation abläuft."
• „Bewerte diese Anfrage nach unseren Kriterien und begründe kurz."

Gemeinsames Merkmal: Es gibt keine Fundstelle. Gefragt sind Arbeitsweise, Ton oder Fachsprache, und die Antwort soll auch in Fällen stimmen, die so noch nie vorkamen.

Diese Fragen brauchen beides:

• „Schreib dem Kunden Meier eine Stellungnahme zur Verzögerung bei Auftrag 4711."
• „Bereite die Angebotsnachfrage von Firma Y so auf, wie wir das üblicherweise tun."

Aufbau, Ton und Bewertungsmaßstab kommen aus dem Modell, der Auftragsstand und die Zahlen aus dem Abruf. Genau das ist der Regelfall im Alltag, und deshalb ist die Kombination die übliche Antwort: stabiles Langzeitwissen in den Gewichten, wartbares Faktenwissen im Abruf.

Für den Abruf müssen Sie kein zweites Produkt kaufen. AnythingLLM, die Bedienoberfläche, über die Ihr Team im Browser mit dem Modell arbeitet, ist eine selbst betriebene Anwendung, die vollständig ohne Internetverbindung laufen kann (AnythingLLM). Der Dokumentenabruf ist dort nicht eine Beigabe, sondern der Kern: Sie legen Arbeitsbereiche an, und jeder Arbeitsbereich hat seine eigene Dokumentensammlung und seine eigene Nutzerzuordnung (Alle Funktionen).

Ein Bereich für den Vertrieb sieht damit andere Unterlagen als einer für die Rechtsabteilung. Eine einzelne Datei lässt sich auch direkt an ein Gespräch hängen, ohne sie dauerhaft aufzunehmen; ob das Modell überhaupt auf Dokumente zugreift, steuern Sie je Arbeitsbereich über den Chat-Modus (Chat-Modi).

Eine separate Suchinfrastruktur ist dafür nicht nötig. In der Voreinstellung liegt der Vektorspeicher als LanceDB auf derselben Maschine; die Dokumentation hält ausdrücklich fest, dass Dokumenttext und Vektoren die Anwendung dabei nicht verlassen (LanceDB). Das Einbettungsmodell, das den Text in durchsuchbare Vektoren übersetzt, ist ebenfalls eingebaut und läuft ohne weitere Einrichtung mit (Einbettungsmodelle). Beide Bausteine lassen sich gegen ausgelagerte Dienste tauschen, wenn eine Installation das verlangt. Für den Anwendungsfall, um den es hier geht, ist genau das Gegenteil der Punkt: Es gibt keinen Dienst, der mitliest, weil keiner beteiligt ist.

IonKon liefert den Teil, den es nicht als Beipack gibt: das angelernte Modell. Aus den freigegebenen Dokumenten eines Unternehmens entsteht ein eigenes Sprachmodell per LoRA-Feinabstimmung. Dieses Verfahren friert die vortrainierten Gewichte ein und trainiert nur kleine zusätzliche Matrizen, was die Zahl der trainierten Werte drastisch senkt, ohne die Qualität zu verschlechtern (Hu et al., 2021).

Es gibt zwei Größen: M mit 9 Milliarden Parametern auf Basis von Qwen3.5-9B für 25.000 Euro netto einmalig und L mit 27 Milliarden Parametern auf Basis von Qwen3.8-27B für 60.000 Euro netto einmalig (IonKon Preise). Ihre Unterlagen laden Sie als ZIP-Datei hoch, bis 8 GB im Tarif M und bis 16 GB im Tarif L. Der Betrieb läuft anschließend lokal auf Ihrer eigenen Hardware. Die Verarbeitung findet in der EU und der Schweiz statt, und die hochgeladenen Dokumente werden spätestens 30 Tage nach Auslieferung gelöscht (IonKon Leistungsbeschreibung).

Der Dokumentenabruf kommt über die mitgelieferte Oberfläche ohne Zukauf dazu und läuft auf derselben Hardware. Sie entscheiden also nicht zwischen zwei Produkten, sondern bekommen den Baustein, der sich nicht nachrüsten lässt, und rüsten den anderen selbst nach, wann und wie oft Sie wollen.