Ein RAG-System (Retrieval Augmented Generation) beantwortet eine Kundenanfrage nicht aus einem allgemeinen Sprachmodell, sondern durchsucht zuerst die eigenen Firmendokumente wie Preislisten, Produktdatenblätter oder frühere Support-Tickets und erstellt daraus eine Antwort. Für Verkauf und Kundenservice bedeutet das: Eine Frage zu einer Lieferzeit oder einem Ersatzteil lässt sich beantworten, ohne dass ein Mitarbeiter zuerst in mehreren Systemen nachschlagen muss.
Wie läuft eine Anfrage konkret ab?
- Ein Kunde schreibt per Mail oder Chat, zum Beispiel zum Status einer Bestellung.
- Das System sucht die passende Bestellnummer im ERP und findet zugehörige Einträge im CRM oder in früheren Support-Fällen.
- Es formuliert eine Antwort und verweist auf die Quelle, etwa den konkreten Auftrag.
- Ein Mitarbeiter prüft den Vorschlag, oder das System versendet die Antwort direkt, je nach Freigabe.
Der Unterschied zu einem klassischen Chatbot liegt darin, dass die Antwort an eine Quelle im eigenen Datenbestand gebunden ist. Das macht sie nachvollziehbar, aber auch abhängig davon, wie gut diese Quelle gepflegt ist.
Warum die eigenen Daten der Engpass sind
Lukas Beckenbauer, Gründer von DEAI Labs, beschreibt im Beitrag „Warum KI jetzt aus Einzelkämpfern skalierbare Unternehmen macht“ (Markt und Mittelstand) das zentrale Problem: Firmendaten liegen über Jahre verteilt in ERP- und CRM-Systemen sowie im E-Mail-Programm, oft ohne Verbindung untereinander. Nach Umfragen und Studien, auf die sich Beckenbauer bezieht, dürften rund 80 Prozent der Firmen in Deutschland hier Defizite haben. Für ein RAG-System heißt das: Es kann nur Antworten aus Daten ziehen, die es auch erreicht. Liegen Preislisten in einer Excel-Datei auf einem einzelnen Rechner, taucht diese Information in keiner automatisierten Antwort auf.
Wie weit sind kleine Unternehmen bei KI in der Kundenkommunikation bereits?
Laut dem Ifo-Jimdo-Index nutzten im Mai 2026 bereits 51,2 Prozent der Kleinstunternehmen und Soloselbstständigen KI-Werkzeuge, ein Jahr zuvor waren es 30,4 Prozent. Jimdo-Gründer Matthias Henze berichtet von einer eigenen Anwendung im Bereich Kundenkommunikation: Kunden, die KI-basierte Handlungsempfehlungen auf der Plattform nutzen, verzeichnen danach vierzig Prozent mehr Transaktionen, so Henze. Das ist kein Beleg für ein RAG-System im engeren Sinn, zeigt aber, dass strukturierte, personalisierte KI-Unterstützung in der Kundenansprache bei kleinen Unternehmen bereits messbare Effekte hat.
Was ein RAG-System nicht leisten kann
Die Qualität der Antwort hängt direkt von der Qualität und Aktualität der zugrunde liegenden Daten ab. Ein System, das auf veraltete Preislisten oder unvollständige Ticket-Historien zugreift, liefert entsprechend lückenhafte Antworten. Vor dem Einsatz steht deshalb meist die Aufgabe, Daten aus getrennten Systemen zusammenzuführen, wie Beckenbauer es für den Mittelstand beschreibt.
Hinzu kommt ein regulatorischer Punkt: Seit dem 2. August 2026 gelten nach Angaben von Bitkom weitere Transparenzanforderungen des AI Acts für bestimmte KI-Systeme und KI-generierte Inhalte. Bitkom-Präsident Ralf Wintergerst weist darauf hin, dass zentrale Leitlinien erst kurz vor dem Stichtag veröffentlicht wurden und viele Auslegungsfragen offen sind. Unternehmen, die automatisiert generierte Antworten an Kunden versenden, sollten diese Vorgaben im Blick behalten, auch wenn die genaue Umsetzung in der Praxis laut Bitkom noch unklar ist.
Ein RAG-System ersetzt zudem keine menschliche Prüfung bei komplexen oder strittigen Fällen. Es liefert einen Antwortvorschlag mit Quellenverweis, die endgültige Entscheidung bleibt bei komplizierten Anfragen sinnvollerweise bei einem Mitarbeiter.