RAG KI – Language Models mit firmeneigenen Daten anreichern

RAG – WAS IST DAS?

RAG ist ein System, das eine eingehende Frage an das LLM weitergibt. Zuvor wird jedoch in einer eigens vorbereiteten Vektordatenbank nach allen Daten gesucht, die zu dieser Frage relevant sind. Diese werden dann mittels Prompts an das LLM übermittelt.

Das bedeutet, dass das LLM muss sich nicht nur ausschließlich auf sein antrainiertes Wissen verlässt, sondern bekommt mit der Fragestellung zusätzlich alle relevanten Daten mitgeliefert.

WIE? – ZWEI PROZESSE MACHEN ES MÖGLICH

Zu Anfang werden die Daten vorbereitet. Dafür werden die Daten in einer Vektordatenbank abgespeichert und in den meisten Fällen auch aufbereitet, normalisiert und geteilt. Zudem brauchen Daten wie Schreibtexte, Programmcode, Bilder oder Audio ihre eigene Verarbeitung.

Im zweiten Prozess wird die Frage des Nutzenden beantwortet. Hier greift das RAG auf die Vektordatenbank zu und sucht die relevanten Daten, die dank der vorherigen Vorbereitung der Daten zu finden sind. Anschließend werden die Daten noch einmal umgewandelt, um einen sinnvollen Kontext für das LLM zu bieten.

WAS HAT DIE VEKTORDATENBANK DAMIT ZU TUN?

Das Besondere des RAG-Systems ist die Vektorisierung der Daten sowie das Abspeichern in einer Vektordatenbank. Im Gegensatz dazu stehen “normale” rationale Datenbanken, die in Tabellenform abgespeichert werden. Während die Abfragen hier auf die Werte der Einträge selbst eingehen, wird eine Vektordatenbank nach der Anzahl der Dateneinträge, die einem Dateneintrag ähneln, abgefragt. So kann das RAG-System in seiner Vektordatenbank die Textstellen finden, die die größte Relevanz für die Frage haben. Diese relevanten Textstellen in den Dokumenten werden dann vom RAG an das LLM weitergereicht.

PROMPT ENGINEERING

Prompt Engineering bezeichnet die Eingabe, die an ein LLM gegeben wird. In Bezug auf ein RAG-System sind damit die Frage des Nutzenden, der Kontext und die Anweisungen gemeint, die für die Generierung der Antwort an das LLM übergeben werden. Damit jeder Schritt der Implementierung in dem RAG von einem LLM übernommen wird, ist ein entsprechender Prompt notwendig.

RAG FEATURED BY MEDIENWERFT

Um unseren Kunden stets die state-of-the-art Lösungen im E-Commerce anbieten zu können, stand das Thema KI mit RAG früh auf unserer Agenda. Schon vor den ersten Kundenanfragen haben wir damit begonnen, ein RAG-System für die interne Nutzung zu entwickeln. Dieses ermöglicht uns die Nutzung des umfangreichen Wissens, welches sich über Jahre in Form von Tickets angesammelt hat. Im Kern ermöglichen wir somit einen strukturierten Zugriff auf unser internes Knowhow.

Möchten Sie erfahren, welche Vorteile ein eigenes RAG-System Ihrem Unternehmen bringt?