RAG KI – Language Models mit firmeneigenen Daten anreichern

Große Sprachmodelle (LLM’s) weisen bereits eine Vielzahl an Anwendungsbereichen im E-Commerce auf, haben allerdings eine entscheidende Einschränkung: Ein LLM kann nur auf die Daten zurückgreifen, anhand derer es trainiert wurde, über mehr Wissen darüber hinaus verfügt es nicht.

E-Commerce IT ‐ 17. Mai 2024

EIN LLM UND SEINE GRENZEN

Wenn ein Large Language Model (LLM) nur einmalig trainiert wurde und Unternehmen nicht die Kosten dafür tragen wollen, es immer weiter bzw. neu zu trainieren, ist der Stand ab einem gewissen Punkt überholt.

Die Lösung: Retrieval Augmented Generation (RAG).

RAG – WAS IST DAS?

RAG ist ein System, das eine eingehende Frage an das LLM weitergibt. Zuvor wird jedoch in einer eigens vorbereiteten Vektordatenbank nach allen Daten gesucht, die zu dieser Frage relevant sind. Diese werden dann mittels Prompts an das LLM übermittelt.

Das bedeutet, dass das LLM muss sich nicht nur ausschließlich auf sein antrainiertes Wissen verlässt, sondern bekommt mit der Fragestellung zusätzlich alle relevanten Daten mitgeliefert.

RAG KI Infografik EN

ZEIT, KOSTEN, RESSOURCEN SPAREN

Mit dem Einsatz eines RAGs ist das LLM nicht mehr auf ein ständiges “Trainieren” angewiesen und arbeitet trotzdem mit allen vorhandenen Daten. Sobald neue verfügbar sind, können diese in die Vektordatenbank geladen werden und stehen jeder neuen Anfrage über das RAG-System zur Verfügung. So wird an mehreren Enden Aufwand langfristig eingespart, und der Prozess funktioniert automatisiert.

WIE? – ZWEI PROZESSE MACHEN ES MÖGLICH

Zu Anfang werden die Daten vorbereitet. Dafür werden die Daten in einer Vektordatenbank abgespeichert und in den meisten Fällen auch aufbereitet, normalisiert und geteilt. Zudem brauchen Daten wie Schreibtexte, Programmcode, Bilder oder Audio ihre eigene Verarbeitung.

Im zweiten Prozess wird die Frage des Nutzenden beantwortet. Hier greift das RAG auf die Vektordatenbank zu und sucht die relevanten Daten, die dank der vorherigen Vorbereitung der Daten zu finden sind. Anschließend werden die Daten noch einmal umgewandelt, um einen sinnvollen Kontext für das LLM zu bieten.

WAS HAT DIE VEKTORDATENBANK DAMIT ZU TUN?

Das Besondere des RAG-Systems ist die Vektorisierung der Daten sowie das Abspeichern in einer Vektordatenbank. Im Gegensatz dazu stehen “normale” rationale Datenbanken, die in Tabellenform abgespeichert werden. Während die Abfragen hier auf die Werte der Einträge selbst eingehen, wird eine Vektordatenbank nach der Anzahl der Dateneinträge, die einem Dateneintrag ähneln, abgefragt. So kann das RAG-System in seiner Vektordatenbank die Textstellen finden, die die größte Relevanz für die Frage haben. Diese relevanten Textstellen in den Dokumenten werden dann vom RAG an das LLM weitergereicht.

PROMPT ENGINEERING

Prompt Engineering bezeichnet die Eingabe, die an ein LLM gegeben wird. In Bezug auf ein RAG-System sind damit die Frage des Nutzenden, der Kontext und die Anweisungen gemeint, die für die Generierung der Antwort an das LLM übergeben werden. Damit jeder Schritt der Implementierung in dem RAG von einem LLM übernommen wird, ist ein entsprechender Prompt notwendig.

RAG FEATURED BY MEDIENWERFT

Um unseren Kunden stets die state-of-the-art Lösungen im E-Commerce anbieten zu können, stand das Thema KI mit RAG früh auf unserer Agenda. Schon vor den ersten Kundenanfragen haben wir damit begonnen, ein RAG-System für die interne Nutzung zu entwickeln. Dieses ermöglicht uns die Nutzung des umfangreichen Wissens, welches sich über Jahre in Form von Tickets angesammelt hat. Im Kern ermöglichen wir somit einen strukturierten Zugriff auf unser internes Knowhow.

Möchten Sie erfahren, welche Vorteile ein eigenes RAG-System Ihrem Unternehmen bringt?

Dann lassen Sie sich jetzt beraten!

    Schreiben Sie uns




    Alle mit einem * gekennzeichneten Felder sind für die Bestellung und Verarbeitung notwendige Angaben. Ihre personenbezogenen Daten werden zum Zwecke der Bearbeitung Ihrer Anfrage gem. unserer Datenschutzerklärung von uns verarbeitet.

    MEHR ÜBER UNS?

    Alles Wichtige über die Medienwerft – seit über 25 Jahren Experten in Sachen Customer Experience & E-Commerce IT – erfahren Sie hier:

    Über uns
    Kontaktblock

    KONTAKT

    „Hinter jeder begeisternden Online-Lösung steckt eine durchdachte technologische Konzeption. Mein Team aus Systemanalysten, Datenbank-Experten, Frontend-Entwicklern, Backend-Profis und erfahrenen Konzeptionern sorgt dafür, dass alles läuft. Sprechen Sie uns gerne an.“

    Frank Meier

    Geschäftsführer
    FRANK MEIER

    Tel.: 040 / 31 77 99-0
    E-Mail: info@medienwerft.de