Hilfe, meine KI halluziniert

von Jim Webber, Chief Scientist Neo4j

Wie Graphtechnologie LLMs zur Räson bringt

Prometheus brachte der Menschheit das Feuer, ChatGPT brachte die KI. Innerhalb von nur zwei Monaten verzeichnete OpenAi mehr als 100 Millionen Anwender. Noch bremsen mangelnde Genauigkeit, Transparenz, Erklärbarkeit und Compliance den Einsatz der Generativen AI in der Business-Praxis aus. Mit der Kombination aus Large Language Models (LLM) und Graphtechnologie könnte sich das bald ändern.

Das Rennen ist eröffnet: GenAI ist jetzt die Nummer eins bei den Kundenanfragen aller Branchenanalysten. Das Thema ist der am schnellsten wachsende Aufgabenbereich für Technologie-Journalisten. Und alle bedeutenden internationalen Unternehmen wollen generative KI in ihrem Tech-Portfolio haben. Dafür gibt es aktuell drei Möglichkeiten:

1. Anbieterbasierte GenAI-Tools: Neben ChatGPT stehen zur Auswahl: Google Bard (ein direkter Konkurrent von ChatGPT), Dall-E (wie ChatGPT von Open AI), IBM WatsonX, Deepmind Sparrow, Lensa, Jasper, Synthesia, Youchat, Socratic, Amazon Bedrock, Rytr und CopyAI.
2. Eingebettete Lösungen (unter anderem in Box Salesforce und Workday) oder Integrationen und Partnerschaften (von SAP und Microsoft)
3. Am anspruchsvollsten: Erweiterung der unternehmenseigene KI- und Analysefunktionen durch eigene generative AI

Die Chancen und Risiken von GenAI werden auf allen Ebenen kontrovers diskutiert, in der Politik ebenso wie in der Wirtschaft. Politisch ringen die EU, China und die USA heftig um die Regulierung generativer KI. Dabei geht es unter anderem um Fragen des Urheberrechts, des Datenschutzes, der Privatsphäre und der ethischen Nutzung. Auf Ebene der Unternehmen liegen die Probleme in der Datentransparenz, der Zugänglichkeit und Erklärbarkeit von LLMs und den Inhalten, die sie generieren, sowie der Qualität der Aussagen.

Es herrscht noch lange keine Klarheit, was die beste Art und Weise ist, die Modelle zu erstellen, zu trainieren und zu pflegen – und woher die Fähigkeiten dafür kommen sollen.

 Die Probleme: Data Bias, KI-Halluzination und Black Box

LLMs verlassen sich auf Wahrscheinlichkeiten statt auf Regeln. Sie werden mit einem großen Korpus an Dokumenten trainiert, zum Beispiel dem Internet, um ein Modell zu erstellen, das die passendsten Wörter für die Beantwortung von Anfragen vorhersagt. Wie genau sie zu ihren Aussagen kommen, lässt sich von außen nicht nachvollziehen. Aber eins ist klar: Angesichts des Ozeans von Inhalten und potenziell gegensätzlichen Optionen entscheiden sie sich immer wieder falsch. Sie behaupten falsche Tatsachen und reproduzieren Vorurteile und Klischees.

Darum sind LLMs bisher nicht vertrauenswürdig. Es gibt zahllose Beispiele, in denen LLMs den Anschein erwecken, eine Frage selbstsicher und flüssig zu beantworten – aber die Antwort stimmt nicht. Dieses Verhalten wird als „Halluzinationen“ bezeichnet: Der KI-Algorithmus versteht die Frage nicht oder interpretiert sie falsch und scheint eine Antwort zu erfinden.

Ohne besseres Training der LLMs wird das so bleiben: Sie sind nicht empfindungsfähig und können menschliche Intelligenz nicht ersetzen. Aufgrund ihrer Beschränkungen können sie aktuell weder vollwertige journalistische Artikel noch Schulaufsätze schreiben – auch wenn sie beim Ideensammeln, der Gliederung und dem ersten Entwurf hilfreich sind. Und selbst wenn die Technologie zahlreiche Beispiele von Computercode aufsaugt, kann sie nicht die Rolle von Entwicklern übernehmen. Sie kann nur die Erstellung von Code erleichtern.

Um die Möglichkeiten der generativen KI voll auszuschöpfen, muss die nächste Generation von GenAI mit hochwertigen, strukturierten Geschäftsdaten trainiert werden. Es wird nicht reichen, sich auf das kostenlose Angebot des Internets zu verlassen. Zumal das Netz immer stärker von KI-generierten Inhalten geflutet wird – inklusive nicht korrigierter Halluzinationen.

Die Lösung: Besseres Training mit Graphtechnologie

Wie lässt sich GenAI dazu bringen, verlässlichere Aussagen auszuwerfen?  Eine Möglichkeit ist, einen Knowledge Graphen auf Basis von Graphtechnologie zu verwenden. Dieser schafft Erklärbarkeit, Konformität und Reproduzierbarkeit im LLM. Noch größer werden die Qualitätsunterschiede, wenn Algorithmen der Graph Data Science (GDS) zur Anwendung kommen.

Graphtechnologie macht LLMs weniger voreingenommen und genauer. Sie verbessert ihr Verhalten und zwingt das Modell, sich auf die richtigen Antworten zu konzentrieren. Wenn ein LLM auf kuratierten, hochwertigen und strukturierten Daten – dem Knowledge Graphen – trainiert wird, sinkt die Gefahr von Fehlern und „Halluzinationen“ erheblich.

Knowledge Graphen organisieren Daten aus verschiedenen Quellen. Sie erfassen Informationen über Entitäten wie Personen, Orte oder Ereignisse und stellen Verbindungen zwischen ihnen her. Die Entwickler des Systems können innerhalb des Datenmodells „goldene Beziehungen“ festlegen. Diese werden zum Maßstab, mit dem der Knowledge Graph die Fehler des LLM korrigieren kann (und zwar wesentlich schneller, als es das LLM selbst könnte). Die Korrekturen können ihrerseits als Beispiele dienen, um verfeinerte Maschine-Learning-Algorithmen zu trainieren.

Eine weitere Möglichkeit ist, LLMs für die Erzeugung von Knowledge Graphen zu nutzen. Hierbei verarbeitet ein LLM umfangreiche Mengen natürlicher Sprache. Aus dem Modell wird dann ein Knowledge Graphen abgeleitet. Während das LLM undurchschaubar ist, zeichnet sich der abgeleitete Knowledge Graph durch Transparenz und Formbarkeit aus. In regulierten Bereichen wie der Pharmabranche, in denen es entscheidend ist, die Herkunft experimenteller Ergebnisse belegen zu können, bietet der Knowledge Graph überprüfbare Antworten ohne Halluzinationen.

Beispiele: Mehr Wert durch mehr Konzentration

Immer mehr Unternehmen nutzen Graphtechnologie, um verlässlichere generative KI zu erhalten. Ein Beispiel: Ein Öl- und Gasunternehmen aus Singapur experimentierte mit einem LLM für unternehmensweite Suchen. Da die KI nicht verstand, was sie suchte, waren die Ergebnisse nicht besonders hilfreich. Durch Graphen, die Kontext bereitstellen, konnte das Unternehmen die Genauigkeit und Relevanz der KI erhöhen.

In einem anderen Fall bauten Medizin-Forscher mit Hilfe eines Knowledge Graphen ein FAIR-Datenframework auf (FAIR steht für „findable, accessible, interoperable, reusable“ = auffindbar, zugänglich, interoperabel, wiederverwendbar). Durch den Graphen erhielten sie Links, die zu den Quelldaten zurückführten. So wurde ihre Forschung nachvollziehbarer.

Allen Unternehmen stehen diese Methoden offen, mit Graphtechnologie GenAI spezifischer, verlässlicher und transparenter zu machen: Im ersten Schritt sammeln sie eine beträchtliche Menge an Textdaten – extern (in ihrem spezifischen Markt), intern (zum Beispiel in den Produktdatenbanken) oder beides. Mit diesen Daten können Entwickler und Dateningenieure einen Knowledge Graphen erstellen. Dieser hilft, den Daten Sinn zu verleihen und sie in einen Kontext zu setzen. So entsteht ein Rahmen, der dem Sprachmodell des Unternehmens notwendige Grenzen setzt. Durch diese Konzentration wird es wertvoller.

„Die Verbindung von Sprachmodellen mit Knowledge Graphen könntegenerative KI auf ein Niveau bringen, das ethische Bedenken ausräumt.“

SLM – Kleine Sprachmodelle für große Aufgaben

Ein „eingeschränktes“ LLM – oder auch ein Small Language Model (SLM) – wird für bestimmte industrielle und geschäftliche Anwendungsfälle bald die Lösung der Wahl sein. Ein Knowledge Graph ist hier das gesamte Datenset, auf dem das Sprachmodell geschult wird. Solche Modelle sind zwar nicht “allwissend”, aber sie sind in einem spezifischen Bereich äußerst genau. Das macht sie besonders geeignet für Einsatzgebiete wie Kundenservice-Chatbots, weil sie den Benutzern zuverlässige Informationen zu einem bestimmten Thema bieten.

Ein E-Commerce-Unternehmen beispielweise kann mit einem SLM seine gesamte Produktdokumentation aus seinen Datenbanken in ChatGPT laden. So kann das Unternehmen seinen Kunden einen interaktiven Chatbot anbieten, der seine Produkte in ihrer gesamten Komplexität und ihren Anwendungskontexten kennt.

Oder nehmen wir Forschungsteams in der Pharmazie und Medizin: Sie haben meistens einen großen und ständig wachsenden Korpus an internen und externen Forschungsunterlagen. Mit einem auf einem Knowledge Graphen trainierten SLM können sie branchenspezifische, gut organisierte und gut strukturierte Daten effektiver abfragen und bearbeiten.

SML machen deutlich weniger Fehler als offene Sprachmodelle. Ein Modell wie ChatGPT kann damit zu einer effektiven, domänenspezifischen KI werden, die sogar in regulierten Branchen eingesetzt werden könnte.

Fazit: Unternehmens- und weltweit Innovation ermöglichen

CIOs sollten über die hektischen ChatGPT-Schlagzeilen hinausblicken. Sie haben die Chance, mithilfe von Knowledge Graphen und Graph-Data-Science-Algorithmen LLMs (oder SLMs) zu bauen, die das Potenzial in den Datenspeichern des Unternehmens und in den Daten des Marktes erschließen.

Zudem könnte die Verbindung von Sprachmodellen mit Knowledge Graphen generative KI auf ein Niveau bringen, das ethische Bedenken ausräumt. Das würde den Regulierungsbehörden ermöglichen, einen Rechtsrahmen und technische Schutzmaßnahmen zu erarbeiten, der die Innovationsfähigkeit des Technologiesektors nicht behindert.