Können Sprachmodelle „tief durchatmen“?

ASAI Recherche-Tipp #28

Optimization by PROmpting (OPRO)

Die zunehmende Verbreitung von Sprachmodellen wie ChatGPT hat auch einen für Nicht-Fachleute vielfach neuen Begriff mit sich gebracht: Prompting. Die Psychologie versteht darunter einen Denkanstoß, ein Signal für den Abruf von Gedächtnisinhalten. In der Verhaltenstherapie wird so ein Konditionierungsverfahren bezeichnet, um mithilfe von bestimmten Signalen gezielt Handlungen zu veranlassen. Und was hat das nun mit Künstlicher Intelligenz (KI) zu tun?

Nun, Sprachmodelle wie ChatGPT sind letztlich ausführende Maschinen. Sie führen Handlungsanweisungen in Form konkreter Vorgaben aus. Das heißt, der Mensch interagiert mit der Maschine, indem er präzise Anweisungen formuliert, wie etwa, dass ChatGPT einen Text kurz zusammenfassen soll. Zu diesem Zweck raten Fachleute, Prompts, also die Anweisungssignale, möglichst klar zu formulieren. So sollten beispielsweise Füllwörter in der Eingabe weitestgehend vermieden werden. Ein gut formulierter Prompt ist somit eine wichtige Voraussetzung für eine erfolgreiche Mensch-Maschine-Interaktion, für eine zielführende Kommunikation zwischen Benutzer und KI-System.

Davon ausgehend sollte ein erfolgversprechender Prompt eigentlich nicht so lauten: „Und nun, meine liebe KI, atme tief durch und streng dich einmal richtig an!“ Solche motivierenden Aufforderungen kennen wir Menschen typischerweise nur in unserer Interaktion untereinander. Sie können als aufmunternde Worte eines Vaters daherkommen, der seinen Sohn noch einmal anregen möchte, sein Bestes zu geben, oder als Mahnung eines wohlwollenden Mathelehrers, der seinen Schülern die Gelegenheit geben will, noch einmal gründlich über die Lösung einer Aufgabe nachzudenken. Aber in einem Dialog mit einem Sprachmodell, wie kann das sein?

Großer Einfluss auf Ergebnisse von KI

Hierzu verweist Prof. Dr. Marco Barenkamp, Gründer, langjähriger Vorstandsvorsitzender und seit 2023 stellvertretender Aufsichtsratsvorsitzender der auf KI-Entwicklungen spezialisierten Osnabrücker LMIS AG, auf Untersuchungen von Googles KI-Schmiede Deepmind, in denen es darum geht, wie sich große Sprachmodelle mithilfe von speziellen Prompts in natürlicher Sprache optimieren lassen. Die Studie zeige, dass bestimmte Phrasen, wie „atme tief durch und arbeite Schritt für Schritt an dem Problem“ einen signifikanten Einfluss auf die Qualität der Ergebnisse von KI-Modellen haben könnten, berichtet der KI-Experte.

Dieser Ansatz erscheine auf den ersten Blick unlogisch, räumt Prof. Barenkamp ein, da KI-Modelle weder atmen noch im klassischen Sinne denken können, er erweise sich jedoch als überraschend effektiv. Insbesondere bei der Lösung von Mathematikproblemen führt demnach die Verwendung dieser Phrase zu deutlich besseren Ergebnissen. Ohne die Phrase erreichten die Modelle nur einen Score von 34 Prozent, während sie mit der Phrase über 80 Prozent erreichten, zitiert Barenkamp aus der Studie.

Wie er erläutert, nutzt dieser Ansatz, der als Optimization by PROmpting (OPRO) bezeichnet wird, die Fähigkeiten von großen Sprachmodellen (Large Language Models – LLMs), Optimierungsaufgaben zu lösen, die in natürlicher Sprache beschrieben werden. Die Kernidee besteht demnach darin, dass das LLM neue Lösungen basierend auf zuvor generierten Lösungen und deren Bewertungen erzeugt, die anschließend evaluiert und für den nächsten Optimierungsschritt in den Prompt integriert werden.

Aus Sicht des KI-Fachmannes bietet die Deepmind-Studie einen guten Einblick in die technischen Aspekte von OPRO: Dazu gehören das Design von sogenannten Meta-Prompts, also verbesserten Prompts, um das Beste aus der KI herauszuholen, sowie das Generieren von Lösungen. Darüber hinaus kann OPRO demnach viel zur Optimierung der Leistungsfähigkeit des LLMs durch die Suche nach dem idealen Kompromiss zwischen altbewährten und neuen Optionen, dem sogenannten Exploration-Exploitation-Trade-off, beitragen.

„…das Hinzufügen der Phrase „denke wie ein erfahrener Mathematiker“ verbessert die Fähigkeit eines KI-Modells zur Lösung komplexer algebraischer Probleme.“

Prof. Dr. Marco Barenkamp, Gründer, langjähriger Vorstandsvorsitzender und seit 2023 stellvertretender Aufsichtsratsvorsitzender der LMIS AG

Interaktion in natürlicher Sprache

Einer der Schwerpunkte des Papers sei die Fähigkeit von LLMs, komplexe Optimierungsaufgaben zu bewältigen, die traditionell als herausfordernd gelten, erläutert Prof. Barenkamp. Denn die Autoren zeigen auf, wie LLMs durch ihre Fähigkeit, in natürlicher Sprache zu interagieren, die Lösungsfindung in einer intuitiveren und zugänglicheren Weise ermöglichen. Dieser Ansatz biete potenziell einen neuen Weg zur Lösung von Problemen in verschiedenen Disziplinen und könnte dazu beitragen, die Grenzen traditioneller Optimierungsmethoden zu erweitern, erklärt der KI-Experte.

Des Weiteren verdeutlicht die Studie aus seiner Sicht die Abhängigkeit der KI von der Qualität der Eingabedaten und die Notwendigkeit einer sorgfältigen Gestaltung der Prompts, um effektive Lösungen zu generieren. Als einen weiteren wichtigen Aspekt der Untersuchung hebt Prof. Barenkamp die Untersuchung des Potenzials von LLMs hervor, menschenähnliche Lösungen zu generieren. Denn dies eröffne neue Möglichkeiten für die Mensch-Maschine-Interaktion, insbesondere in Bereichen, in denen menschliches Urteilsvermögen und Kreativität gefragt seien, stellt er fest. Folgerichtig betonten die Autoren die Bedeutung von LLMs als Werkzeuge zur Unterstützung menschlicher Entscheidungsfindung, anstatt sie als Ersatz für menschliche Intelligenz zu betrachten, betont Barenkamp.

Aber wie können Sprachmodelle „tief durchatmen“? Nach Einschätzung des Vorsitzenden des wissenschaftlichen Beirats der Studiengesellschaft für Künstliche Intelligenz e.V. ist die Wirksamkeit dadurch gegeben, dass große Sprachmodelle durch die Erwähnung solcher Phrasen gezielt aus einem bestimmten Teil ihres Wissensschatzes schöpfen, der möglicherweise auf Anleitungen und Hilfestellungen aus dem Internet basiert. So könne man mittlerweile festhalten, dass das Hinzufügen der Phrase „denke wie ein erfahrener Mathematiker“ die Fähigkeit eines KI-Modells zur Lösung komplexer algebraischer Probleme verbessere, berichtet Prof. Barenkampt. Hier scheine das Modell durch die Prompt-Modifikation Zugriff auf fortgeschrittenere Berechnungsmethoden und Problemlösungsstrategien zu erhalten, die es sonst wohl nicht verwendet hätte, folgert er.

Kreative Denkweisen anregen

Als ein weiteres plastisches Beispiel führt der Experte die Verwendung von Prompts an, die spezifische kreative Denkweisen anregen, wie etwa „stelle dir vor, du bist ein preisgekrönter Romanautor“. Forschungsarbeiten hätten gezeigt, dass solche Anweisungen die Kreativität und Originalität der von KI-Modellen generierten Texte deutlich steigern können, schildert Barenkamp. Insgesamt deutet dies nach seiner Einschätzung darauf hin, dass die Modelle offenbar in der Lage sind, verschiedene „Denkstile“ oder „Kreativitätsmodi“ zu aktivieren, basierend auf den ihnen gegebenen Hinweisen.

Zusammenfassend stellt Prof. Barenkamp fest, dass die Bedeutung der sorgfältigen Gestaltung von Prompts enormen Einfluss auf die Ergebnisse besitzt. Hierzu führt er eine Studie zur Sprachübersetzung an, in der beispielsweise beobachtet wurde, dass das Hinzufügen von Anweisungen wie „übersetze dies so präzise und fließend wie möglich“ zu Übersetzungen führte, die sowohl genauer als auch natürlicher klangen, verglichen mit Ergebnissen ohne diese spezifischen Anweisungen.

Dies alles mache deutlich, wie bereits subtile Nuancen in der Formulierung von Prompts entscheidende Auswirkungen auf die Funktionsweise und Effizienz von KI-Modellen haben könnten, betont der KI-Fachmann. Denn sie unterstreichen die Notwendigkeit eines guten und tiefen Verständnisses darüber, wie KI-Modelle Sprache verarbeiten und interpretieren, und wie man dieses Wissen nutzen kann, um ihre Leistung in verschiedenen Anwendungsbereichen zu maximieren.

Nur weil etwas barrierefrei und intuitiv zu nutzen ist, wie etwa ChatGPT,  muss dies nicht bedeuten, dass nicht fundiertes Wissen über die Funktionsweise notwendig ist, um die Potenziale vollständig auszuschöpfen, betont Prof. Barenkamp.

 

 

Weitere Informationen:

• https://ai-society.org/liebe-ki-atme-eimal-tief-durch-und-streng-dich-richtig-an/
• https://doi.org/10.48550/arXiv.2309.03409

AICal, unseren wissenschaftlichen KI-Newsletter. Dieser erscheint vierteljährlich und hält Sie auf dem Laufenden über Neuerscheinungen, Calls for Papers und mehr – hier können Sie sich kostenfrei dafür anmelden.

 

 

Aufmacherbild / Quelle / Lizenz
Image by Alexandra_Koch from Pixabay