Um die Denkfähigkeiten großer Sprachmodelle (LLMs) zu verbessern, haben Forscher von Google DeepMind und der University of Southern California ein bahnbrechendes "Self-Discover"-Prompting-Framework entwickelt. Diese innovative Methode, die auf arXiv und Hugging Face veröffentlicht wurde, übertrifft bestehende Prompting-Techniken und zeigt Leistungssteigerungen bei verschiedenen Modellen, darunter OpenAI's GPT-4 und Googles PaLM 2.
„Self-Discover steigert die Leistung von GPT-4 und PaLM 2 bei anspruchsvollen Denkbenchmarks wie BigBench-Hard und MATH um bis zu 32 % im Vergleich zu Chain of Thought (CoT) Methoden“, erklären die Forscher in ihrer Arbeit. Das Self-Discover-Framework ermöglicht es LLMs, auf autonome Weise auf aufgaben spezifische Denkstrukturen zuzugreifen, um Probleme effektiv zu lösen. Durch die Analyse mehrerer atomarer Denkmodule – wie kritisches Denken und schrittweises Denken – können die Modelle eine explizite Denkstruktur entwickeln, die sie während der Problemlösung befolgen.
Ein herausragendes Merkmal dieses Ansatzes ist die Effizienz, die 10 bis 40 Mal weniger Rechenleistung benötigt, was ihn für Unternehmen äußerst vorteilhaft macht.
Evolution des Denkens bei LLMs
LLMs haben sich weiterentwickelt, um eine Vielzahl von Aufgaben zu bewältigen, dank ihrer Fähigkeit, Anweisungen zu verarbeiten, zu denken und kohärente Antworten zu generieren. Diese Modelle nutzen die Transformator-Architektur und wenden verschiedene Prompting-Strategien an, die auf kognitiven Theorien über menschliches Denken und Problemlösung basieren, einschließlich Few-Shot- und Zero-Shot-Chain-of-Thought-Prompting sowie die Zerlegung von Aufgaben in Teilprobleme.
Obwohl diese Methoden, insbesondere Chain of Thought, effektiv sind, basieren sie oft auf impliziten Annahmen zur Herangehensweise an Aufgaben. Die Forscher argumentieren, dass dies nicht optimal sein könnte, da jede Aufgabe eine einzigartige innere Struktur besitzt, die von einem maßgeschneiderten Ansatz profitieren könnte.
Mit ihrer neuesten Forschung schlagen das Team von DeepMind und USC ein umfassendes Prompting-Framework vor, das die zugrunde liegende Struktur autonom identifiziert, um die geeignetste Denkstrategie auszuwählen und gleichzeitig die Effizienz zu optimieren.
„Self-Discover ist nach dem Vorbild entstanden, wie Menschen interne Denkprogramme zur Problemlösung erstellen. Aus einer Reihe natürlicher Sprach-Module für atomare Denkprozesse, wie ‚in Teilaufgaben zerlegen‘ und ‚kritisches Denken‘, konstruiert das LLM in Phase 1 eine kohärente Denkstruktur, die der Aufgabe innewohnt, und wendet diese Struktur in Phase 2 an, um spezifische Instanzen der Aufgabe zu lösen“, erläutern die Forscher.
Bemerkenswerte Leistungssteigerungen
Um die Wirksamkeit des neuen Frameworks zu bewerten, testeten die Forscher es an mehreren Modellen, darunter GPT-4 und PaLM 2-L, in 25 Denkszenarien, darunter BigBench-Hard und MATH. Das Self-Discover-Framework übertraf die Chain-of-Thought-Methode in 21 dieser 25 Aufgaben, erzielte Leistungssteigerungen von bis zu 32 % und verbesserte die Effizienz, indem es 10 bis 40 Mal weniger Inferenzrechnung erforderte.
Die Ergebnisse zeigen, dass die Self-Discover-Methode beim Test mit GPT-4 Genauigkeiten von 81 %, 85 % und 73 % in den Aufgaben BigBench-Hard, Thinking for Doing und MATH erreichte. Im Gegensatz dazu erzielte die Chain-of-Thought-Methode niedrigere Genauigkeiten von 75 %, 52 % und 71 %. Ein ähnlicher Leistungsunterschied wurde auch im Vergleich zur Plan-and-Solve-Annäherung festgestellt.
Für PaLM 2-L wurden Genauigkeiten von 67 %, 69 % und 50,5 % in den drei Aufgaben erreicht, was die Chain-of-Thought (60 %, 40 %, 42 %) und Plan-and-Solve (61 %, 42 %, 49 %) übertraf.
Fortschritte in den Denkfähigkeiten von KI
Das Self-Discover-Prompting-Framework hat das Potenzial, die Herangehensweise von LLMs an Problemlösungen zu revolutionieren und sie näher an die Erreichung allgemeiner Intelligenz zu bringen. Transferabilitätsstudien deuten darauf hin, dass die entwickelten Denkstrukturen breit anwendbar sind und Merkmale des menschlichen Denkens aufweisen.
„Mit Blick auf die Zukunft sind wir gespannt darauf, das strukturierte Denken in LLMs weiter zu erforschen, um die Problemlösungsfähigkeiten zu verbessern und neue Wege der Zusammenarbeit zwischen Mensch und KI zu entdecken“, schloss das Team.
Rangliste
