Große Sprachmodelle (LLMs) haben sich als vielversprechend erwiesen, um Planungs- und Entscheidungsaufgaben durch die Erkundung verschiedener Lösungen zu bewältigen. Aktuelle Methoden sind jedoch oft langsam, rechenintensiv und liefern manchmal unzuverlässige Ergebnisse.
Um diese Herausforderungen zu meistern, haben Forscher der Cornell University und IBM Research AutoToS entwickelt. Diese Technik kombiniert die Planungsfähigkeiten von LLMs mit der Effizienz und Präzision regelbasierter Suchalgorithmen. AutoToS minimiert den menschlichen Eingriff und reduziert erheblich die Rechenkosten, die mit der Lösung von Planungsproblemen verbunden sind. Dadurch wird es zu einer praxisnahen Lösung für LLM-Anwendungen, die fundierte Entscheidungen über umfangreiche Lösungsräume erfordern.
Innovative Techniken für die Planung
Das Interesse an der Nutzung von LLMs zur Lösung von Planungsfragen ist stark gewachsen, was zur Entwicklung verschiedener Methoden geführt hat. Eine der effektivsten Methoden, Tree of Thoughts, verwendet LLMs als Suchalgorithmus zur Validierung von Lösungen und Vorschlägen für Korrekturen. Diese Techniken sehen sich jedoch zwei kritischen Herausforderungen gegenüber: einem hohen Bedarf an LLM-Abfragen, was kostenintensiv sein kann, und fehlenden Garantien hinsichtlich der „Vollständigkeit“ und „Gültigkeit“. Vollständigkeit garantiert, dass eine Lösung gefunden wird, wenn sie existiert, während Gültigkeit sicherstellt, dass jede bereitgestellte Lösung korrekt ist.
Thought of Search (ToS) schlägt eine Alternative vor, indem LLMs genutzt werden, um Code für zentrale Komponenten von Suchalgorithmen zu generieren: die Nachfolgerfunktion, die verschiedene Knoten erkundet, und die Ziel-Funktion, die bestimmt, ob der gewünschte Zustand erreicht wurde. Diese Methode erhöht die Effizienz, indem sie die Notwendigkeit der LLM-Nutzung während des gesamten Suchprozesses reduziert.
Michael Katz, leitender Forschungsmitarbeiter bei IBM Research, erklärt: „Historisch gesehen hat die Planungs-Community diese Komponenten entweder manuell für neue Probleme codiert oder aus Beschreibungen in Planungssprachen generiert, die entweder händisch codiert oder aus Daten gelernt wurden. Unser Ziel war es, große Sprachmodelle zu verwenden, um Code für Suchkomponenten aus textuellen Problembeschreibungen zu generieren.“
Die ursprüngliche ToS-Technik brachte vielversprechende Fortschritte in Bezug auf die Gültigkeit und Vollständigkeit von Suchalgorithmen, benötigte aber menschliche Experten für Feedback zu dem generierten Code, was einen Engpass darstellte, der die Geschwindigkeit des Algorithmus beeinträchtigte.
Automatisierung des Prozesses mit AutoToS
Um diese Einschränkung zu überwinden, automatisiert AutoToS den Feedback- und Debugging-Prozess mithilfe von Unit-Tests und Debugging-Anweisungen sowie Few-Shot- und Chain-of-Thought (CoT)-Prompting-Techniken.
AutoToS arbeitet in mehreren Schritten. Zunächst wird das LLM mit einer Problembeschreibung versehen und aufgefordert, Code für die Nachfolger- und Ziel-Funktionen zu generieren. Anschließend bewerten Unit-Tests die Ziel-Funktion und geben Feedback für notwendige Anpassungen. Sobald die Ziel-Funktion die Tests bestanden hat, führt der Algorithmus eine begrenzte Breitensuche durch, um Gültigkeit und Vollständigkeit zu überprüfen, und iteriert, bis die Funktionen alle Kriterien erfüllen. Schließlich werden die validierten Funktionen in einen klassischen Suchalgorithmus integriert, der die vollständige Suche effizient ausführt.
Bewertung von AutoToS
Die Forscher bewerteten AutoToS bei verschiedenen Planungs- und Entscheidungsaufgaben, darunter BlocksWorld, Mini Crossword und das 24 Game, bei dem vier Ganzzahlen arithmetisch zu 24 kombiniert werden müssen. Sie verwendeten verschiedene LLMs, einschließlich GPT-4, Llama 2 und DeepSeek Coder, um die Leistungsunterschiede basierend auf der Modellgröße zu analysieren.
Ihre Ergebnisse zeigten, dass AutoToS allen Modellen ermöglichte, Code-Fehler mithilfe von Feedback zu identifizieren und zu beheben. Größere Modelle lieferten in der Regel genaue Ziel-Funktionen ohne Feedback und benötigten nur minimale Iterationen zur Verbesserung der Nachfolgerfunktion. Besonders bemerkenswert war, dass GPT-4-mini trotz seiner kleineren Größe starke Genauigkeitswerte aufwies.
„Mit nur wenigen Aufrufen des Sprachmodells zeigen wir, dass wir die Suchkomponenten ohne direkte menschliche Rückmeldung erhalten können, was Gültigkeit, Vollständigkeit und nahezu 100%ige Genauigkeit über alle Modelle und Bereiche hinweg sichert“, bemerkten die Forscher. AutoToS reduziert die LLM-Abfragen drastisch im Vergleich zu anderen Ansätzen; zum Beispiel erforderten die 1.362 Rätsel im 24 Game-Datensatz mit früheren Methoden etwa 100.000 Aufrufe von GPT-4, während AutoToS im Durchschnitt nur 2,2 Aufrufe benötigte.
Katz bemerkte: „Mit diesen Komponenten können wir den Standard-BFS-Algorithmus verwenden, um alle 1.362 Spiele in weniger als 2 Sekunden mit vollständiger Genauigkeit zu lösen, was frühere Methoden nicht erreichen konnten.“
Auswirkungen auf Unternehmensanwendungen
AutoToS hat erhebliches Potenzial für Unternehmenskontexte, die Planungsansätze erfordern. Durch die Reduzierung der LLM-Nutzungskosten und die Abhängigkeit von manuellen Eingaben ermöglicht es Experten, sich auf hochrangige Planungs- und Zielvorgaben zu konzentrieren.
Katz hebt hervor: „Wir hoffen, dass AutoToS sowohl die Entwicklung als auch die Bereitstellung planungsbasierter Lösungen verbessert, indem Sprachmodelle zur Erstellung überprüfbarer Suchkomponenten genutzt werden, wodurch die Entwicklung beschleunigt und typische Probleme bei der Bereitstellung von LLMs umgangen werden.“
ToS und AutoToS sind Beispiele für neuro-symbolische KI, einen hybriden Ansatz, der Deep Learning und regelbasierte Systeme kombiniert, um komplexe Herausforderungen anzugehen. Dieser Ansatz wird zunehmend als vielversprechende Richtung zur Überwindung der Schwächen aktueller KI-Systeme anerkannt.
„Ich habe keinen Zweifel am zukünftigen Stellenwert hybrider Systeme in der KI“, erklärte Harsha Kokel, Forschungswissenschaftler bei IBM. „Aktuelle Sprachmodelle können als hybride Systeme angesehen werden, da sie Suchvorgänge durchführen, um die nächsten Token zu bestimmen.“
Obwohl ToS und AutoToS vielversprechende Ergebnisse zeigen, bleibt eine weitergehende Erforschung entscheidend.
„Es ist spannend zu beobachten, wie die Planung mit natürlicher Sprache sich entwickelt und wie LLMs die Integration von Planungstools in Entscheidungsprozesse verbessern können, wodurch der Weg für zukünftige intelligente Agenten geebnet wird“, schlossen Kokel und Katz. „Wir sind gespannt darauf, wie das Weltwissen der LLMs die Planung und Handlung in realen Situationen bereichern kann.“
Rangliste
