Microsoft startet 'LeMa': Eine bahnbrechende KI-Lernmethode, die menschliches Problemlösen nachahmt.

Forscher von Microsoft Research Asia, der Peking-Universität und der Xi’an Jiaotong Universität haben eine innovative Methode vorgestellt, um die Problemlösungsfähigkeiten großer Sprachmodelle (LLMs) in der Mathematik zu verbessern. Dieser Ansatz ahmt das menschliche Lernen nach, indem LLMs ermutigt werden, aus ihren Fehlern zu lernen.

Die neu eingeführte Strategie, die als Learning from Mistakes (LeMa) bekannt ist, konzentriert sich darauf, KI zu trainieren, ihre eigenen Fehler zu erkennen und zu korrigieren, was zu verbesserten Denkfähigkeiten führt, wie in einem aktuellen Forschungspapier umrissen.

Die Inspiration hinter LeMa

Die Forscher zielen darauf ab, aus dem menschlichen Lernprozess zu lernen, indem sie hervorheben, wie Schüler aus ihren Fehlern lernen, um ihre zukünftigen Leistungen zu steigern. „Ein Schüler, der auf ein herausforderndes Mathematikproblem stößt, lernt aus seinen Fehlern und versteht, wie er sie korrigieren kann“, bemerken die Autoren. Dieses Prinzip wurde auf LLMs mit Hilfe von Fehlerkorrekturdatenpaaren angewendet, die von GPT-4 zur Feinabstimmung generiert wurden.

Wie LeMa mathematische Denkfähigkeiten verbessert

Ursprünglich erzeugten Modelle wie LLaMA-2 falsche Denkpfade für mathematische Textprobleme. GPT-4 identifizierte anschließend diese Fehler, stellte die Unstimmigkeiten klar und bot korrigierte Denkpfade an. Die Forscher verwendeten diese verfeinerten Daten, um die ursprünglichen Modelle neu zu trainieren.

Herausragende Ergebnisse von LeMa

Die Ergebnisse dieser neuartigen Methodik sind bemerkenswert. „Über fünf Basis-LLMs und zwei mathematische Denkaufgaben hinweg übertrifft LeMa konsequent die Feinabstimmung, die ausschließlich auf Chain of Thought (CoT) Daten basiert“, berichten die Forscher.

Spezialisierte Modelle wie WizardMath und MetaMath verzeichneten ebenfalls Fortschritte durch LeMa und erreichten eine pass@1-Genauigkeit von 85,4 % auf GSM8K und 27,1 % auf MATH, was die bisherigen Spitzenleistungen offener Modelle in diesen anspruchsvollen Bereichen übertrifft.

Broader implications and future prospects

Die Arbeiten der Forscher, einschließlich ihres Codes, ihrer Daten und Modelle, sind auf GitHub verfügbar und fördern die Zusammenarbeit innerhalb der KI-Community, während sie den Weg für weitere Innovationen im maschinellen Lernen ebnen.

Die Einführung von LeMa stellt einen entscheidenden Fortschritt in der KI dar und zeigt, dass maschinelles Lernen dem menschlichen Lernprozess näher kommen kann. Diese Evolution könnte revolutionäre Auswirkungen auf Bereiche haben, die auf KI angewiesen sind, wie Gesundheitswesen, Finanzen und autonome Fahrzeuge, in denen Fehlerkorrekturen und kontinuierliches Lernen entscheidend sind.

Während sich die KI-Landschaft weiterentwickelt, wird die Integration menschlicher Lernmethoden wie das Lernen aus Fehlern entscheidend sein, um leistungsfähigere und wirkungsvollere KI-Systeme zu entwickeln. Dieser Durchbruch verdeutlicht das immense Potenzial der künstlichen Intelligenz und bringt uns näher an eine Zukunft, in der KI komplexe Problemlösungsaufgaben besser bewältigt als Menschen.