Während KI-Forscher und Unternehmen daran arbeiten, größere und effektivere Modelle des maschinellen Lernens zu entwickeln, wird die Herausforderung der Zusammenstellung geeigneter Datensätze zunehmend schwieriger. Um dieses Problem anzugehen, haben Forscher von Meta AI, Google, INRIA und der Université Paris Saclay eine neuartige automatische Kurationsmethode für hochwertige Datensätze entwickelt, die speziell für das selbstüberwachte Lernen (SSL) zugeschnitten ist.
Verbesserung der Datensatzbalance im selbstüberwachten Lernen
Das selbstüberwachte Lernen spielt eine entscheidende Rolle in der modernen KI und treibt Systeme an, die von großen Sprachmodellen bis hin zu spezialisierten Anwendungen wie der medizinischen Bildverarbeitung reichen. Im Gegensatz zum überwachten Lernen, das auf annotierten Trainingsbeispielen basiert, verwendet SSL unbeschriftete Daten, die es den Modellen ermöglichen, mit Rohinformationen zu skalieren. Die Datenqualität hat einen erheblichen Einfluss auf die Leistung der SSL-Modelle. Zufällig aus dem Internet beschaffene Datensätze leiden häufig unter unausgewogenen Verteilungen, bei denen dominante Konzepte rarere Konzepte überlagern, was zu Bias und einer eingeschränkten Generalisierungsfähigkeit der Modelle führt.
Die Forscher betonen, dass „Datensätze für selbstüberwachtes Lernen groß, vielfältig und ausgewogen sein sollten“. Sie weisen auf die Notwendigkeit hin, kuratierte Datensätze zu schaffen, die diese Eigenschaften verkörpern, und schlagen vor, ausgewogene Teilmengen aus umfangreichen Online-Datenbeständen zu bilden. Derzeit wird erheblicher manueller Aufwand betrieben, um ausgewogene Datensätze für SSL zu kuratieren. Obwohl dies weniger zeitaufwändig ist, als jede Instanz zu kennzeichnen, stellt dieser Prozess weiterhin einen Engpass für das Training großangelegter Modelle dar.
Automatische Kurationsmethode für Datensätze
Um diesen Prozess zu optimieren, schlagen die Forscher eine automatische Kurationsmethode vor, die aus Rohdaten ausgewogene Trainingsdatensätze erstellt. Ihre Technik nutzt Einbettungsmodelle und Cluster-Algorithmen, um unterrepräsentierte Konzepte in den Daten hervorzuheben. Der Prozess beginnt mit einem Merkmals-Extraktionsmodell, das Einbettungen berechnet – numerische Darstellungen, die die semantischen Merkmale verschiedener Datentypen wie Bilder, Audio und Text erfassen. Anschließend gruppieren die Forscher mithilfe von k-Means-Clustering die Datenpunkte basierend auf Ähnlichkeiten und aktualisieren die Gruppenzentren iterativ, um Cluster verwandter Beispiele zu bilden.
Traditionelles k-Means-Clustering führt häufig zu einer übermäßigen Anzahl von Gruppen für stark vertretene Konzepte. Um dies zu beheben, implementieren die Forscher eine mehrstufige hierarchische k-Means-Methode, die Cluster auf eine bottom-up-Weise erstellt. Dieser innovative Ansatz wendet k-Means gleichzeitig auf frühere Clusterebenen während jedes neuen Clustering-Schrittes an, um eine ausgewogene Repräsentation über alle Stufen hinweg sicherzustellen.
Dieser hierarchische Ansatz ermöglicht eine umfassende Clusterbildung und bewahrt weniger repräsentierte Beispiele, während sich der Algorithmus auf weniger, aber beschreibendere Obercluster hin entwickelt. Die Forscher beschreiben diese Technik als „allgemeinen Kurationsalgorithmus, der unabhängig von nachgelagerten Aufgaben ist“, sodass bedeutungsvolle Datenmerkmale aus unkurierten Quellen extrahiert werden können, unabhängig von den spezifischen Anforderungen der Anwendung.
Bewertung automatisch kuratierter Datensätze
Die Forscher führten umfangreiche Experimente mit Computer Vision-Modellen durch, die mit über hierarchisches Clustering kuratierten Datensätzen trainiert wurden, und verwendeten dabei Bilder ohne manuelle Etikettierung. Ihre Ergebnisse zeigen, dass das Training mit automatisch kuratierten Datensätzen die Leistung bei Bildklassifizierungsbenchmarks, insbesondere für Out-of-Distribution-Beispiele, verbesserte und die Abruffähigkeit erheblich steigerte. Modelle, die auf diesen Datensätzen trainiert wurden, schnitten vergleichbar ab wie Modelle, die auf manuell kuratierten Datensätzen trainiert wurden, die erhebliche menschliche Ressourcen erforderten.
Dieser Algorithmus wurde auch erfolgreich auf Textdaten zur Schulung großer Sprachmodelle und auf Satellitenbilder zur Vorhersage der Baumbestands-Höhe angewendet, was beeindruckende Verbesserungen bei verschiedenen Benchmarks ergab. Besonders bemerkenswert ist, dass ihre Experimente zeigen, dass Modelle, die auf gut ausgewogenen Datensätzen trainiert wurden, im Wettbewerb mit hochmodernen Modellen bestehen können, während sie mit weniger Beispielen auskommen.
Die Einführung dieser automatischen Kurationsmethode hat weitreichende Folgen für das angewandte maschinelle Lernen, insbesondere in Branchen, in denen kuratierte Daten rar sind. Diese Methode kann die Kosten für Datenannotation und Kurierung im Bereich des SSL erheblich senken, sodass gut trainierte Modelle mit minimalen gekennzeichneten Daten für nachgelagerte überwachte Lernaufgaben feinabgestimmt werden können. Darüber hinaus können Unternehmen wie Meta und Google, die über große Mengen unbearbeiteter Rohdaten verfügen, erheblich profitieren. Die Forscher sind sich einig, dass „die automatische Kurationsmethode zukünftig in Trainingspipelines zunehmend an Bedeutung gewinnen wird.“
Rangliste
