Google-Patent: ML auf extrem großen Datensätzen

Google trainiert Modelle für Video-Verständnis, Annotation und Klassifikation auf einer Größenordnung, die öffentliche Benchmark-Datensätze um Faktoren übertrifft. Ein 2022 erteiltes Patent beschreibt ein MapReduce-basiertes Framework, das Daten- und Modellparallelität kombiniert, um maschinelles Lernen auf extrem großen Datensätzen praktikabel zu machen – mit YouTube als zentralem Anwendungsfall.

Warum Internet-Skalendaten neue Trainingsverfahren erzwingen

In den vergangenen Jahren haben Fortschritte bei maschinellem Lernen und Computer Vision eng mit dem Wachstum sehr großer Trainingsdatensätze zusammengehangen. Je mehr qualitativ hochwertige Beispiele verfügbar sind, desto komplexer werden die Modelle – von Szenenverständnis über Pixel-Segmentierung bis zu Visual-Question-Answering und weiteren Bild- oder Video-Aufgaben.

Gleichzeitig scheitern klassische Lernverfahren, wenn einzelne Trainingsbeispiele viel Daten enthalten und die Gesamtmenge in die Hundertmillionen geht. Video auf Internet-Skala ist das Paradebeispiel: Hunderte Millionen Beispielvideos machen Standard-Training oft rechnerisch unmöglich. Öffentliche Datensätze wie YouTube-8M mit über sieben Millionen Videos und 4.716 Klassen liegen weit unter dem Volumen öffentlich verfügbarer Online-Videos.

YouTube als Maßstab für Größe und Vielfalt

YouTube überschritt 2017 bereits eine Milliarde Videos mit Untertiteln; pro Minute werden mehr als 500 Stunden Material hochgeladen. Wer Modelle im Web-Maßstab trainieren will, rechnet mit rund 100 Millionen Videos und Zehntausenden Klassen – etwa tausendmal größer als die meisten öffentlichen Benchmarks. Die thematische Breite erfordert zudem ein Vokabular, das weit über bestehende Annotationsschemata hinausgeht.

Kern des Patents: gemeinsame Feature-Extraktion und Prediction Heads

Das Patent „Framework for training machine-learned models on extremely large datasets“ (US 11.295.171, erteilt am 5. April 2022, eingereicht am 18. Oktober 2019, Assignee Google LLC) beschreibt ein maschinelles Modell mit zwei zentralen Teilen: einem gemeinsamen Feature-Extraktionsblock, der Eingabedaten in eine Zwischenrepräsentation überführt, und mehreren Prediction Heads, die darauf Vorhersagen erzeugen – etwa Video-Labels relativ zu vielen Klassen.

Das Training wechselt zwischen zwei Phasen ab. In Stufe eins werden die Prediction Heads parallel trainiert, während der gemeinsame Extraktionsblock fixiert bleibt. In Stufe zwei wird der Extraktionsblock per Datenparallelität feinjustiert, während die Heads fixiert sind. Beide Stufen nutzen MapReduce: Map verteilt Arbeit auf Worker, Reduce führt Ergebnisse zusammen – ein Divide-and-Conquer-Ansatz für Web-Skalen-Training.

MapReduce, Mixture-of-Experts und Deep-Bag-of-Frames

Die Architektur erlaubt große Mixture-of-Experts-Klassifikatoren mit Hunderttausenden Mixtures. Frühere Arbeiten nutzten oft weniger als fünf Experten; das Framework skaliert auf hunderte Millionen Videos und Zehntausende Klassen. Ein konkretes Beispiel ist eine skalierbare Variante des Deep-Bag-of-Frames-Modells mit MoE und Self-Weighted Average Pooling für zeitliche Aggregation von Frame-Repräsentationen.

Vor dem alternierenden Training kann eine Pre-Training-Phase mit kleinerem MoE und Mini-Batch-Optimierung (ADAM) als Warm-Start dienen. Anschließend ersetzt Stufe eins die Heads durch ein größeres MoE und trainiert sie per Modellparallelität; Stufe zwei optimiert den Frame-Aggregator etwa mit iRProp+. Die Schleife wiederholt sich bis zur Konvergenz.

Technische Vorteile und messbare Ergebnisse

Durch Datenparallelität werden sehr große Mini-Batches möglich – etwa 50 Prozent eines Datensatzes wie YouTube-8M, was in klassischen Setups oft unerreichbar ist. Modellparallelität erlaubt tiefe MoE-Strukturen ohne den Engpass, alle Head-Gradienten gleichzeitig durch den gemeinsamen Backbone zurückzuprojizieren. Google beschreibt State-of-the-Art-Ergebnisse auf YouTube-8M und Sports-1M sowie Skalierung auf Datensätze hundertmal größer als übliche öffentliche Benchmarks.

Das Patent betont ausdrücklich, dass die Techniken nicht nur auf Video beschränkt sind. Audio, Bilder, Genomik, Proteine, Pharmazeutika, Chemie und medizinische Bildgebung passen ebenfalls in das Profil: viele Trainingsbeispiele mit hohem Datenvolumen pro Beispiel. Überall dort, wo viele Prediction Heads und ein riesiger Trainingskorpus zusammenkommen, ist das Framework anwendbar.

Video-Annotation als Referenzproblem

Für Video-Annotation nimmt das Modell vorverarbeitete Frame-Features entgegen und prognostiziert video-weite Multi-Label-Klassifikationen. DBoF aggregiert Frames zu Video-Features; MoE bündelt mehrere Experten pro Klasse. Das Patent dokumentiert, wie MapReduce erstmals gezielt für großskaliges Modelltraining mit geteilter Repräsentation und spezialisierten per-class-Layern eingesetzt wird – nicht nur für verteilte Datenvorverarbeitung.

Relevanz für SEO, YouTube und KI-Suche

Für Suchmaschinenoptimierung und Online-Sichtbarkeit ist das Patent mehr als akademische Technik. YouTube ist gleichzeitig Suchmaschine, Empfehlungssystem und Werbeplattform. Wer versteht, wie Google Videos auf Internet-Skala klassifiziert, annotiert und in Modelle einspeist, erhält Hinweise darauf, warum Inhaltsqualität, thematische Breite, Audio-Visual-Signale und konsistente Metadaten langfristig an Bedeutung gewinnen.

Die Erfinder Joonseok Balakrishnan Varadarajan, Ariel Gordon, Apostol Ivanov Natsev und Seong Jae Hwang sind laut SEO by the Sea in LinkedIn-Profilen mit Vision- und Video-Arbeit verknüpft – passend zum Patentfokus. Blogs wie SEO by the Sea werten solche Dokumente systematisch aus, weil Patente oft Jahre vor sichtbaren Produktänderungen die technische Richtung von Ranking-, Empfehlungs- und KI-gestützten Oberflächen vorzeichnen.

Wer Video-SEO, strukturierte Daten und Performance auf YouTube plant, sollte MapReduce-Skalierung, MoE-Breite und alternierendes Training als Indikatoren lesen: Google investiert in Infrastruktur, die Milliarden Frames verarbeitet und Hunderttausende Labels parallel lernt. Das ist die technische Basis hinter besserer Erkennung von Themen, Aktivitäten und multimodalen Signalen – und damit ein Baustein für Sichtbarkeit in einer der größten Such- und Discovery-Oberflächen des Internets.