TikTok-Muttergesellschaft trainiert ein 10-Billionen-Parameter-KI-Modell
Das Unternehmen, das Ihnen eine endlose Flut von Tanzvideos beschert hat, versucht nun, Chinas leistungsfähigste künstliche Intelligenz zu bauen, und zwar ohne jemanden zu kopieren.
ByteDance, der Mutterkonzern von TikTok, trainiert ein KI-Modell mit bis zu 10 Billionen Parametern, wie drei mit der Angelegenheit vertraute Personen der Financial Times mitteilten. Das ist dreimal größer als Moonshots Kimi K3, das größte bisher in China veröffentlichte Modell, und liegt etwa auf dem Niveau von Anthropics fortschrittlichsten Systemen, deren Parameterzahl von Brancheninsidern auf etwa 8 Billionen für Mythos 5 und 5 Billionen für Fable 5 geschätzt wird.
Das Modell befindet sich noch in der frühen Vortrainingsphase, die üblicherweise drei bis sechs Monate dauert, bevor es verfeinert und veröffentlicht wird. Die genaue Größe wird erst später festgelegt. Die mit dem Vorhaben vertrauten Personen sagten, dass ByteDances Führungskräfte nur in einer eigenständigen Entwicklung den Weg zu einem Modell sehen, das die Konkurrenz übertrifft.
Die Wette auf Eigenständigkeit
Dieser letzte Punkt ist das Ungewöhnliche. Gründer Zhang Yiming hat entschieden, dass sein Unternehmen keine Modell-Destillation einsetzen wird, also die gängige Praxis, ein kleineres Modell zu trainieren, um das Wissen eines größeren zu komprimieren und zu kopieren. Viele chinesische Labore setzen auf Destillation, um schnell zu den US-Spitzenmodellen aufzuschließen. ByteDance vermeidet diesen Ansatz seit über einem Jahr, eine Entscheidung, die nach Ansicht von Branchenkennern die Entwicklung im Vergleich zur Konkurrenz verlangsamt hat.
Vor zwei Wochen bekräftigte Zhang diese Haltung in einem internen Meeting. Er forderte das Seed-Team auf, langfristig "weltweit führende Modellfähigkeiten" anzustreben, ohne sich zu sehr um kurzfristige Rückstände zu sorgen, wie eine teilnehmende Person berichtete. Die chinesischen Medien Latepost und The Information berichteten zuerst über seine Äußerungen.
Es ist eine kalkulierte Wette. Die Parameterzahl setzt die Obergrenze für die Speicherkapazität eines Modells, aber die tatsächliche Leistungsfähigkeit hängt von der Datenqualität und der Trainingsmethode ab. Indem ByteDance auf den Destillations-Kurzweg verzichtet, setzt das Unternehmen darauf, dass seine eigene Datenpipeline, eigene Infrastruktur und eigene Forscher letztlich eine Strategie des Ausleihens fremder Intelligenz übertreffen werden.
Die Maschine hinter dem Modell
ByteDance hat über Jahre auf diesen Moment hingearbeitet. In den letzten drei Jahren hat das Unternehmen aggressiver in KI investiert als jeder andere chinesische Technologieriese, Rechenzentren ausgebaut und Forscher eingestellt. Die Seed-Abteilung unter der Leitung des ehemaligen Google-DeepMind-Wissenschaftlers Wu Yonghui hat etwa 2.000 Mitglieder in China und Übersee, darunter Kernforscher, Infrastruktur-Ingenieure, ein Datenkennzeichnungsteam und Übersetzer.
Die Präsenz im Verbrauchermarkt ist bereits enorm. Der Flaggschiff-Chatbot Doubao ist mit 324 Millionen monatlich aktiven Nutzern die beliebteste KI-App in China. Das SeeDance-Modell gehört weltweit zu den fortschrittlichsten in der Videogenerierung. Die Cloud-Einheit Volcano Engine verkauft KI-Infrastruktur an Unternehmen, und der Konzern hat Ambitionen, eigene KI-Chips zu entwickeln.
Allein in den letzten Wochen haben chinesische Modelle von Moonshot und Alibaba starke Benchmark-Ergebnisse erzielt, die in einigen Bereichen nur hinter Anthropics Fable 5 zurückbleiben. Branchenkenner sagen, dass mehrere chinesische Labore Modelle in der Größenordnung von Fable 5 trainieren, wobei ByteDance das größte von allen anstrebt.
Was das bedeutet
Die naheliegende Lesart ist, dass sich das chinesische KI-Wettrennen beschleunigt und die Lücke zu den US-Laboren schrumpft. ByteDance, der aggressivste Investor unter den chinesischen Giganten, setzt seinen Ruf auf ein Modell, das innerhalb von Monaten mit Anthropics Vorzeigemodell konkurrieren könnte.
Die interessantere Lesart ist die strategische Wette dahinter. ByteDance hat in der KI-Forschung ein niedriges Profil bewahrt und seine Modelle meist geschlossen gehalten, während Konkurrenten ihre Modelle öffnen. Es hat Milliarden in Rechenzentren investiert, die unter US-Exportkontrollen stehen, die den Zugang zu fortschrittlichen Chips beschränken. Und es geht den schwierigsten Weg: die eigenständige Entwicklung, im größten Maßstab, den es je gegeben hat.
Diese Kombination ist eine Ansage: Das Unternehmen, das Kurzvideos zu einer globalen Gewohnheit gemacht hat, glaubt, auch KI an der Frontlinie entwickeln zu können, und ist bereit, dafür langsamer zu sein, wenn das der Preis für etwas Originelles ist. Ob die Wette aufgeht, wird das Vortraining in drei bis sechs Monaten zeigen. Bis dahin ist die weltweit beliebteste Video-App auch eines der ambitioniertesten KI-Labore der Welt.