DeepSeek markiert mögliche Verschiebung in der KI-Wettbewerbslandschaft

Was hat DeepSeek in Bezug auf LLM-Innovationen erreicht?

DeepSeek, KI-Startup und Entwickler von Open-Source-Large-Language-Modellen (LLMs) aus China, hat im Dezember 2024 sein LLM der dritten Generation V3 auf den Markt gebracht. DeepSeek-V3, ein Mixture of Experts (MoE)-Modell, das sich gut mit den am besten entwickelten LLMs im Westen messen kann, und diesen Monat DeepSeek-R1, ein Reinforcement Learning Reasoning-Modell, das sich gut mit dem generativen Pre-Trained Transformer (GPT) o1 von OpenAI messen kann. V3 verwendet ein MoE-Modell, das aus mehreren kleineren Modellen besteht, die mit insgesamt 671 Milliarden Parametern zusammenarbeiten und nur 37 Milliarden aktive Parameter zu einem bestimmten Zeitpunkt für jedes Token während der Inferencing-Phase aufweisen. V3 verfügt über weitere Innovationen wie Multi-Head Latent Attention (MHLA), die den Cache- und Speicherbedarf reduziert, Mixed-Precision-Berechnungen auf FP8 und eine neue Architektur für die Post-Trainingsphase. MoE erscheint immer effizienter, da nur ein Teil der Gesamtparameter zu einem bestimmten Zeitpunkt während der Token-Inferenz aktiv ist. Das ist also nicht übermäßig überraschend, obwohl V3 sogar noch effizienter aussieht, etwa 10x im Vergleich zu Peers und 3-7x bei anderen Innovationen. Es wird behauptet, dass das DeepSeek-R1-Modell als einziges die überwachte Feinabstimmung abgeschafft hat. Es scheinen also gewisse Innovationen vorhanden zu sein, auch wenn ein Großteil der Verbesserungen auf Standardtechniken zurückzuführen ist. Es gibt eine breitere Debatte darüber, wie viel der Arbeit DeepSeek selbst geleistet hat und wie viel auf die Nutzung von Open-Source-LLMs von Drittanbietern zurückzuführen ist.

Drei zentrale Gründe, warum sich die Märkte um DeepSeek sorgen

1. DeepSeek scheint deutlich niedrigere Trainingskosten zu haben

DeepSeek behauptet, V3 zwei Monate lang auf nur 2.048 NVIDIA H800-Grafikprozessoren trainiert zu haben, was bei 2 US-Dollar pro Stunde die angekündigten Gesamtkosten von 5 Millionen US-Dollar erklärt. Das ist nur ein Bruchteil dessen, was westliche Hyperscaler für ihr LLM-Training aufwenden (z. B. sind es 9% der Rechenleistung, die für das LLaMA 3.1 405B-Modell von Meta verwendet wird).

2. China bleibt trotz US-Restriktionen konkurrenzfähig

DeepSeek zeigt, dass ein chinesisches Unternehmen mit den besten KI-Unternehmen der USA konkurrieren kann, trotz der derzeitigen Beschränkungen des chinesischen Zugangs zu fortschrittlicher US-Halbleitertechnologie. Das weckt Erinnerungen an eine Generation russischer Programmierer, die angesichts der eingeschränkten PC-Zeitfenster im postsowjetischen Russland geniale Wege zum Programmieren erfanden. Passiert das Gleiche jetzt in China, wo Halbleiterbeschränkungen eine größere Innovation in der LLM-Architektur erzwungen haben, während man sich in den USA einfach darauf verlässt, alles, was man hat, in die Waagschale zu werfen, um das Problem zu lösen?

3. KI-Monetarisierung

DeepSeek verlangt für die Nutzung seiner Modelle deutlich weniger als OpenAI (etwa das 20-40-fache weniger), was angesichts der außerordentlichen Investitionssummen, die im Westen eingesetzt werden, weiteres Öl ins Feuer gießt, was die Bedenken hinsichtlich der Monetarisierung von KI betrifft.

Bemerkenswerte KI-Kraft

Das globale KI-Ökosystem nimmt die Entwicklungen von DeepSeek zur Kenntnis. Obwohl DeepSeek erst vor zwei Jahren (2023) lanciert wurde, profitiert das Unternehmen von der Erfahrung und dem Rückhalt des Teams des quantitativen Fonds „High-Flyer Capital Management“ sowie vom Erfolg und der Innovationskraft der Modelle der vorherigen Generation. Aus diesem Grund reagiert der Markt erst jetzt, obwohl V3 bereits im Dezember und R1 Anfang dieses Monats auf den Markt kam, weil die Reasoning-Kapazitäten von R1 jetzt als hochmodern angesehen werden. Außerdem hat DeepSeek am letzten Wochenende ChatGPT als beliebteste kostenlose App im AppStore von Apple abgelöst. Silicon-Valley-Investor Marc Andreessen schrieb, DeepSeek sei „einer der erstaunlichsten und beeindruckendsten Durchbrüche, die ich je gesehen habe“, was ein großes Lob von einem glaubwürdigen Branchenveteranen ist. Kommentare wie dieser haben die Bedenken des Marktes hinsichtlich der Nachhaltigkeit von KI-Investitionen und damit verbundenen Unternehmen wie NVIDIA verstärkt.

Wie ist das alles einzuschätzen?

• Neue Technologiewellen erfordern Innovation

Jede neue Technologiewelle erfordert Innovationen, um die Kostenkurve im Laufe der Zeit zu senken und eine Masseneinführung zu ermöglichen. Wir erleben mehrere Wege der KI-Innovation, um Skalierungsprobleme beim Training von LLMs zu lösen und effizientere Inferenzverfahren zu ermöglichen. DeepSeek scheint in den General Purpose- und Reasoning-Modellen echte Innovation einzubringen. Innovationen und Kostensenkungen sind der Schlüssel, um KI zu erschließen und langfristig eine breite Akzeptanz zu ermöglichen.

• Destillation

Das DeepSeek-Modell nutzt eine Technik namens „Destillation“, die in der KI-Branche immer breiter eingesetzt wird. Bei der Destillation geht es darum, kleinere Modelle mit den Fähigkeiten größerer Modelle auszustatten, indem das Gelernte des größeren Lehrermodells auf das kleinere Schülermodell übertragen wird. Es ist jedoch wichtig zu erwähnen, dass die Destillationstechniken von DeepSeek auf der Arbeit anderer beruhen. Die Frage, in welchem Ausmaß dies der Fall ist, ist eine Schlüsselfrage, mit der sich der Markt gerade beschäftigt.

• Interpretieren Sie die Angaben zu den Investitionen mit kritischem Blick:

In Bezug auf die vorstehenden Ausführungen sind die genannten Zahlen zum Investitionsaufwand (Capex) ein Vergleich von Äpfeln mit Birnen. Die genannten 5 Millionen US-Dollar beziehen sich auf einen einzigen Trainingslauf, ohne Berücksichtigung aller vorherigen Trainingsläufe und der Ausbildung der größeren Lehrermodelle, sei es bei DeepSeek oder den Open-Source-LLMs von Drittanbietern, auf denen sie aufgebaut wurden.

• Open-Source-Innovationen

Wie KI-Koryphäe Yann LeCun feststellte, ist dies ein Sieg für das Open-Source-Modell zur Förderung von Community-Innovationen. DeepSeek nutzt die Open-Source-Modelle Llama von Meta und Qwen von Alibaba. Auch dies ist gut für die längerfristige KI-Entwicklung, da es Innovation vorantreibt und fördert. Aufgrund der aktuellen geopolitischen Lage ist jedoch zu erwarten, dass die US-Regierung den Zugang anderer Länder zu hochmodernen KI-LLMs aus den USA stärker kontrollieren wird.

• LLMs kommerzialisieren?

Wir sind seit langem überzeugt, dass die Monetarisierung von LLMs auf längere Sicht herausfordernd sein wird, da es viel Konkurrenz gibt, beispielsweise von Open-Source-Entwicklern und Konkurrenten, die versuchen, auf andere Weise Geld zu verdienen. Die DeepSeek-Ankündigung führt nur dazu, dass die Investitionsrendite (ROI) der enormen Investitionen, die die Entwickler von General Purpose-Basismodellen tätigen, noch genauer unter die Lupe genommen wird.

Tipps für die Anleger

Die Bedenken im Zusammenhang mit DeepSeek treffen auf eine wachsende Debatte über die Herausforderungen bei der Skalierung von KI sowie über den ROI von KI-Investitionen und letztlich über die Nachhaltigkeit von KI-Investitionsgewinnen und die Preise, die der Markt zu zahlen bereit ist. Wir erwarten weiterhin hohe Ausgaben für KI-Investitionen, was durch die jüngsten Ankündigungen von Meta und dem KI-Projekt Stargate untermauert wird. Wir sind aber auch der Meinung, dass wir bei den Nutznießern von KI-Investitionen selektiver vorgehen und über die nächsten Phasen von KI-Investitionsmöglichkeiten nachdenken müssen, wenn sich diese neue Technologiewelle entwickelt.

Infrastruktur steht unseres Erachtens in der ersten Phase einer neuen Welle im Fokus, gefolgt von Plattformen und dann von Software, Anwendungen und Dienstleistungen. Wir nähern uns dem Übergang zur Plattformphase, die von der Cloud angeführt wird, sehen aber auch längerfristige Investitionsmöglichkeiten in die KI-Infrastruktur. Der Markt ist schnell von der Besorgnis über zu hohe KI-Investitionen zu der Befürchtung übergegangen, dass die KI-Investitionen einbrechen könnten. Beides kann nicht gleichzeitig geschehen, und die Wahrheit liegt wahrscheinlich irgendwo in der Mitte. Letztendlich glauben wir, dass diese Entwicklungen positiv für die langfristige Stabilität und Entwicklung der KI sind. Wir werden weiterhin selektiv Unternehmen identifizieren, die von KI-Infrastrukturen profitieren. Zudem werden wir unser Engagement in Plattformen ausbauen, die von effizienteren KI-Berechnungen, Trainingsmodellen und Inferenzen profitieren werden.

Quelle für DeepSeek-Informationen: https://api-docs.deepseek.com/news/news250120