Ethereum-Mitbegründer Vitalik Buterin sagt, sein lokales KI-Setup habe mit DeepSeek V4 einen deutlichen Schritt nach vorne gemacht. Er hob eine neue 2-Bit-quantisierte Version hervor, die mit etwa 90 GB VRAM auskommt und größere Arbeitslasten auf einem einzigen High-End-Rechner bewältigen kann. Er verwies auf den Hugging-Face-Build als die derzeitige Methode, mit der er das Modell lokal ausführt.
Vitalik berichtete, dass diese Konfiguration „nur auf Apple-Hardware schnell ist“, wo er etwa „35 Tok/s“ gemessen hat. Auf AMD-GPUs sinke die Leistung jedoch auf „~7 Tok/s“, was dazu führe, dass sich dasselbe Modell im täglichen Gebrauch viel langsamer anfühle. Er argumentierte, dass diese Lücke zeige, warum ernstzunehmende lokale KI mehr als einen Hardware-Anbieter unterstützen müsse, wenn sie eine breite Nutzerbasis bedienen wolle.
Er erwähnte auch Fortschritte bei seinem eigenen Messaging-Daemon-Projekt, das nun Alpha-Unterstützung für Telegram bietet, auch wenn er die Kontoeinrichtung immer noch als „ziemlich holprig“ beschreibt. Außerdem verwies er auf Lucebox Hub als vielversprechenden Weg, um „dichte“ Modelle wie Qwen 27B effizienter auszuführen. Auf seinem 5090-Laptop, so sagte er, liefere Lucebox etwa die doppelte Token-Geschwindigkeit von llama.cpp, auch wenn die Software noch im Versuchsstadium ist.
CROPS AI, Hardware-Auswahl und Ethereum
Vitalik zog eine Grenze zwischen grundlegender „dezentraler KI“ und dem, was er als echte „CROPS-KI“ bezeichnet. Seiner Ansicht nach ist es für diesen Unterschied entscheidend, „sich tatsächlich die Mühe zu machen, mehr als einen Hardwarehersteller richtig zu unterstützen“, und er hofft, dass das Ökosystem „hier besser werden kann“, wenn mehr lokal ausgerichtete Tools auf den Markt kommen.
Er fügte hinzu, dass Projekte wie VoxTerm, das lokale KI-Aufzeichnung ohne Server von Drittanbietern bietet, einen breiteren Wandel hin zu benutzergesteuerter KI widerspiegeln. Er sagte auch: „Es gibt tatsächlich viele Überschneidungen zwischen der ‚CROPS Ethereum-Zugriffsebene‘ und ‚CROPS AI‘“, und merkte an, dass ein Zero-Knowledge-System für bezahlte Remote-LLM-Aufrufe auch für private RPC-Lesevorgänge auf Ethereum „genauso nützlich“ sein könnte.
Vitalik hob anwendungsspezifische, feinabgestimmte Modelle als weiteren wichtigen Baustein hervor und verwies dabei auf Mistrals Leanstral, wo er „~38 Tok/s auf AMD“ bei einem VRAM-Verbrauch von unter 70 GB erreicht. Er sagte: „So etwas ist ein riesiger Segen für das Schreiben sichererem Codes“ und verband dies mit seiner jüngsten Arbeit zur formalen Verifikation. Er fügte hinzu, dass „wir auch Modelle haben sollten, die für Ethereum-bezogene Anwendungsfälle feinabgestimmt sind“, damit KI Entwicklern helfen kann, Fehler in Smart Contracts und Protokollcode zu erkennen, bevor sie das Mainnet erreichen.
WEITERLESEN: Krypto-Crash heute: Warum fallen Bitcoin und KI-Coins?
