Die Frage war mal simpel: „Kann ich ein brauchbares KI-Modell wirklich auf meiner eigenen Maschine laufen lassen?" 2026 lautet die Antwort zunehmend ja. Offene Modelle sind bemerkenswert gut geworden, und Tools wie Ollama machen den Betrieb so einfach wie eine App-Installation (FreeAcademy.ai).
Aber „ja, du kannst" ist nicht dasselbe wie „ja, du solltest". Die echte Antwort hängt von deiner Hardware ab, deinen Daten und dem, was du eigentlich vorhast. Hier ist der ehrliche Breakdown, inklusive der Frage, warum ein zwei Jahre altes MacBook NVIDIAs zweckgebaute KI-Box schlagen kann.
Was ist der Kern-Trade-off?
Zieh den Lärm ab, und es bleibt ein sauberes Framing, das sich durch jeden ernsthaften 2026-Vergleich zieht: Cloud gewinnt bei Capability und Convenience; lokal gewinnt bei Privacy, Kosten bei Volumen und Offline-Betrieb. Bei den Kosten ist es für ernsthafte Nutzer ungefähr ein Unentschieden (Easy-Going Nerd).
Lokale LLMs laufen komplett auf deiner Hardware, via Ollama, LM Studio oder ähnlichem. Kein Internet nötig, nichts verlässt deinen Rechner, keine Kosten pro Token nach dem Hardware-Invest. Cloud-LLMs (GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro) schicken deinen Prompt an einen Remote-Server. Sie führen bei den härtesten Reasoning- und Coding-Tasks und shippen alle paar Monate neue Fähigkeiten (PromptQuorum).
Wie groß ist die Capability-Lücke?
Kleiner als früher, aber real. Auf Knowledge- (MMLU) und Coding-Benchmarks (HumanEval) erreichen Frontier-Cloud-Modelle 85 bis 90 %, die besten lokalen 70B-Modelle 65 bis 80 %. Der ehrliche Breakdown nach Task (LLMCheck):
- Wo lokal mit Cloud gleichzieht: Zusammenfassungen, Übersetzung, Klassifikation, einfaches Q&A, Code-Completion, Entwürfe, Brainstorming. Ein gut gepromptetes 13B-Modell ist im Blindtest kaum von einem Mid-Tier-Cloud-Modell zu unterscheiden. Das deckt 80 bis 90 % der täglichen Tasks ab.
- Wo Cloud weiter gewinnt: komplexe mehrstufige Reasoning-Ketten, tiefes Weltwissen, sehr lange Dokumentenanalyse und cutting-edge Multimodal-Arbeit.
Die Lücke schließt sich mit etwa einer Generation pro Jahr: Llama 3.3 70B (2025) erreicht auf den meisten Benchmarks GPT-4-Niveau (2023). Aber Parität bei den härtesten Tasks kommt wohl erst 2027 oder 2028.
Apple Silicon: der Überraschungssieger
Die kontraintuitive Headline von 2026: Apple Silicon ist wohl die beste persönliche KI-Workstation am Markt. Aber nicht aus den Gründen, mit denen Apple wirbt (Bruce on AI Engineering). Die Regeln, die wirklich zählen:
- Memory-Bandbreite schlägt Core-Count. LLM-Inferenz ist memory-bandwidth-bound. Die 300 bis 400 GB/s des M3 Max machen ihn schnell, nicht die Zahl der GPU-Kerne.
- Die Neural Engine ist größtenteils ein Sticker. Für LLM-Arbeit weitgehend totes Gewicht; GPU und Memory-Bus machen die echte Arbeit.
- Budget in Unified Memory stecken, nicht in Storage. Für 70B-Modelle sind 64 GB die praktische Untergrenze.
- Ein alter M3 Max kann einen neuen M4 Pro schlagen. Die 273 GB/s des M4 Pro liegen unter denen des M3 Max. Für LLM-Inferenz gewinnt der zwei Generationen alte Max-Chip.
Repräsentative Ollama-Zahlen auf Apple Silicon (Q4_K_M, kurze Prompts):
| Maschine | Llama 3.1 8B | Qwen 2.5 14B | Llama 3.1 34B | Llama 3.3 70B |
|---|---|---|---|---|
| M4 Pro Mac mini 48GB | 42 tok/s | 24 tok/s | 11 tok/s | OOM |
| M3 Max MBP 64GB | 58 tok/s | 33 tok/s | 15 tok/s | 7,5 tok/s |
| M3 Max Studio 128GB | 72 tok/s | 41 tok/s | 19 tok/s | 9,8 tok/s |
Das MLX-Upgrade, das alles verändert hat: Im
März 2026 hat Ollama v0.19 sein Default-Backend auf Apple Silicon
von llama.cpps Metal-Pfad auf MLX umgestellt, Apples
eigenes ML-Framework. Ein Gratis-Performance-Upgrade ohne neue
Hardware
(Freshlab).
Auf einem M5 Max mit Qwen 3.5 35B hat sich Decode grob
verdoppelt (von ~58 auf ~112 tok/s), Prefill legte ~57 % zu. Ein
Caveat: Der MLX-Speedup ist auf M5-Chips am größten; auf M3/M4
Max fallen die Gewinne moderater aus, und dedizierte Runtimes wie
mlx-lm können für pure Geschwindigkeit noch 2 bis
3x schneller sein als Ollama. Für Bedienbarkeit und
Ökosystem-Integration (VS Code, Claude Code, Continue) bleibt
Ollama der Default.
Der NVIDIA DGX Spark: stark, aber bandbreiten-limitiert
NVIDIAs DGX Spark packt 128 GB Unified Memory. Genug für Modelle bis ~200B Parameter, lokal, auf etwas, das auf deinen Schreibtisch passt. Diese Kapazität ist seine echte Stärke: Er glänzt oberhalb von ~30B Parametern, wo sein Speicher Modelle komplett resident hält (Presenc AI).
Aber es gibt einen Haken, der in fast jedem unabhängigen Review auftaucht: Der Flaschenhals ist nicht die Rechenleistung, sondern der Daten-Highway. Die ~273 GB/s Memory-Bandbreite des Spark sind relativ zur GPU niedrig. Das drückt die Token-Generierung (Decode) auf großen Modellen massiv (Apertus). Was das in der Praxis heißt (Reddit-LocalLLaMA-Benchmark):
- Exzellentes Prefill: Llama 3.1 8B schafft über 23.000 tok/s Prefill.
- Bescheidenes Decode auf großen Modellen: gpt-oss 120B läuft mit nur ~11,7 tok/s Decode; Llama 3.1 70B mit ~4,35 tok/s.
Und der unbequeme Vergleich: Auf GPT-OSS 120B liefert ein Mac Studio M4 Max laut Reports ~60 tok/s gegen die ~11,7 tok/s des Spark. Weil M-Chips mehr Memory-Bandbreite haben, hat Apple bei Single-Stream-Desktop-Inferenz effektiv die Führung übernommen.
Wo der Spark (und NVIDIA-Hardware generell) gewinnt: batched Multi-User-Serving. Für viele parallele Streams ist NVIDIA pro Dollar klar besser, weil Apples Unified Memory parallele Inferenz-Streams nicht so effizient bedient. Der Spark ist am besten für Steady-State-Workloads, privacy-sensible Daten, Fine-Tuning und schnelles Prototyping. Nicht als schnellste Single-User-Chat-Box.
Was solltest du konkret tun?
Die praktischste Strategie ist hybrid:
- Lokal (Ollama auf Apple Silicon oder DGX Spark), wenn: du sensible Daten verarbeitest (Client-Code, Medizin, Legal), High-Volume-Batch-Arbeit fährst, Offline-Zugriff brauchst oder null Kosten pro Token bei unbegrenzter Nutzung willst. Der Kosten-Break-even liegt oft bei 3M+ Tokens/Monat, dann amortisiert sich die Hardware in 12 bis 18 Monaten (iBuidl.org).
- Cloud, wenn: du Top-Tier-Reasoning brauchst, die neuesten Multimodal-Features, sehr langen Kontext, oder schlicht keine Hardware managen willst.
Hardware-Empfehlungen nach Bedarf:
- Beste Single-User-Erfahrung lokal: Apple-Silicon-Mac mit Max-Tier-Bandbreite und 64 GB+ Unified Memory. Ollama auf 0.19+ updaten für den Gratis-MLX-Speedup.
- Mehrere User bedienen / große Modelle fine-tunen: NVIDIA (DGX Spark für Kapazität, RTX-Klasse für rohe Bandbreite).
- Günstiger Einstieg: eine gebrauchte RTX 3060 12GB plus vorhandener PC fährt Llama 3.3 8B in brauchbarer Geschwindigkeit, für unter ~300 Dollar.
Häufige Fragen
Ist Ollama kostenlos?
Ja. Ollama ist komplett kostenlos und Open Source.
Können lokale Modelle ChatGPT oder Claude komplett ersetzen?
2026 noch nicht ganz. Lokale Modelle erledigen 80 bis 90 % der täglichen Tasks in vergleichbarer Qualität, aber Cloud führt weiter bei komplexem mehrstufigem Reasoning, sehr langen Dokumenten und den neuesten Multimodal-Features.
Warum schlägt ein alter M3 Max einen neueren M4 Pro?
Weil LLM-Inferenz an der Memory-Bandbreite hängt, und die 300 bis 400 GB/s des M3 Max über den 273 GB/s des M4 Pro liegen. Bei 70B kann der M4 Pro das Modell nicht mal laden.
Lohnt sich der DGX Spark?
Für Single-User-Chat-Speed schlägt ihn oft ein Mac Studio, wegen der Bandbreite. Seinen Preis verdient der Spark bei Großmodell-Kapazität, Fine-Tuning und Multi-User-Batched-Serving.
Wie viel RAM brauche ich?
Grob: 16 GB für 7-8B-Modelle, 32 GB für quantisierte ~32B-Modelle, 64 GB+ für 70B. Priorisiere Unified Memory über Storage.
Ist lokal wirklich privat?
Ja. Mit Ollama oder LM Studio gibt es keine Telemetrie und keine API-Calls; deine Daten verlassen das Gerät nur, wenn du sie selbst an ein Cloud-Modell schickst.
Hinweis zu den Benchmark-Zahlen: Tokens pro Sekunde variieren stark je nach Quantisierung, Kontextlänge, Systemlast und Ollama-Version. Nimm die Tabelle oben als Richtungswert, und benchmarke auf deiner eigenen Hardware, bevor du kaufst.
