Grafikkarte für KI 2026: Top 3 der RTX 50 für lokale KI, von 16 bis 32 GB

Ein LLM ausführen (Llama, Mistral, Qwen…), Bilder mit Stable Diffusion oder Flux erzeugen, ein LoRA trainieren: Lokal läuft alles über die Grafikkarte. Anders als beim Gaming bremst zuerst nicht die Rechenleistung, sondern die Menge an VRAM. Passt das Modell nicht in den Grafikspeicher, weicht es in den Arbeitsspeicher aus und alles wird langsam, wenn es sich überhaupt laden lässt.

Softwareseitig ist das Ökosystem weiterhin auf CUDA ausgerichtet: PyTorch, llama.cpp, Ollama und ComfyUI laufen nativ auf GeForce-RTX-Karten. AMD holt mit ROCm auf, doch eine NVIDIA-Karte bleibt der einfachste Einstieg.

Klicken zum Vergrößern

Update vom 9. Oktober 2026: Die RTX 5060 Ti mit 8 GB weicht der 16-GB-Version, die Daten wurden mit den Datenblättern von NVIDIA und den Herstellern abgeglichen, und die Preise stammen an diesem Tag aus dem DropReference-Katalog. Die GPU-Preise sind 2026 stark gestiegen, das berücksichtigen unsere Empfehlungen.

Die Transformers-Dokumentation von Hugging Face nennt eine einfache Regel: Die Gewichte eines Modells mit X Milliarden Parametern zu laden, braucht etwa 2 × X GB VRAM in bfloat16/float16 (4 × X GB in float32). Ein 7B-Modell wiegt in 16 Bit also rund 14 GB, Llama 2 70B rund 140 GB.

Quantisierung ändert alles. In 4 Bit belegt jeder Parameter ein halbes Byte: Die Gewichte wiegen etwa X/2 GB (einfache Rechnung). Hugging Face zeigt es an OctoCoder (15,5 Milliarden Parameter): 32 GB in bfloat16, 15 GB in 8 Bit und gut 9 GB in 4 Bit, gemessen. Zu den Gewichten kommt der Kontext (KV-Cache), der mit der Länge des Gesprächs wächst.

• 8 GB: Modelle mit 7 bis 8B in 4 Bit (rund 4 GB Gewichte), mit wenig Platz für Kontext.
• 16 GB: bis 14B in 4 Bit mit Reserve (rund 7 GB Gewichte), oder etwa 24B (rund 12 GB) mit kurzem Kontext.
• 32 GB: bis 32B in 4 Bit (rund 16 GB) mit viel Kontext. Ein 70B in 4 Bit (rund 35 GB Gewichte) passt nicht vollständig hinein, selbst auf eine RTX 5090.

Die Speicherbandbreite bestimmt das Tempo der Token-Generierung. Alle drei Karten nutzen GDDR7 mit 28 Gbps, die Bandbreite wächst also mit der Busbreite: 128 Bit bei der RTX 5060 Ti, 256 Bit bei der 5070 Ti und 512 Bit bei der 5090, also rund 448, 896 und 1.792 GB/s (Datenrate × Busbreite ÷ 8).

Bleibt der Verbrauch: NVIDIA nennt 180 W für die RTX 5060 Ti, 300 W für die 5070 Ti und 575 W für die 5090, mit empfohlenen Netzteilen von 600, 750 und 1.000 W. Zur richtigen Dimensionierung hilft unser Ratgeber zur Wahl des PC-Netzteils.

Drei Karten, drei Stufen: 16 GB zum niedrigsten Preis, schnelle 16 GB und 32 GB für große Modelle. Alle sind RTX-50-Karten (Blackwell-Architektur, Tensor Cores der 5. Generation). Die Preise sind das beste Angebot auf den DropReference-Produktseiten am 9. Oktober 2026.

729 €: Das ist die günstigste RTX 5060 Ti mit 16 GB in unserem Katalog zum Zeitpunkt der Erhebung und der günstigste Einstieg in 16 GB VRAM bei NVIDIA. Die 8-GB-Version desselben Modells kostet 529 €: 200 € Unterschied für doppelt so viel Speicher, die beste Investition für KI.

Laut NVIDIA bietet die RTX 5060 Ti 4.608 CUDA-Kerne und 759 AI TOPS, mit 16 GB GDDR7 an einem 128-Bit-Bus. Mit 16 GB lädst du ein 14B-Modell in 4 Bit mit Reserve für den Kontext, und bei der Bildgenerierung bleibt Platz für LoRAs und ControlNet.

Die MSI-Karte lässt sich sehr leicht einbauen: 227 × 126 × 41 mm, 180 W, ein einziger 8-Pin-Anschluss und ein von MSI empfohlenes 600-W-Netzteil. Sie nutzt 8 PCIe-5.0-Lanes: Auf einem PCIe-4.0-Mainboard ist die Anbindung daher halb so schnell, was vor allem zählt, wenn ein Modell aus dem VRAM ausweicht.

Ihre Grenze ist der 128-Bit-Bus: Beim gleichen Modell ist die Token-Generierung deutlich langsamer als auf einer RTX 5070 Ti, die gleich viel VRAM, aber doppelte Bandbreite hat.

Die RTX 5070 Ti behält 16 GB VRAM, also dieselben Modellgrößen wie die 5060 Ti, ist aber deutlich schneller: 8.960 CUDA-Kerne, 1.406 AI TOPS und ein 256-Bit-Bus (rund 896 GB/s), doppelt so breit wie bei der 5060 Ti.

Die WINDFORCE OC V2 lag am 9. Oktober 2026 bei 1.310 €, bei Amazon.fr ebenso wie bei Amazon ES. Gigabyte nennt 261 × 126 × 50 mm (2,5 Slots) und ein 750-W-Netzteil; NVIDIA gibt 300 W Verbrauch an. Die Stromversorgung läuft über einen 16-Pin-Anschluss 12V-2x6, mit Adapter auf zwei 8-Pin-Kabel.

Diese Karte empfehlen wir, wenn du lokale KI ernsthaft betreiben willst, ohne Netzteil oder Gehäuse zu wechseln: schnell bei der Inferenz, vielseitig bei der Bildgenerierung und weiterhin hervorragend beim Gaming.

Die RTX 5090 ist die einzige GeForce mit 32 GB: 21.760 CUDA-Kerne, 3.352 AI TOPS und ein 512-Bit-Bus (rund 1.792 GB/s). Diese 32 GB erlauben ein 32B-Modell in 4 Bit mit langem Kontext oder ein 14B in 8 Bit. Ein 70B in 4 Bit (rund 35 GB Gewichte) übersteigt dagegen ihren Speicher: Ein Teil muss in den Arbeitsspeicher ausgelagert werden.

Klicken zum Vergrößern

Die Gigabyte GAMING OC misst 342 × 152 × 70 mm, und Gigabyte wie NVIDIA empfehlen für ihre 575 W ein 1.000-W-Netzteil.

Der Preis ist die eigentliche Hürde: bestenfalls 5.499 € am 9. Oktober 2026 (Amazon ES) und über 6.100 € bei den übrigen Händlern im Katalog. Zu diesem Preis lohnt sie sich nur, wenn deine Modelle wirklich 32 GB brauchen; sonst erledigt die 5070 Ti das Wesentliche für einen Bruchteil des Preises.

Lokaler Chatbot (LLM): Der VRAM bestimmt die Modellgröße, die Bandbreite das Tempo. Bis 14B in 4 Bit reicht eine 16-GB-Karte: die 5060 Ti fürs Budget, die 5070 Ti fürs Tempo. Ab 24B brauchst du die 32 GB der 5090.

Bildgenerierung (Stable Diffusion, Flux): 16 GB lassen Platz für Modelle, LoRAs und ControlNets. Die 5070 Ti generiert schneller als die 5060 Ti; die 5090 lohnt sich vor allem für große Batches und Video.

Fine-Tuning (LoRA, QLoRA): Training braucht mehr Speicher als Inferenz, weil Gradienten und Optimizer-Zustand gespeichert werden. 16 GB sind das Minimum, 32 GB echter Komfort.

Checkliste vor dem Kauf

• Berechne den VRAM-Bedarf: rund X/2 GB Gewichte in 4 Bit, 2 × X GB in 16 Bit, plus Kontext.
• Setze auf mindestens 16 GB: 8-GB-Karten begrenzen dich schnell auf kleine Modelle.
• Prüfe Netzteil (600 / 750 / 1.000 W laut NVIDIA) und Platz im Gehäuse.
• Vergleiche den Preis pro GB VRAM: Am 9. Oktober 2026 kostet die 5060 Ti 16 GB rund 46 € pro GB, die 5070 Ti 82 € und die 5090 172 €.
• Zum Vergleich mit Gaming-Karten lies unsere Rangliste der besten Grafikkarten.

Ja, über ROCm unter Linux oder DirectML unter Windows, und Tools wie llama.cpp laufen auf Radeon. Die Kompatibilität ist aber noch schmaler als bei CUDA: Wenn KI deine Priorität ist, bleibt eine RTX 2026 die einfachste Wahl.

Für Modelle mit 7 bis 8B in 4 Bit und einfache Bildgenerierung ja. Es ist aber die Untergrenze: Bei nur 200 € Unterschied zwischen der RTX 5060 Ti mit 8 GB und 16 GB in unserem Katalog ist die 16-GB-Version deutlich vernünftiger.

Nicht vollständig. In 4 Bit wiegen die Gewichte eines 70B rund 35 GB, mehr als die 32 GB der Karte. Ein Teil der Schichten muss in den Arbeitsspeicher ausgelagert werden, was die Generierung deutlich bremst.

Sie hat 16 GB VRAM wie die 5070 Ti, kostet aber mehr. Da der Speicher die Modellgröße begrenzt, bietet die 5070 Ti für KI das bessere Verhältnis.

Die Cloud ist günstiger, wenn du KI nur gelegentlich nutzt. Eine lokale Karte lohnt sich bei täglicher Nutzung: keine Stundenmiete, keine Netzwerklatenz, und deine Daten bleiben bei dir.

NVIDIA empfiehlt 600 W für die RTX 5060 Ti, 750 W für die 5070 Ti und 1.000 W für die 5090. Für die 5090 nimm ein ATX-3.1-Netzteil mit nativem 12V-2x6-Kabel.