Welche Hardware ein KI-Modell im Haus braucht

Daraus folgt die zweite Größe, die Speicherbandbreite. Sie gibt an, wie schnell die Karte ihren eigenen Speicher lesen kann, und bestimmt damit das Tempo der Ausgabe. Kapazität entscheidet, ob es läuft. Bandbreite entscheidet, wie schnell.

Wie viel Platz ein Parameter belegt, hängt davon ab, mit wie vielen Bit er abgelegt wird. Dieses Herunterrechnen der Genauigkeit heißt Quantisierung. Die Regel dahinter ist Grundschulmathematik:

Parameter in Milliarden × Byte je Parameter = Speicherbedarf in Gigabyte

Der Qualitätsverlust verläuft nicht proportional zur Ersparnis. 8 Bit gilt für Geschäftsanwendungen als praktisch gleichwertig zu 16 Bit und ist der übliche Betriebspunkt. 4 Bit kostet messbar Genauigkeit und kommt dann zum Einsatz, wenn der Speicher sonst nicht ausreicht.

Neben den Gewichten hält das System für jedes laufende Gespräch einen Zwischenspeicher vor, in dem der bisherige Verlauf steht. Er wächst mit jedem Token, also mit jedem Textbaustein, den das Modell liest oder schreibt, und er existiert für jedes Gespräch getrennt. Auch dafür gibt es eine Formel:

Speicher je Token = 2 × Schichten × Speicherköpfe × Kopfbreite × Byte je Wert

Für ein offen dokumentiertes Modell der 9-Milliarden-Klasse (36 Schichten, 8 Speicherköpfe, Kopfbreite 128, 16 Bit) ergibt das 144 Kibibyte je Token, für ein Modell der 27- bis 32-Milliarden-Klasse (64 Schichten) 256 Kibibyte. Bei 8.000 Token je Gespräch, also einem mittleren Dialog mit angehängten Dokumenten, sind das 1,2 beziehungsweise 2,1 Gigabyte. Pro Nutzer.

Gerechnet mit 8-Bit-Gewichten und einem Aufschlag von 20 Prozent für Zwischenergebnisse und die Laufzeitumgebung. Wer längere Kontexte zulässt, etwa 32.000 statt 8.000 Token, vervierfacht die Verlaufsspalte.

Ein Gerät, auf dem das Modell startet und einen Nutzer bedient, ist nicht dasselbe wie ein Gerät für eine Abteilung. Der Unterschied zeigt sich nicht nur im Speicher, sondern auch im Tempo. Erwachsene lesen Sachtexte mit rund 238 Wörtern je Minute, also mit etwa 5 bis 6 Token je Sekunde; ab 20 Token je Sekunde liest praktisch niemand mehr mit. Unterhalb der Lesegeschwindigkeit wirkt die Ausgabe zäh, egal wie gut die Summe aussieht. Unsere eigene Messung auf dem DGX Spark (Juli 2026): Das 9-Milliarden-Modell liefert in 16-Bit-Genauigkeit 14 Token je Sekunde für einen einzelnen Nutzer; bei 16 gleichzeitigen Anfragen steigt der Gesamtdurchsatz auf 208 Token je Sekunde, je Nutzer bleiben also rund 13. In der ausgelieferten 4-Bit-Fassung ist je Parameter nur ein Viertel der Bytes zu lesen, rechnerisch liegt das Tempo entsprechend höher. Das 27-Milliarden-Modell liest die dreifache Menge und ist entsprechend langsamer: Für ein einzelnes Team reicht das, für ganze Abteilungen empfehlen wir die größere Geräteklasse.

Der Grund dafür ist die Stapelverarbeitung: moderne Bediensoftware fasst mehrere Anfragen zusammen und lastet die Karte damit besser aus. Das erhöht den Gesamtdurchsatz erheblich, verteilt ihn aber auf alle Beteiligten. Für die Beschaffung heißt das: Legen Sie fest, wie viele Personen gleichzeitig arbeiten sollen und wie schnell die Antwort erscheinen muss, bevor Sie ein Gerät auswählen.

Kompakte Desktop-Systeme mit gemeinsamem Speicher. Der NVIDIA DGX Spark stellt 128 GB Speicher bereit, die sich Prozessor und Grafikeinheit teilen. Der Listenpreis wurde im Februar 2026 von 3.999 auf 4.699 US-Dollar angehoben; im deutschen Handel liegen die Notierungen je nach Anbieter um 5.000 Euro netto. Kapazität ist bei dieser Klasse kein Thema; das Tempo begrenzt die Bandbreite von 273 GB/s, die für unsere Modellgrößen und kleine Teams ausreicht.

Einzelne Profi-Grafikkarten in einer Workstation. Die RTX PRO 6000 Blackwell trägt 96 GB Speicher bei 600 W Verlustleistung. Ihr Listenpreis stieg von 8.565 US-Dollar (März 2025) auf 13.250 US-Dollar (Juni 2026), Ursache ist die Knappheit bei GDDR7-Speicher. Die kleinere RTX PRO 5000 mit 48 GB steht bei 6.999 US-Dollar Liste und 5.200 bis 6.500 US-Dollar Straßenpreis. Diese Klasse hat deutlich mehr Bandbreite als ein kompaktes Desktop-System und bedient entsprechend mehr Personen zügig.

Rechenzentrums-Technik im Turmgehäuse. Die NVIDIA DGX Station mit GB300-Superchip bietet 748 GB zusammenhängenden Speicher bei bis zu 1.600 W. NVIDIA nennt keinen Listenpreis; ein Partnersystem wurde Anfang 2026 mit knapp 97.000 US-Dollar geführt. Diese Klasse adressiert mehrere Teams oder mehrere Modelle auf einem Gerät.

Eine gewöhnliche Arbeitsplatz-Grafikkarte scheidet für den großen Tarif aus. Die GeForce RTX 5090, im deutschen Handel je nach Modell zwischen rund 3.050 und 4.500 Euro gelistet, hat 32 GB. Ein 27-Milliarden-Modell mit 8 Bit belegt allein an Gewichten 27 GB. Rechnerisch bleiben 5 GB für Verläufe, praktisch bedeutet das zwei bis drei gleichzeitige Gespräche und keinerlei Reserve. Für den mittleren Tarif ist dieselbe Karte brauchbar, solange es bei wenigen Nutzern bleibt.

Ebenfalls nicht ausreichend: Modelle über Arbeitsspeicher und Prozessor zu betreiben, mehrere kleine Karten mit je 16 GB zu koppeln, oder Kapazität ohne Blick auf die Bandbreite zu kaufen. Und: 96 GB auf einer Karte sind nicht dasselbe wie zweimal 48 GB, weil die Aufteilung eines Modells über zwei Karten Kommunikation und damit Latenz erzeugt.

Die Spitzenaufnahme steht im Datenblatt: 240 W beim kompakten Desktop-System, 600 W für die große Profi-Karte allein, bis 1.600 W für die Turm-Variante. Im Leerlauf zieht das kompakte System nach einem Software-Update 22 bis 25 W.

Gewerbekunden zahlten im Februar 2026 rund 27 ct/kWh bei einem Verbrauch von 10.000 kWh im Jahr, größere Industriekunden etwa 16 ct/kWh. Bei Dauerbetrieb rund um die Uhr und 27 ct/kWh ergibt das:

Die Mischlast von 100 W und der Systemwert von 900 W sind geschätzt, die Spitzenwerte stammen aus den Herstellerangaben. Strom ist damit gegenüber der Anschaffung nachrangig, aber bei der Turm-Variante keine Randnotiz mehr, und Kühlung sowie Absicherung des Stromkreises gehören in die Planung.

Vier Zahlen genügen für die Vorauswahl: Speicherkapazität in Gigabyte, Speicherbandbreite in Gigabyte je Sekunde, Leistungsaufnahme in Watt und die Frage, ob der Speicher auf einer Einheit liegt oder aufgeteilt ist. Setzen Sie die Kapazität gegen Ihre Zeile aus der zweiten Tabelle. Alles, was darunter liegt, ist keine Option, unabhängig vom Preis.

Wir liefern das feingetunte Modell, nicht das Blech. Tarif M basiert auf Qwen3.5-9B mit 9 Milliarden Parametern, Tarif L auf Qwen3.8-27B mit 27 Milliarden. Die Hardware beschaffen Sie selbst, und wir binden Sie bewusst nicht an ein bestimmtes Gerät: Verfügbarkeit und Preise schwanken derzeit stark, wie der Anstieg der Profi-Karte um 55 Prozent innerhalb von 16 Monaten zeigt. Eine Bindung an ein Modell von heute wäre in einem Jahr eine Fehlentscheidung.

Ausgeliefert wird ein Einrichtungsprogramm. Es prüft Ihre Hardware, wählt den passenden Pfad für Ihr Modell und nimmt es samt der Bedienoberfläche AnythingLLM in Betrieb. Als Orientierung nennen wir den DGX Spark für die meisten Fälle und die DGX Station, wenn ganze Abteilungen darauf arbeiten sollen. Welches Gerät Sie kaufen, entscheiden Sie.