NVIDIA DGX Spark im Test: Praxis-Benchmarks aus unserem Rack

Nvidia bewirbt den DGX Spark als „Supercomputer für den Schreibtisch“ – ein kompakter Desktop-Rechner speziell für KI-Workloads. Bei uns steht das Gerät inzwischen im Rack und läuft im Dauerbetrieb mit Qwen3.6-35B (NVFP4-quantisiert). Dieser Artikel fasst die technischen Eckdaten zusammen, zeigt echte Benchmark-Ergebnisse aus unserem Testbetrieb und ordnet ein, für welche Unternehmen sich eine Anschaffung tatsächlich lohnt.

Technische Eckdaten

• Chip: Nvidia GB10 Superchip (Grace Blackwell) mit 20 ARM-Kernen (10× Cortex-X925, 10× Cortex-A725)
• Arbeitsspeicher: 128 GB LPDDR5X als kohärentes Unified Memory (CPU und GPU teilen sich denselben Speicher)
• Speicherbandbreite: 273 GB/s – die entscheidende Kenngröße, dazu gleich mehr
• Tensor-Leistung: bis zu 1 PFLOPS bei FP4-Quantisierung (theoretischer Spitzenwert)
• Netzwerk: ConnectX-7 mit zwei QSFP-Ports für Multi-Node-Verbund mehrerer Geräte
• Leistungsaufnahme: rund 240 W für das Gesamtsystem
• Maße: 150 × 150 × 50,5 mm, SSD in 1/2/4 TB, nicht nachrüstbar
• Preis: je nach Anbieter (Nvidia, Acer, Asus, Dell, Gigabyte, HP, Lenovo, MSI) etwa 3.000 bis 6.000 Euro

Blick unter das Gehäuse: GB10-Superchip, Unified Memory und ConnectX-Anbindung auf engstem Raum. (Bild: Nvidia)

Anschlüsse und Formfaktor

In der Hand wirkt der DGX Spark eher wie ein edler kleiner Router als wie ein KI-Rechner – das gesinterte Metallgehäuse ist hochwertig verarbeitet und mit rund 1,2 Litern Volumen erstaunlich kompakt. An der Rückseite sitzen vier USB-C-Ports, ein HDMI-Ausgang, ein Gigabit-Ethernet-Anschluss sowie die zwei QSFP-Ports für den ConnectX-7-Adapter, über den sich mehrere Geräte zu einem größeren Verbund koppeln lassen.

USB-C, HDMI, Ethernet und die beiden QSFP-Ports für Multi-Node-Betrieb. (Bild: Nvidia)

Einrichtung, Temperatur und Geräuschentwicklung

Die Ersteinrichtung läuft geführt über eine Weboberfläche, die man – wie im Bild unten zu sehen – vom eigenen Rechner aus im Browser aufruft, sobald das Gerät im Netzwerk hängt. Das ist unkompliziert und dauert nur wenige Minuten, bis das System für erste Modelle bereit ist. Unser erster Eindruck: Das CUDA-Ökosystem verhält sich wie erwartet vertraut – wer bereits mit Nvidia-GPUs und PyTorch arbeitet, findet sich sofort zurecht, ohne Treiber oder Frameworks erst umständlich anpassen zu müssen.

Die Ersteinrichtung erfolgt geführt über den Browser. (Bild: Nvidia)

Bei uns läuft das Gerät seit mehreren Stunden im Dauerbetrieb mit durchgehender Last – die Gehäusetemperatur blieb dabei durchgängig unter 65 °C, ein Wert, den viele klassische GPU-Workstations unter Volllast deutlich überschreiten. Ebenso bemerkenswert: Das Gerät ist auch unter dieser Dauerlast nicht hörbar – im Bürobetrieb neben anderer aktiver IT-Infrastruktur fällt es akustisch schlicht nicht auf. Beides zusammen macht den Formfaktor für einen 24/7-Einsatz außerhalb eines klimatisierten Serverraums deutlich praktikabler als bei vergleichbar leistungsfähigen GPU-Servern.

Benchmark: Qwen3.6-35B unter Last

Für einen realistischen Eindruck haben wir das MoE-Modell Qwen3.6-35B-A3B in NVFP4-Quantisierung über vLLM ausgeliefert und mit einem Standard-Lastprofil getestet: 16 Anfragen mit rund 8.000 Token Eingabelänge und 512 Token Ausgabelänge je Anfrage – ein Profil, das ziemlich genau dem entspricht, was in RAG-Pipelines oder der Dokumentenanalyse anfällt: viel Kontext hinein, vergleichsweise wenig Text heraus. Getestet haben wir mit ein, zwei und vier gleichzeitigen Anfragen:

Das Muster bestätigt genau das, was die Architektur erwarten lässt: Der Gesamtdurchsatz steigt mit mehr parallelen Anfragen spürbar (von 69,5 auf fast 120 Token/s), weil sich mehrere Anfragen die Speicherzugriffe effizienter teilen. Gleichzeitig wird jede einzelne Anfrage spürbar langsamer – die Zeit pro Token verdreifacht sich von Konkurrenz 1 zu Konkurrenz 4 nahezu. Für Batch-Workloads, bei denen der Gesamtdurchsatz zählt, ist das ein gutes Ergebnis. Für einen einzelnen interaktiven Chat, bei dem jedes Token sofort erscheinen soll, macht sich die begrenzte Speicherbandbreite dagegen bereits bei wenigen parallelen Nutzern bemerkbar.

Der Flaschenhals heißt Speicherbandbreite

Der GB10-Chip selbst bringt genug Rechenleistung für moderne KI-Workloads mit. Die eigentliche Grenze setzt der Arbeitsspeicher: 273 GB/s klingt zunächst viel, liegt aber weit unter dem, was dedizierte GPU-Speicher (GDDR6/7, HBM3) erreichen. Bei der KI-Inferenz wirkt sich das unterschiedlich stark aus, je nachdem, in welcher Phase sich das Modell gerade befindet: In der sogenannten Prefill-Phase, in der der eingegebene Text verarbeitet wird, zählt vor allem Rechenleistung – hier spielt der DGX Spark seine Stärken aus, wie die niedrige Time-to-First-Token bei geringer Konkurrenz zeigt. In der anschließenden Decode-Phase, in der die Antwort Wort für Wort erzeugt wird, entscheidet dagegen fast ausschließlich die Speicherbandbreite über die Geschwindigkeit – genau das zeigt sich in unseren Messwerten an der steigenden Zeit pro Token bei mehr parallelen Anfragen.

Wofür sich das Gerät eignet – und wofür nicht

Für interaktive Chat-Anwendungen mit vielen Nutzern oder das Training großer Modelle ist der DGX Spark nicht die richtige Wahl – hier sind klassische Workstations mit dedizierten GPUs (etwa auf Basis der RTX Pro 6000) klar im Vorteil, wenn auch zu einem entsprechenden Preis. Seine Nische findet das Gerät dort, wo große Modelle dauerhaft, aber ohne Zeitdruck laufen sollen:

• Dokumentenanalyse und OCR-Pipelines
• RAG-Systeme (Retrieval-Augmented Generation) mit langen Eingaben und kurzen Antworten
• Klassifikationsaufgaben und Datenanreicherung im Batch-Betrieb
• Energieeffizienter 24/7-Dauerbetrieb, ohne Serverraum-Infrastruktur

Mit 128 GB Unified Memory lassen sich zudem Modelle vollständig im Speicher halten, die auf den meisten Desktop-GPUs schlicht nicht mehr passen – etwa große Open-Weight-Modelle im 70B- bis 120B-Parameter-Bereich.

Einordnung gegenüber Mac Studio und AMD Strix Halo

Auf dem Papier konkurrieren der Mac Studio (Apple Silicon) und AMDs Strix-Halo-Systeme im selben Formfaktor. Der Mac Studio bietet teils sogar mehr Speicherbandbreite, dessen GPU-Leistung reicht aber nicht aus, um das voll auszuschöpfen – und Apples Software-Stack ist nicht CUDA-kompatibel. AMDs Strix Halo ähnelt dem DGX Spark technisch (ebenfalls bis zu 128 GB LPDDR5X), doch das ROCm-Ökosystem ist deutlich weniger ausgereift als CUDA. Genau darin liegt der eigentliche Mehrwert des DGX Spark: Nahezu jedes moderne KI-Framework ist auf CUDA optimiert, und Anwendungen lassen sich nahtlos auf größere Nvidia-DGX-Systeme skalieren, falls der Bedarf wächst.

Fazit

Unsere Messwerte bestätigen die theoretische Einordnung: Der DGX Spark ist kein Ersatz für eine klassische KI-Workstation und auch kein Gerät für latenzkritische Einzelnutzer-Chats – dafür bremst die Speicherbandbreite bei steigender Parallelität spürbar. Seine Stärke liegt dort, wo wir es erwartet hatten: als leiser, kühler und energieeffizienter 24/7-Batch-Rechner für Workloads mit langen Eingaben und moderaten Ausgabemengen – RAG-Pipelines, Dokumentenanalyse, Klassifikation. Mit Temperaturen durchgehend unter 65 °C und einer im Praxisbetrieb nicht wahrnehmbaren Geräuschkulisse lässt sich das Gerät problemlos außerhalb eines dedizierten Serverraums betreiben. Für Unternehmen, die größere Sprachmodelle dauerhaft und energieeffizient vor Ort betreiben möchten – etwa aus DSGVO-Gründen ohne Cloud-Anbindung –, ist der DGX Spark damit eine sinnvolle Ergänzung zur bestehenden IT-Infrastruktur. Ob sich ein solches Gerät für Ihren konkreten Anwendungsfall lohnt oder eine klassische Server- bzw. Workstation-Lösung die bessere Wahl ist, hängt stark vom Workload ab – wir beraten Sie gerne bei der Planung Ihrer On-Premises-KI-Infrastruktur.