Stable Diffusion 3.5, das natürliche Sprache in beeindruckende, fotorealistische Bilder umwandelt, ist eines der leistungsstärksten Modelle zur Bildgenerierung auf dem Markt.
Im RTX AI Garage-Blog geht es diese Woche darum, wie NVIDIA und Stability AI SD3.5 schneller, leichter und zugänglicher für RTX-betriebene PCs und Workstations machen. Durch die Quantisierung des Modells auf FP8 mit NVIDIA TensorRT benötigt SD3.5 Large jetzt nur noch ~11 GB VRAM. Das entspricht einer Reduzierung um 40 %. Außerdem läuft es im Vergleich zu BF16 PyTorch bis zu 2,3 Mal schneller. Das ermöglicht lokale Leistungssteigerungen für ein breiteres Spektrum von Systemen.
Das sind die Highlights:
- Geringere VRAM-Anforderungen: Stable Diffusion 3.5 Large benötigt jetzt nur noch 11 GB VRAM und ist damit für viel mehr Laptops und Desktops geeignet.
- Schnellere Leistung: Die TensorRT-Beschleunigung verdoppelt fast die Inferenzgeschwindigkeit für Large- und Medium-Modelle.
- Optimiert für die neuesten RTX-GPUs: GeForce RTX 40- und 50-Serien sowie RTX PRO-Grafikprozessoren mit Ada- und Blackwell-Architekturen sind dank verbesserter Tensor Cores jetzt noch besser für diese Modelle gerüstet.
- Neues TensorRT für RTX SDK: Das eigenständige SDK ist jetzt verfügbar, mit 8x kleinerer Installationsgröße und Just-in-Time (JIT) Engine Building für eine einfachere Bereitstellung.
Entwickler können das neue SDK ab sofort über NVIDIA Developer oder die Windows ML Preview testen. Die optimierten Modelle sind auch auf der Hugging Face-Seite von Stability AI verfügbar. NVIDIA und Stability AI werden SD3.5 im Juli als NVIDIA NIM-Microservice veröffentlichen, was die Anwendung für App-Entwickler und Service Provider weiter vereinfacht.
Teilnehmer der VivaTech können zudem die GTC Paris besuchen, um die neuesten Demos zu sehen. Hier geht es außerdem zur Aufzeichnung der Keynote von NVIDIA CEO Jensen Huang auf der Messe.
