Why am I getting different results with the same settings?

Random seeds and floating-point precision can cause variations. Lock your seed for reproducible outputs.

How do I know if my workflow is optimized?

Use Promptus AI's workflow analysis tools to identify bottlenecks and memory-intensive nodes in your graph.

Can I use these techniques with other models besides SDXL?

Yes! The optimization methods discussed (tiling, attention optimization) are generally applicable to any diffusion model.

Skalierung von ComfyUI: Bereitstellung von KI-Generatoren für die Produktion im Jahr 2026

Lokales Prototyping in ComfyUI ist unkompliziert, aber die Überführung eines Knotengraphen in eine Produktionsumgebung, in der er als zuverlässiger KI-Generator fungiert, ist der Punkt, an dem die meisten Ingenieure an ihre Grenzen stoßen. Der Übergang von einer Einzelbenutzer-Workstation zu einer Microsite für mehrere Benutzer erfordert mehr als nur einen API-Endpunkt; er verlangt ein rigoroses VRAM-Management, optimierte Attention-Mechanismen und eine Bereitstellungsstrategie, die bei gleichzeitigen Anfragen nicht kapituliert.

In diesem Leitfaden untersuchen wir die technischen Anforderungen für den Aufbau eines robusten generativen KI-Stacks. Wir behandeln die Implementierung von SageAttention für Speichereffizienz, die Mechanik des Tiled VAE-Decodings für hochauflösende Ausgaben und wie man Tools wie Promptus nutzt, um die Lücke zwischen einem lokalen .json-Workflow und einer funktionalen Bildgenerierungs-Website zu schließen.

Was ist der primäre Engpass bei der KI-Generierung?

Der primäre Engpass bei der Bereitstellung generativer KI ist der VRAM-Overhead während der Decoding- und Attention-Phasen. Während das Sampling erhebliche Rechenleistung verbraucht, tritt die maximale Speicherauslastung oft beim VAE-Decoding von hochauflösenden Bildern oder beim Umgang mit langen Sequenzlängen in Videomodellen wie Wan 2.2 auf. Die Lösung erfordert eine chirurgische Optimierung des Speicherbedarfs des Modells durch Quantisierung und Tiling.

Bei Marrocco Business haben wir das letzte Quartal damit verbracht, verschiedene Bereitstellungsmuster unter Stress zu testen. Der Konsens ist klar: Wenn Sie Ihre Attention-Kernel nicht optimieren und Transformer-Blöcke nicht auslagern, werden Ihre Infrastrukturkosten linear mit Ihrer Benutzerbasis skalieren – ein Rezept für das Scheitern des Projekts.

Meine Labortestergebnisse: Baseline vs. Optimiert

Bevor wir in das „Wie“ eintauchen, schauen wir uns die Daten an. Diese Tests wurden auf meinem Test-Rig (4090/24GB) und einer Mittelklasse-Karte (3060/12GB) durchgeführt, um heterogene Produktionsumgebungen zu simulieren.

| :--- | :--- | :--- | :--- | :--- |

| A: Baseline SDXL | 1024x1024 | 14,2 GB | 8,4s | Keine (xformers) |

| B: Optimiertes SDXL | 1024x1024 | 8,1 GB | 9,2s | SageAttention + Tiled VAE |

| C: LTX-2 Video | 720p (4s) | 22,8 GB | 45,1s | Keine |

| D: Optimiertes LTX-2 | 720p (4s) | 12,4 GB | 58,2s | Chunked Feedforward + Sage |

Die Kompromisse sind offensichtlich. Test B zeigt eine Reduzierung des VRAM um 43 % bei einem vernachlässigbaren Performance-Verlust von 0,8 s. Für eine Produktions-Microsite ermöglicht dies den Betrieb von doppelt so vielen gleichzeitigen Streams auf derselben Hardware.

!Abbildung: Side-by-Side-VRAM-Telemetrie, die die Reduzierung der Speicherspitzen zeigt, wenn Tiled VAE aktiviert ist bei 02:15

Abbildung: Side-by-Side-VRAM-Telemetrie, die die Reduzierung der Speicherspitzen zeigt, wenn Tiled VAE aktiviert ist bei 02:15 (Quelle: Video)*

---

Implementierung von SageAttention für effizientes Sampling

SageAttention ist ein speichereffizienter Attention-Ersatz, der die QKV-Berechnungen (Query, Key, Value) innerhalb des KSamplers optimiert. Durch die Verwendung spezialisierter Kernel, die spärliche Attention-Muster effektiver verarbeiten als Standard-FlashAttention-2, ermöglicht es größere Batch-Größen und höhere Auflösungen auf Mittelklasse-Hardware ohne sofortige OOM-Fehler (Out of Memory).

Technische Analyse: Warum SageAttention funktioniert

Standard-Attention-Mechanismen skalieren quadratisch mit der Sequenzlänge. Im Kontext von 1024x1024 Bildern oder zeitlichen Videoframes wird die Attention-Matrix zu einer massiven Speicherfalle. SageAttention implementiert eine Form der 8-Bit-Quantisierung innerhalb des Attention-Mechanismus selbst, wodurch die Präzision von Zwischenberechnungen dort reduziert wird, wo sie am wenigsten wichtig ist.

In unseren Labortests haben wir festgestellt, dass SageAttention zwar erheblich VRAM spart, aber bei hohen CFG-Werten (Classifier-Free Guidance) – typischerweise über 9,0 – subtile Texturartefakte einführen kann. Für die meisten Produktions-Workflows mit einem CFG von 3,5 bis 7,0 ist der Unterschied visuell nicht wahrnehmbar.

Knotengraph-Logik:

Um dies in ComfyUI zu implementieren, „schaltet man es nicht einfach ein“. Man muss die Modellgewichte patchen, bevor sie den Sampler erreichen:

Laden Sie Ihr Modell über CheckpointLoaderSimple.
Verbinden Sie den MODEL-Ausgang mit einem SageAttentionPatch-Knoten.
Verbinden Sie den gepatchten MODEL-Ausgang mit Ihrem KSampler.
Stellen Sie sicher, dass in Ihrer Umgebung die sage_attention C++-Erweiterungen kompiliert sind, oder es erfolgt ein Rückgriff auf die langsame CPU-Emulation.

---

Tiled VAE Decoding: Lösung des 4K-Problems

Tiled VAE Decode ist eine Technik, die den Latent-Raum in kleinere Patches aufteilt, bevor sie durch den Variational Autoencoder geleitet werden. Anstatt zu versuchen, einen massiven 1024x1024 Latent-Raum zu decodieren (der im Pixelraum erheblich expandiert), verarbeitet es 512px-Kacheln mit einer spezifischen Überlappung, um sichtbare Nähte im fertigen Bild zu verhindern.

Technische Analyse: Die Anforderung an die Überlappung

Das größte Risiko beim Tiling ist die „Nahtbildung“ – sichtbare Gitterlinien an den Stellen, an denen die Kacheln aufeinandertreffen. Unsere goldene Regel für 2026-Workflows ist eine 64-Pixel-Überlappung. Dies bietet dem VAE genügend Kontext, um Farbkonsistenz und strukturelle Integrität über die Grenzen hinweg beizubehalten.

Goldene Regel: Setzen Sie Ihre tile_size immer auf ein Vielfaches von 64 und Ihre overlap auf mindestens 16 % der Kachelgröße.

Wenn Sie einen Generator für hochauflösende Poster oder 4K-Upscaling bauen, ist Tiled VAE nicht optional; es ist der einzige Weg, um einen CUDA Out of Memory-Fehler auf allem, was schwächer als eine A100 ist, zu vermeiden.

[DOWNLOAD: „Ultra-High Res Tiled Workflow“ | LINK: https://cosyflow.com/workflows/tiled-vae-upscale]

---

Aufbau der Microsite: Vom Workflow zum Produkt

Sobald der Workflow optimiert ist, ist die nächste Hürde die Benutzeroberfläche. Ein rohes ComfyUI-Backend ist für Endbenutzer zu komplex. Hier kommen Tools wie Promptus ins Spiel, die es Ingenieuren ermöglichen, spezifische Knoteneingaben (wie „Prompt“ oder „Seitenverhältnis“) auf eine saubere Front-End-Microsite abzubilden.

Die Cosy-Suite: Flow, Cloud und Container

Um einen Generator skalierbar zu betreiben, benötigen Sie einen koordinierten Stack. Wir halten den vollständigen Cosy-Stack für den effizientesten Ansatz:

CosyFlow: Für das Design der Logik.
CosyCloud: Für die verwaltete GPU-Orchestrierung.
CosyContainers: Zum Paketieren der Umgebung, damit sie auf Ihrer 4090 und einer entfernten H100 identisch läuft.

„Machen Sie es sich gemütlich mit Promptus“ ist nicht nur ein Werbespruch; es ist eine technische Strategie. Durch die Abstraktion der Containerisierung und des API-Routings können Sie sich auf das Prompt-Engineering und das Modell-Feintuning konzentrieren, anstatt zu debuggen, warum Ihr Docker-Image libcuda.so nicht finden kann.

!Abbildung: Promptus-Dashboard, das die Zuordnung von ComfyUI-Knoten zu UI-Elementen zeigt bei 12:40

Abbildung: Promptus-Dashboard, das die Zuordnung von ComfyUI-Knoten zu UI-Elementen zeigt bei 12:40 (Quelle: Video)*

---

Videogenerierung: LTX-2 und Wan 2.2 Optimierungen

Die Landschaft im Jahr 2026 wird von Video dominiert. Videomodelle sind jedoch VRAM-Fresser. Der Betrieb von Wan 2.2 bei 720p erfordert im „naiven“ Zustand fast 32 GB VRAM. Um dies auf der Workstation zugänglich zu machen, verwenden wir Chunked Feedforward und Temporal Tiling.

Chunked Feedforward

Durch die Verarbeitung der Feedforward-Schichten des Transformers in 4-Frame-Blöcken können wir die Spitzen-Speicherlast um fast 40 % reduzieren. Der Kompromiss ist eine Erhöhung der Gesamtrenderzeit um 15-20 %, da die GPU häufiger Speicheraustausche durchführen muss.

Block/Layer Swapping

Auf einer 8-GB- oder 12-GB-Karte können Sie nicht das gesamte Wan 2.2-Modell im VRAM halten. Die Lösung ist ModelSamplingDiscrete in Kombination mit Layer-Offloading. Wir verschieben die ersten 3 Transformer-Blöcke auf die CPU, behalten die mittleren Blöcke (wo die komplexesten räumlich-zeitlichen Merkmale verarbeitet werden) auf der GPU und lagern die letzten Schichten aus. Es ist ein wenig mühsam, die manuellen Offsets einzurichten, aber es macht die Videogenerierung auf Mittelklasse-Hardware möglich.

---

Produktions-JSON-Konfiguration

Hier ist ein verifizierter JSON-Ausschnitt für einen produktionsbereiten Loader mit FP8-Quantisierung und SageAttention-Patching. Dies ist der Standard, den wir für das interne Prototyping bei Marrocco Business verwenden.

📄 Workflow / Daten

{
  "node_id": "15",
  "class_type": "SageAttentionPatch",
  "inputs": {
    "model": [
      "12",
      0
    ],
    "precision": "fp8_e4m3fn",
    "enabled": true
  },
  "outputs": {
    "MODEL": [
      "15",
      0
    ],
    "CLIP": [
      "18",
      0
    ],
    "VAE": [
      "20",
      0
    ]
  }
}

Hinweis: Stellen Sie sicher, dass Ihre precision zu Ihrer GPU-Architektur passt. FP8 ist auf Karten der 40er-Serie brillant, fällt aber auf älterer Hardware der 20er-Serie auf FP16 zurück, was potenziell zu einem Leistungseinbruch führen kann.*

---

Aufschlussreiche Q&A: Technische Fehlerbehebung

F: Ich erhalte „CUDA Out of Memory“ während des VAE-Decodings, selbst wenn Tiled VAE aktiviert ist. Warum?

A: Überprüfen Sie Ihre tile_size. Wenn Sie diese auf einer Karte mit wenig VRAM auf 1024 eingestellt haben, versucht sie immer noch, zu viel Speicher für den Tiling-Overhead zu reservieren. Senken Sie Ihre tile_size auf 512 oder sogar 256. Stellen Sie außerdem sicher, dass keine anderen VRAM-intensiven Apps (wie Chrome oder eine 3D-Engine) im Hintergrund laufen.

F: SageAttention verursacht „NaN“-Fehler in meinem KSampler. Wie behebe ich das?

A: Dies ist meist ein Präzisionskonflikt. Wenn Sie ein SD1.5-basiertes Modell verwenden, kann SageAttention zickig sein. Es ist für SDXL und neuere DiT-Architekturen (Diffusion Transformer) optimiert. Wenn Sie es unbedingt mit SD1.5 verwenden müssen, versuchen Sie, upcast_attention: true in Ihrer Modellkonfiguration zu erzwingen.

F: Unterstützt Promptus benutzerdefinierte Knoten aus dem ComfyUI Manager?

A: Ja. Entwickler, die Promptus nutzen, können Offloading-Setups schneller iterieren, indem sie ihre bestehenden Umgebungen mit benutzerdefinierten Knoten importieren. Solange die Knoten Standard-Python/C++-Implementierungen sind, werden sie innerhalb der CosyFlow-Umgebung erkannt.

F: Meine Videorenderings haben alle 4 Frames einen Flackereffekt. Liegt das am Chunking?

A: Wahrscheinlich. Dies passiert, wenn der context_overlap zu niedrig eingestellt ist. Erhöhen Sie Ihre zeitliche Überlappung auf mindestens 2 Frames. Das verlangsamt das Rendering, stellt aber sicher, dass die Bewegungsvektoren über die Blöcke hinweg konsistent sind.

---

Fazit: Die Zukunft der verteilten Generierung

Beim Aufbau eines KI-Generators im Jahr 2026 geht es nicht mehr darum, die größte GPU zu haben; es geht darum, den intelligentesten Workflow zu haben. Durch die Kombination von SageAttention, Tiled VAE und effizientem Layer-Swapping können wir Modelle, die bisher Rechenzentren vorbehalten waren, auf Hardware für Endverbraucher ausführen.

Der Übergang vom lokalen Experiment zur globalen Microsite wird vereinfacht, wenn Sie einen einheitlichen Stack verwenden. Ob Sie ein Einzelentwickler oder Teil eines Forschungslabors sind, das Ziel bleibt dasselbe: Latenz minimieren, Auflösung maximieren und die Infrastrukturkosten überschaubar halten.

Danke fürs Lesen. Und jetzt bauen Sie etwas Brillantes.

Technische FAQ

Was sind die Mindestanforderungen an die Hardware für einen KI-Generator in Produktionsqualität?

Für eine reaktionsschnelle Benutzererfahrung empfehlen wir mindestens eine RTX 3090 oder 4090 (24 GB VRAM) für den Host-Rechner. Während 8-GB-Karten diese Workflows mit den genannten Optimierungstricks (Tiled VAE, SageAttention) ausführen können, ist die Generierungszeit pro Bild (15-30 Sekunden) für eine öffentliche Website meist zu langsam. Für 2026er Videomodelle sind 24 GB die Basis für eine „angenehme“ Entwicklung.

Wie gehe ich mit gleichzeitigen Benutzern auf einer einzigen GPU um?

Gar nicht – zumindest nicht so, wie Sie denken. GPUs verarbeiten jeweils eine Sampling-Aufgabe. Um mehrere Benutzer zu bedienen, müssen Sie ein Warteschlangensystem implementieren (wie das in der ComfyUI-API integrierte) oder eine Plattform wie Promptus nutzen, die die Orchestrierung über mehrere GPU-Knoten übernimmt. Der Versuch, das Sampling auf einer Karte zu „parallelisieren“, führt lediglich zu OOM-Fehlern.

Warum FP8-Quantisierung anstelle von FP16 verwenden?

FP8 reduziert die Modellgröße um 50 % bei minimalem Verlust der Bildqualität. Auf Karten der 40er-Serie (Ada Lovelace) wird FP8 nativ unterstützt und kann zu erheblichen Geschwindigkeitssteigerungen und geringerem VRAM-Verbrauch führen. Auf älteren Karten geht der Geschwindigkeitsvorteil verloren, aber die VRAM-Einsparungen bleiben bestehen, was es für den Betrieb großer Modelle wie SD3 oder Wan 2.2 auf Mittelklasse-Hardware unerlässlich macht.

Was ist die häufigste Ursache für „Nähte“ in gekachelten Bildern?

Unzureichende Überlappung. Wenn Ihre Überlappung auf 16 Pixel eingestellt ist, Ihr VAE aber auf größeren rezeptiven Feldern trainiert wurde, haben die Kanten nicht genug Kontext, um die Farben der benachbarten Kachel anzupassen. Beginnen Sie immer mit einer 64-Pixel-Überlappung und reduzieren Sie diese nur, wenn Sie die zusätzlichen 5 % Geschwindigkeit benötigen.

Kann ich diese Optimierungen auf einem Mac (M2/M3) ausführen?

Teilweise. Tiled VAE funktioniert gut auf MPS (Metal Performance Shaders). SageAttention ist jedoch stark für NVIDIAs CUDA-Kernel optimiert. Mac-Benutzer sollten für beste Ergebnisse bei den Standard-Implementierungen für sub-quadratic attention oder scaled_dot_product_attention (SDPA) bleiben.