Bild-zu-3D mit TRELLIS: 3D-Assets aus einem Prompt

TRELLIS ist ein generatives 3D-Modell, das ein Bild, mehrere Bilder oder einen Text-Prompt annimmt und ein 3D-Asset erzeugt.

🔸 Strukturierte Latents (SLAT). Die Kernidee ist ein einheitlicher Latent, der ein dünnbesetztes 3D-Voxelgitter für die Struktur mit dichten visuellen Merkmalen für das Aussehen verbindet. Form vom Look zu entkoppeln ist das, was denselben Latent zu verschiedenen Ausgaben werden lässt.
🔸 Drei Ausgaben aus einem Latent. Radiance Fields, 3D-Gaussians oder ein als GLB exportiertes Mesh. GLB ist das praktische Ziel, da es Materialien in Web- und AR-Viewer trägt.
🔸 Offen und MIT-lizenziert. Das Arbeitspferd für Bilder, TRELLIS-image-large, hat 1,2 Mrd. Parameter. Das Modell und der meiste Code sind MIT, was für den kommerziellen Einsatz zählt. Eine neuere 4B-Reihe fügt vollständige physikalisch basierte Materialien hinzu, sehenswert, während sie reift.
🔸 Im großen Maßstab trainiert. Rund 500.000 kuratierte Objekte, mit dem Paper als CVPR 2025 Spotlight.

Das steht neben dem parametrischen, steuerbaren Ende der 3D-Arbeit, das wir in Grasshopper für computergestütztes Design behandeln. Generatives 3D und parametrisches 3D lösen unterschiedliche Probleme.

Die Pipeline ist kurz zu beschreiben und nützlich zu verstehen, bevor Sie ihr eine GPU widmen.

1. Eingabe. Ein einzelnes Bild, mehrere Ansichten oder ein Text-Prompt.
2. Strukturierter Latent. Ein zweistufiger Rectified-Flow-Transformer erzeugt zuerst die dünnbesetzte Struktur und füllt dann die SLAT-Merkmale.
3. Dekodieren. Der Latent dekodiert zu Ihrem gewählten Format: Mesh, Gaussians oder Radiance Field.

In der Praxis planen Sie mit etwa 16 GB VRAM als Untergrenze, mit 24 GB komfortabel. Die Generierung läuft in unter zwei Minuten auf einer RTX 4090. Community-Builds drücken den Speicherbedarf weiter, was TRELLIS realistisch selbst hostbar macht statt gemietet. Für Teams, die bereits lokale gegen gehostete Inferenz abwägen, gilt derselbe Kompromiss, den wir in On-Premise gegen Cloud-LLM beschrieben haben, auch für generative Medien.

Die stärkste Passung ist der Anfang der Pipeline, wo Tempo über Feinschliff geht.

🔸 Ein Produktfoto oder Prompt zu einem GLB. Legen Sie es in einen three.js-Viewer oder einen Model-Viewer im Web, konvertieren Sie zu USDZ für AR oder stellen Sie es in eine Visualisierungsszene. Schnelles Concepting und Vorschauen sind, wo TRELLIS glänzt.
🔸 Lokales Bearbeiten. TRELLIS kann eine Region des Modells neu generieren oder verfeinern, was unter Ein-Bild-Generatoren selten ist.
🔸 Ehrlich zur Topologie. Die Ausgabe ist generative Geometrie, nicht künstlersauber. Erwarten Sie ungleichmäßige Dreiecke, keinen sauberen Edge-Flow und automatisch erzeugte UVs. Für Games oder Film werden Sie retopologisieren, neu UV-mappen und Texturen neu backen. Die neuere materialbewusste Reihe verkleinert diese Lücke, ohne sie zu schließen.

Der Werttest für ein gegebenes Asset ist also einfach: Muss es nächste Woche in einem Viewer richtig aussehen, oder muss es ein riggbares, optimiertes Game-Asset sein? TRELLIS ist beim Ersten hervorragend und ein Startpunkt für das Zweite.

Das offene und gehostete 3D-Feld bewegte sich schnell. Eine kurze Orientierung:

Wo TRELLIS steht: die stärkste wirklich MIT-lizenzierte Option mit Mehrformat-Ausgabe und lokalem Bearbeiten. Gehostete Werkzeuge wie Tripo und Rodin schlagen es bei sofort sauberer Topologie, und Hunyuan gewinnt oft bei der Textur, aber mit einer restriktiveren Lizenz. Wenn Ihre Anforderung ist, das Modell und die rechtlichen Bedingungen zu besitzen, ist TRELLIS der offensichtliche Startpunkt.

Ein paar Vorbehalte, die wir auf den Tisch legen, bevor jemand TRELLIS in die Produktion einbindet:

🔸 Topologie und UVs sind für Games oder CAD nicht einsatzfertig. Planen Sie Budget für Retopo ein.
🔸 CAD ist außerhalb des Rahmens. Generative Meshes sind keine parametrischen Solids, also keine Ingenieurgeometrie.
🔸 Das Eingaberisiko liegt bei Ihnen. Das Modell ist MIT, aber die rechtliche Exposition Ihres Eingabebilds oder Prompts ist Ihre. Füttern Sie keine Produktaufnahmen, die Sie nicht lizenzieren können.

Wir behandeln TRELLIS als Concepting- und Previz-Engine: einen Weg, ein glaubwürdiges 3D-Asset an einem Nachmittag vor einen Kunden zu bringen und dann zu entscheiden, was eine handgefertigte Pipeline verdient. Das ist derselbe Instinkt hinter wo die aktuelle Welle von KI-Videomodellen nützlich ist, und dieselbe Auswahldisziplin, die wir beim Wählen eines Bildmodells anwenden. Das Werkzeug ist nicht die Lieferung. Das Urteil, wo es passt, ist es.