Van foto naar 3D-model in drie seconden: wat TRELLIS.2 wel en niet oplevert

Eén foto erin, een 3D-model eruit, in ongeveer drie seconden. TRELLIS.2 van Microsoft Research doet dat met 4 miljard parameters, staat onder MIT-licentie op GitHub en Hugging Face, en levert een .glb met complete PBR-materialen af. Voor wie print is er één zin in de documentatie die belangrijker is dan alle demo’s: de meshes zijn niet gegarandeerd waterdicht.

Wat het model precies maakt

Uitvoerformaten: GLB met PBR-texturen tot 4096 bij 4096 pixels, plus OBJ, PLY, radiance fields en 3D gaussians. Het model werkt met een voxelstructuur die Microsoft O-Voxel noemt, en dat is precies waarom het meer aankan dan de vorige generatie: open oppervlakken, non-manifold geometrie, doorzichtige delen. Glas, haar en stof zijn niet langer het punt waarop zo’n model stukloopt.

De regel voor wie print

Microsoft schrijft er zelf bij dat de ruwe meshes af en toe kleine gaten of onderbrekingen bevatten. Voor toepassingen die strikt waterdichte geometrie nodig hebben — en 3D-printen wordt letterlijk als voorbeeld genoemd — leveren ze scripts mee om die gaten te dichten.

Dat is de eerlijke versie van “ready for print”. Je slicer accepteert een mesh met gaten vaak wel, maar hij verzint dan zelf wat de binnenkant is. Dat zie je terug als plotselinge wanden, vreemde infill of een halve laag die ontbreekt. Je bewerkingsstap achteraf is dus geen luxe.

Er zit nog iets in. PBR-texturen zijn prachtig voor een render in Blender, Unity of Unreal, maar je printer doet er niets mee. Voor printwerk gaat het alleen om de geometrie, en die is bij een model uit één foto per definitie een gok over de achterkant.

Wat je nodig hebt om het te draaien

Een NVIDIA-kaart met minstens 24 GB geheugen. Getest op A100 en H100, alleen op Linux. CUDA Toolkit 12.4 aanbevolen, Python 3.8 of nieuwer, Conda voor de afhankelijkheden. Dat is geen laptopklus. Een uur op een gehuurde cloudkaart is de goedkoopste manier om te kijken of het je bevalt.

De volledige trainingscode staat er ook bij. Wie een eigen bibliotheek aan modellen heeft, kan er zijn eigen stijl in trainen. Voor de meeste mensen is dat niet de interessante kant; het feit dat de licentie MIT is en commercieel gebruik toestaat, is dat wel.

Wat ik zou doen

Fotografeer je object op een egale achtergrond. Eén foto is de hele invoer, dus alles wat het model niet ziet, verzint het. Vlak licht, geen harde schaduw, en het hele voorwerp in beeld met wat lucht eromheen.

Draai altijd de hole-filling-scripts voor je slicet. Ze staan in de repository. Sla die stap over en je slicer verzint zelf iets, en dat merk je pas bij laag 40.

Gebruik het voor vormen, niet voor maatvaste onderdelen. Een beeldje, een sokkel, een decoratief deksel: prima. Een klem die op een bestaande buis moet passen: meten en tekenen. Uit één foto komt geen millimeter.

Veelgestelde vragen

Kan ik dit zonder eigen GPU proberen?
Ja, via een gehuurde cloud-GPU of een Colab-notebook. Hugging Face verwijst er zelf naar. Rechtstreeks op je eigen laptop draaien lukt niet met 24 GB als eis.

Mag ik de modellen die eruit komen verkopen?
Het model staat onder MIT-licentie, wat commercieel gebruik toestaat. Let er wel op dat de foto die je erin stopt van jou is of dat je er rechten op hebt.

Is de schaal correct?
Nee. Uit een foto zonder referentie komt geen echte maat. Je moet in je slicer of in Blender zelf schalen naar iets wat je hebt opgemeten.

Wat is het verschil met de eerste TRELLIS?
De eerste versie werkte met iso-oppervlakken, die moeite hebben met open vormen en non-manifold geometrie. TRELLIS.2 gebruikt O-Voxel en kan daardoor ook transparantie en scherpe randen aan.

Bronnen

• microsoft/TRELLIS.2-4B — modelkaart op Hugging Face
• microsoft/TRELLIS.2 — repository met code en scripts
• Het onderliggende paper