Ny AI från Tencent skapar kompletta 3D-världar från bara en mening eller en bild- Data Shield

HunyuanWorld-1.0 – den första öppen källkod-baserade modellen som från enbart text eller en bild genererar fullständiga, genomspelbara 3D-världar i 360°.
Panoramabilder används som 360°-världs-proxyer för semantiskt medveten uppdelning och återuppbyggnad av scener.
Ramverket är öppet källkodat och baserat på Flux, med möjlighet att anpassas till andra bildgenereringsmodeller.

Tencent har nyligen släppt sin AI-modell för 3D-världsskapande som öppen källkod, kallad Hunyuan3D World Model 1.0. Denna modell är designad för att generera interaktiva 3D-världar direkt från antingen en bild eller en textbeskrivning.

Det här verktyget löser ett problem som både gameutvecklare och VR-skapare har kämpat med i åratal. Tidigare fanns det två huvudsakliga metoder för att skapa 3D-världar: antingen video-baserade metoder som saknade riktigt 3D-djup, eller 3D-baserade metoder som krävde enorma mängder data och minne.

Hur fungerar magin bakom kulisserna?

Processen är faktiskt ganska elegant när man förstår den. Istället för att försöka skapa en 3D-värld direkt, använder HunyuanWorld en smart strategi i flera steg:

Först skapar den en panoramabild som täcker hela 360-graders vyn från din text eller bild. Sedan analyserar ett smart AI-system denna panorama och delar upp den i olika lager – himmel, bakgrund, förgrund och objekt. Till sist konverteras varje lager till riktig 3D-geometri med djupkartor och texturer .

Hunyuan3D World Model-Användningsomraden

Det mest imponerande är att systemet automatiskt förstår vad som är vad i bilden. Det vet att himlen ska vara längst bort, att träd kan stå framför berg, och att stenar ligger på marken.

Så här kommer du igång

Det bästa med HunyuanWorld är att det är helt gratis och öppet. Du behöver bara lite teknisk kunskap för att sätta upp det på din dator. Projektets GitHub-sida på https://github.com/Tencent-Hunyuan/HunyuanWorld-1.0

Systemkrav: Du behöver Python 3.10, PyTorch 2.5.0 och helst en NVIDIA-grafikkort med CUDA-stöd.

Installation: Hela processen tar cirka 30 minuter och inkluderar att ladda ner projektets kod från GitHub, installera några hjälpverktyg för bildförbättring och segmentering, samt logga in på Hugging Face för att få tillgång till modellerna .

Användning: När allt är installerat är det faktiskt ganska enkelt. För att skapa en värld från text kör du bara två kommandon – ett för att generera panoraman och ett för att konvertera den till 3D.

Du kan också testa verktyget direkt i webbläsaren på Tencentss demo-sida: https://3d.hunyuan.tencent.com/sceneTo3D