Försök OpenAI Sora

Skapa video från text/bild, generera loopvideo, förlänga video framåt och bakåt

Var den första att veta när Sora är live!

Sora är en AI-modell utvecklad av OpenAI som kan skapa realistiska och fantasifulla videosekvenser från textinstruktioner. Den är utformad för att simulera den fysiska världen i rörelse, generera videor upp till en minut långa samtidigt som den bibehåller visuell kvalitet och följer användarens instruktioner.

Sora är en diffusionsmodell som börjar med en video som liknar statiskt brus och gradvis omvandlar den genom att ta bort bruset över många steg. Den använder en transformerarkitektur, liknande GPT-modeller, och representerar videor och bilder som samlingar av mindre dataenheter som kallas patchar.

Sora kan generera ett brett utbud av videor, inklusive komplexa scener med flera karaktärer, specifika typer av rörelser och exakta detaljer av ämnen och bakgrunder. Den kan också ta en befintlig stillbild och animera den, eller förlänga en befintlig video genom att fylla i saknade ramar.

Sora kan ha svårt att noggrant simulera fysiken i komplexa scener, förstå specifika fall av orsak och verkan, och behålla spatiala detaljer över tid. Det kan ibland skapa fysiskt osannolik rörelse eller blanda ihop spatiala detaljer.

OpenAI samarbetar med röda team för att adversarially testa modellen och bygger verktyg för att upptäcka vilseledande innehåll. De planerar att inkludera C2PA-metadata i framtiden och utnyttjar befintliga säkerhetsmetoder från sina andra produkter, såsom textklassificerare och bildklassificerare.

Sora är för närvarande tillgänglig för röda team för att bedöma kritiska områden för skador eller risker och för visuella konstnärer, designers och filmmakare för feedback om hur man kan främja modellen för kreativa yrkesverksamma.

Om du är en kreativ professionell kan du ansöka om tillgång till Sora genom OpenAI. När tillgång beviljats kan du använda modellen för att generera videor baserat på dina textprompter, förbättra dina kreativa projekt med unika och fantasifulla scener.

Sora fungerar som en grund för modeller som kan förstå och simulera den verkliga världen, vilket OpenAI anser är en viktig milstolpe mot att uppnå Artificiell Allmän Intelligens (AGI).

Sora har en djup förståelse för språk, vilket gör att den kan tolka textmeddelanden noggrant och skapa övertygande karaktärer och scener som uttrycker livliga känslor. Den kan skapa flera bilder inom en enda video samtidigt som den behåller konsekventa karaktärer och visuell stil.

Sora använder en transformerarkitektur, liknande GPT-modeller, och representerar videor och bilder som samlingar av mindre enheter av data som kallas patchar. Denna enhetliga datarepresentation gör att modellen kan tränas på ett bredare utbud av visuell data.

Genom att ge modellen förmåga att se flera ramar samtidigt kan Sora se till att ämnena förblir konsekventa även när de tillfälligt försvinner ur sikte.

Sora använder recaptioning-tekniken från DALL·E 3, vilket innebär att generera mycket beskrivande bildtexter för den visuella träningsdatan. Detta hjälper modellen att följa användarens textinstruktioner mer troget i de genererade videorna.

OpenAI planerar att vidta flera säkerhetsåtgärder innan man integrerar Sora i sina produkter, inklusive adversarial testning, utveckling av detektionsklassificerare och utnyttjande av befintliga säkerhetsmetoder från andra produkter som DALL·E 3.

Sora kan användas av filmmakare, animatörer, spelutvecklare och andra kreativa yrkesverksamma för att skapa videomaterial, storyboards eller till och med för att prototypa idéer snabbt och effektivt.

OpenAI samarbetar aktivt med beslutsfattare, pedagoger och konstnärer för att förstå bekymmer och identifiera positiva användningsfall för teknologin. De erkänner att även om de inte kan förutse alla fördelaktiga användningsområden eller missbruk, är det avgörande att lära sig av verklig användning för att skapa säkrare AI-system över tiden.

OpenAI har textklassificerare som kontrollerar och avvisar textinmatningsförslag som bryter mot användningspolicyer, såsom de som begär extremt våld, sexuellt innehåll, hatfulla bilder eller obehörig användning av immateriell egendom.

En 'världsmodell' inom AI syftar till en beräkningsmodell som simulerar den fysiska världen och dess dynamik, vilket gör det möjligt för AI att förstå och förutsäga hur objekt och enheter interagerar inom den. I Sora-sammanhanget innebär detta att modellen har tränats för att generera videor som inte bara följer textuella ledtrådar utan också följer de fysiska lagarna och beteendena i den verkliga världen, såsom tyngdkraft, rörelse och objektinteraktioner. Denna förmåga är avgörande för att skapa realistiskt och sammanhängande videoinnehåll från textbeskrivningar.