Probeer OpenAI Sora

Video maken van tekst/afbeelding, loopvideo genereren, video vooruit en achteruit verlengen

Wees de eerste die weet wanneer Sora live is!

Sora is een AI-model ontwikkeld door OpenAI dat realistische en fantasierijke videoscènes kan creëren op basis van tekstinstructies. Het is ontworpen om de fysieke wereld in beweging te simuleren, video's te genereren tot een minuut lang met behoud van visuele kwaliteit en het volgen van de instructies van de gebruiker.

Sora is een diffusiemodel dat begint met een video die lijkt op statische ruis en deze geleidelijk transformeert door de ruis in veel stappen te verwijderen. Het maakt gebruik van een transformer-architectuur, vergelijkbaar met GPT-modellen, en vertegenwoordigt video's en afbeeldingen als verzamelingen van kleinere gegevenseenheden die patches worden genoemd.

Sora kan een breed scala aan video's genereren, waaronder complexe scènes met meerdere personages, specifieke soorten beweging en nauwkeurige details van onderwerpen en achtergronden. Het kan ook een bestaande stilstaande afbeelding animeren of een bestaande video verlengen door ontbrekende frames in te vullen.

Sora kan moeite hebben met het nauwkeurig simuleren van de natuurkunde van complexe scènes, het begrijpen van specifieke gevallen van oorzaak en gevolg, en het behouden van ruimtelijke details in de loop van de tijd. Het kan soms fysiek onwaarschijnlijke bewegingen creëren of ruimtelijke details door elkaar halen.

OpenAI werkt samen met rode teamleden om het model op een vijandige manier te testen en bouwt tools om misleidende inhoud te detecteren. Ze zijn van plan om in de toekomst C2PA-metadata op te nemen en maken gebruik van bestaande veiligheidsmethoden van hun andere producten, zoals tekstclassificatoren en beeldclassificatoren.

Sora is momenteel beschikbaar voor rode teamers om kritieke gebieden te beoordelen op schade of risico's en voor visuele kunstenaars, ontwerpers en filmmakers voor feedback over hoe het model voor creatieve professionals kan worden verbeterd.

Als u een creatieve professional bent, kunt u toegang aanvragen tot Sora via OpenAI. Eenmaal toegang verleend, kunt u het model gebruiken om video's te genereren op basis van uw tekst prompts, waardoor uw creatieve projecten worden verrijkt met unieke en fantasierijke scènes.

Sora dient als basis voor modellen die de echte wereld kunnen begrijpen en simuleren, waarvan OpenAI gelooft dat het een belangrijke mijlpaal is in de richting van het bereiken van Kunstmatige Algemene Intelligentie (AGI).

Sora heeft een diepgaand begrip van taal, waardoor het tekstprompt nauwkeurig kan interpreteren en boeiende personages en scènes kan genereren die levendige emoties uitdrukken. Het kan meerdere shots creëren binnen een enkele video, terwijl het consistente personages en visuele stijl behoudt.

Sora gebruikt een transformer-architectuur, vergelijkbaar met GPT-modellen, en vertegenwoordigt video's en afbeeldingen als verzamelingen van kleinere eenheden data genaamd patches. Deze unificatie van data representatie maakt het mogelijk dat het model wordt getraind op een breder scala aan visuele data.

Door het model vooruitzicht te geven van vele frames tegelijk, kan Sora ervoor zorgen dat onderwerpen consistent blijven, zelfs wanneer ze tijdelijk uit het zicht verdwijnen.

Sora gebruikt de onderschriften techniek van DALL·E 3, die inhoudt dat er zeer gedetailleerde onderschriften worden gegenereerd voor de visuele trainingsgegevens. Dit helpt het model om de tekstinstructies van de gebruiker trouwer te volgen in de gegenereerde video's.

OpenAI is van plan om verschillende veiligheidsmaatregelen te nemen voordat Sora wordt geïntegreerd in haar producten, waaronder adversariële tests, het ontwikkelen van detectieclassificatoren en het benutten van bestaande veiligheidsmethoden van andere producten zoals DALL·E 3.

Sora kan worden gebruikt door filmmakers, animators, gameontwikkelaars en andere creatieve professionals om videomateriaal, storyboards te genereren, of zelfs om ideeën snel en efficiënt te prototypen.

OpenAI is actief betrokken bij beleidsmakers, opvoeders en kunstenaars om zorgen te begrijpen en positieve gebruiksmogelijkheden voor de technologie te identificeren. Ze erkennen dat ze niet alle voordelige toepassingen of misbruiken kunnen voorspellen, maar dat leren van het gebruik in de echte wereld cruciaal is voor het creëren van veiligere AI-systemen in de loop van de tijd.

OpenAI heeft tekstclassificatoren die tekstinvoer prompts controleren en afwijzen die in strijd zijn met het gebruik van beleid, zoals die welke vragen om extreme geweld, seksuele inhoud, haatdragende beelden of ongeoorloofd gebruik van intellectueel eigendom.

Een 'wereldmodel' in AI verwijst naar een computationeel model dat de fysieke wereld en haar dynamiek simuleert, waardoor de AI kan begrijpen en voorspellen hoe objecten en entiteiten binnenin ermee interageren. In de context van Sora betekent dit dat het model is getraind om video's te genereren die niet alleen tekstuele aanwijzingen volgen, maar ook voldoen aan de fysische wetten en gedragingen van de echte wereld, zoals zwaartekracht, beweging en objectinteracties. Deze mogelijkheid is cruciaal voor het creëren van realistische en coherente videomateriaal uit tekstuele beschrijvingen.