Sora: come funziona il nuovo tool video di OpenAI

Sora si pone come una rivoluzione nel mondo della produzione video, promettendo risultati paragonabili a quelli cinematografici senza la necessità di una formazione specifica in regia. Al momento, Sora rappresenta un progetto sperimentale e sarà accessibile inizialmente solo a un ristretto gruppo di creatori e specialisti nella sicurezza informatica, incaricati di esplorarne i potenziali rischi.

OpenAI prevede di rendere questa innovativa applicazione disponibile a tutti gli appassionati di cinema in un futuro non ancora definito, ma ha scelto di offrire un’anteprima esclusiva. Scopriamo insieme nel nostro blog come Sora promette di trasformare chiunque in un regista di talento, con dettagli sul suo sviluppo e le aspettative per il suo lancio.

Molti player nel settore tecnologico, dai colossi come Google alle emergenti startup come Runway, hanno introdotto innovazioni nel campo dell’intelligenza artificiale capace di convertire il testo in video, permettendo di creare clip basate su descrizioni scritte fornite dagli utenti.

Tuttavia, OpenAI sostiene che Sora si eleva al di sopra delle soluzioni concorrenti grazie al suo eccezionale realismo fotorealista.

Cosa è Sora

Sora è il nuovo tool di OpenAI che offre la possibilità di creare video dettagliati partendo da una descrizione testuale fornita dall’utente sfruttando l’abilità di un avanzato modello di intelligenza artificiale per realizzare le scene con estrema precisione.

Questo sistema si avvale di reti neurali sofisticate per produrre sequenze video che non solo rispettano la coerenza narrativa, ma arricchiscono il racconto con un’ampia gamma di dettagli, dalle espressioni facciali dei personaggi fino a un’accurata rappresentazione delle leggi fisiche, assicurando che ogni elemento presente sullo schermo sia integrato in modo naturale nel contesto immaginato.

Grazie a queste tecnologie, è possibile dirigere i personaggi affinché agiscano e interagiscano con l’ambiente circostante in maniera credibile e il più realisticamente possibile.

Questa capacità deriva dalla profonda comprensione del linguaggio naturale da parte del modello AI, che permette di decifrare e attuare quasi ogni istruzione fornita dall’utente nel modo più fedele possibile.

Per di più, Sora non richiede istruzioni dettagliate frame per frame; partendo da un briefing generale, è capace di garantire continuità e coerenza all’interno del video, adattando dinamicamente i movimenti.

Tuttavia, il sistema non è esente da imperfezioni e, in alcune circostanze, potrebbe non interpretare correttamente le istruzioni, generando errori o incongruenze. Ciononostante, le capacità di Sora continuano a migliorare significativamente, rendendolo progressivamente più preciso e affidabile.

Le novità di Sora

Sora è capace di creare sequenze video e grafiche abbracciando una vasta gamma di durate, proporzioni e risoluzioni diverse, estendendosi fino a video di 60 secondi in qualità HD.

Variazioni in termini di durate, risoluzioni e proporzioni

Metodi tradizionali di creazione di immagini e video spesso modificano i contenuti originali per adattarli a standard fissi, come clip di 4 secondi a una risoluzione di 256×256 pixel. Sora, invece, ritiene che lavorare i dati nelle loro dimensioni originali porta a benefici significativi.

Versatilità nella selezione dei formati

Il sistema Sora ha la capacità di elaborare video in formati diversi, inclusi widescreen 1920x1080p e verticali 1080×1920, tra gli altri. Questo permette a Sora di produrre contenuti su misura per vari dispositivi mantenendo le proporzioni originali. Offre anche la possibilità di sviluppare prototipi a risoluzione ridotta in modo efficiente, per poi realizzarli nella loro qualità massima, utilizzando lo stesso sistema.

Miglioramento dell’inquadratura e della composizione

Si è osservato che la formazione di modelli su video mantenendo le loro dimensioni originali porta a un netto miglioramento nella struttura delle immagini e nella loro inquadratura. Quando si mette a confronto il sistema Sora con una versione precedente che adatta i video a un formato quadrato, una tecnica abbastanza diffusa nella preparazione di modelli di intelligenza artificiale, si notano differenze significative.

La versione che lavora con video quadrati tende, in alcuni casi, a produrre risultati in cui il soggetto principale del video non è completamente visibile. Al contrario, i video prodotti da Sora mostrano una qualità di inquadratura decisamente superiore.

Questo confronto evidenzia come l’uso delle proporzioni originali dei video possa influenzare positivamente la qualità visiva finale, rendendo i contenuti più coerenti e gradevoli alla vista, anche per chi non è esperto nel campo dell’intelligenza artificiale.

Interpretazione avanzata del linguaggio nei video

Per sviluppare sistemi capaci di integrare testo nei video, è essenziale disporre di una vasta collezione di video accompagnati da didascalie. Utilizzando un metodo simile a quello introdotto con DALL·E 3, si inizia formando un modello su didascalie particolarmente dettagliate, per poi impiegarlo nella generazione di testi descrittivi per l’intero archivio di video utilizzato nella fase di addestramento. Si ritiene che lavorare con didascalie dettagliate possa notevolmente migliorare la precisione del testo e, di conseguenza, la qualità generale dei video.

In modo analogo a quanto fatto con DALL·E 3, si utilizza anche la tecnologia GPT per elaborare le richieste concise degli utenti, trasformandole in descrizioni più complesse che vengono poi fornite al sistema di generazione video.

Questo processo permette al sistema Sora di creare video di alta qualità che rispecchiano fedelmente le direttive ricevute dagli utenti, rendendo l’interazione con la piattaforma intuitiva e accessibile anche a chi non possiede conoscenze specifiche nel campo dell’intelligenza artificiale.

Come funziona Sora

Sora può essere sollecitata anche da altri tipi di input, inclusi immagini o video già esistenti, ampliando notevolmente le sue capacità di modifica. Questa caratteristica gli permette di svolgere una vasta gamma di operazioni di editing, come la creazione di video in loop infinito, l’animazione di immagini statiche, sequenze video sia in avanti che all’indietro nel tempo, e molto altro.

Come funziona e cosa è in grado di fare Sora? Guarda subito il video

• Capacità di rappresentare esseri umani durante l’utilizzo di oggetti per qualsiasi scopo.
• Montaggio da video a video: utilizza tecniche avanzate per modificare stili e ambientazioni dei video in ingresso, trasformando completamente l’aspetto senza necessità di riprese aggiuntive. Un esempio di questi strumenti, SDEdit, viene utilizzato con Sora. Questo metodo permette a Sora di cambiare stili e scenari nei video forniti, applicando modifiche dirette senza la necessità di esempi pregressi, in una modalità definita zero-shot.
• Animazione di immagini: Sora può generare video partendo da un’immagine di DALL·E e un prompt testuale come input. Oltre ai video, è capace di produrre immagini di alta qualità e risoluzione, fino a 2048×2048 pixel. Leggi l’articolo per sapere come realizzare prompt efficaci con ChatGPT di OpenAI.
• Collegamento di video: crea transizioni fluide tra due video con soggetti e scene completamente diversi, interpolando gradualmente tra di loro. Questo processo tra due clip video consente la creazione di contenuti visivi fluidi e coerenti, nonostante le differenze iniziali tra i materiali sorgente. Queste funzionalità evidenziano la versatilità e l’innovazione di Sora nel campo della generazione di contenuti video, rendendolo uno strumento prezioso e accessibile anche per coloro che non sono esperti di intelligenza artificiale. Tale metodo può essere utilizzato per estendere un video sia in avanti che indietro, creando un loop continuo senza interruzioni.

Funzionalità di simulazione emergenti

I modelli video sviluppano una gamma di capacità sorprendenti quando vengono addestrati su vasta scala. Queste abilità permettono a Sora di riprodurre certi aspetti delle persone, degli animali e degli ambienti del mondo reale. Tali caratteristiche si manifestano senza che vi sia stata un’intenzione specifica di incorporare conoscenze preesistenti su concetti tridimensionali, oggetti e simili: emergono semplicemente come risultato dell’ampiezza della formazione.

Questo contesto prepara il terreno per un elenco di funzionalità che emergono da tale processo:

• Consistenza 3D: genera video con movimenti di camera dinamici, mantenendo la coerenza spaziale degli elementi. Man mano che la camera si muove e gira, le persone e gli oggetti presenti nella scena interagiscono in maniera armoniosa all’interno dello spazio tridimensionale.
• Interazione con il mondo: in alcune circostanze, Sora ha la capacità di riprodurre comportamenti che riguardano il mondo circostante. Per esempio, è possibile che un artista lasci delle pennellate su una tela che rimangono visibili nel corso del tempo, o che una persona mangi un panino lasciando evidenti i segni dei morsi.
• Simulazione di mondi digitali: capace di replicare ricreare ambienti e processi digitali, come quelli presenti nei videogiochi. Un caso illustrativo è la sua abilità di gestire un personaggio in Minecraft seguendo strategie di base, mentre simultaneamente riproduce l’ambiente di gioco e le sue meccaniche con grande precisione. Queste capacità emergono automaticamente quando si forniscono a Sora istruzioni che includono riferimenti a “Minecraft”.
• Mantiene la coerenza temporale di persone, animali e oggetti, anche attraverso l’occlusione o il movimento fuori dall’inquadratura. Da sempre un ostacolo notevole per i meccanismi di creazione di video è stato assicurare una continuità temporale nei video di lunga durata. Si è notato che Sora riesce, sebbene non costantemente, a rappresentare in modo efficace le relazioni temporali sia immediate che prolungate. Per esempio, il modello in questione ha la capacità di mantenere la presenza di persone, animali e oggetti anche quando questi non sono visibili o si muovono fuori campo. In maniera simile, è in grado di visualizzare più scene con lo stesso soggetto all’interno di un singolo video, conservando la sua identità visiva per l’intera durata del filmato.

Tali competenze indicano che l’espansione progressiva dei modelli video è una via promettente per elaborare simulatori avanzati, in grado di riflettere accuratamente sia il mondo reale che quello virtuale (compresi gli oggetti, gli animali e gli esseri umani che vi risiedono).

Misure di sicurezza introdotte da OpenAI

Prima di integrare Sora nei suoi prodotti, OpenAI implementerà varie misure di sicurezza essenziali. L’organizzazione collabora con specialisti, noti come red teamer, che possiedono competenze in settori critici quali la disinformazione, i contenuti d’odio e i pregiudizi. Questi esperti sottoporranno il modello a test rigorosi per valutarne le vulnerabilità.

In aggiunta, OpenAI sta sviluppando strumenti specifici per identificare i contenuti ingannevoli, tra cui un sistema di classificazione capace di determinare se un video è stato prodotto da Sora.

Per esempio, una volta che Sora sarà operativo all’interno di un’applicazione OpenAI, un sistema di classificazione dedicato al testo esaminerà e bloccherà le richieste di testo che contravvengono alle linee guida stabilite dall’organizzazione, incluse quelle che promuovono violenza estrema, contenuti sessuali, incitamento all’odio, somiglianza di celebrità o la violazione di diritti di proprietà intellettuale. OpenAI ha inoltre messo a punto avanzati sistemi di classificazione per le immagini, destinati a controllare ogni frame dei video generati per assicurarsi che rispettino le politiche di utilizzo prima di essere presentati agli utenti.

Alcune criticità di Sora da migliorare

Il modello, nella sua forma attuale, mostra alcune limitazioni. Potrebbe non gestire con precisione la fisica di scene complesse, come la rottura del vetro, o non interpretare correttamente alcune sequenze di causa ed effetto. Un esempio potrebbe essere un individuo che morde un biscotto senza che questo mostri il segno del morso successivo.

Il modello può anche confondere gli aspetti spaziali di un comando, come invertire la destra con la sinistra, e incontrare ostacoli nel gestire descrizioni dettagliate di eventi che si svolgono nel tempo, ad esempio nel seguire un movimento specifico della camera.

Esempio di video generato con Sora

Ci siamo avventurati con entusiasmo nell’immenso universo di Sora, esplorando le sue capacità e sperimentando con le funzionalità di intelligenza artificiale. Vi mettiamo un mix di video che Sam Altman ha postato su X con prompt richiesti dagli utenti.