Il fondatore di Clarity AI, philz1337x, ha sviluppato una versione video del suo Crystal Upscaler, un noto upscaler di immagini. Il nuovo strumento è in grado di portare video a bassa risoluzione fino alla qualità 4K utilizzando l’intelligenza artificiale.
Per creare l’upscaler video, philz1337x ha investito 500 dollari al mese nella piattaforma di coding IA Cursor, impiegando circa due mesi per finalizzare il progetto.
La versione video è un’evoluzione del Clarity Upscaler per le immagini. Questo modello sviluppato da Clarity AI interviene sulle immagini a bassa risoluzione cercando di ricostruire le informazioni mancanti attraverso reti neurali addestrate su diverse tipologie di contenuto visivo.
L’approccio si distingue dai metodi tradizionali di upscaling, che tendono a interpolare i pixel esistenti, introducendo artefatti o sfocature. In questo caso, l’architettura IA è progettata per dare priorità a bordi, texture, tonalità della pelle e leggibilità del testo.
Lavorare con i video introduce complessità crescenti rispetto alla gestione delle immagini fisse, in particolare per quanto riguarda frame rate, codec, audio, coerenza tra i fotogrammi e la dimensione dei file.
philz1337x ha dichiarato che esegue l’upscaling fotogramma per fotogramma con Crystal Image Upscaler, mostrando l’ultimo fotogramma per mantenere la coerenza.
Il prezziario è basato su una metrica combinata che considera risoluzione, durata e frame rate. Il costo base è di 0,10 dollari per megapixel al secondo, con un moltiplicatore applicato in base agli FPS del video.
Il parametro chiave è il numero di megapixel del frame finale, calcolato dalla risoluzione di output e moltiplicato per la durata del video in secondi. A questo valore si aggiunge un fattore correttivo in base al frame rate, organizzato in scaglioni da 30 FPS. Fino a 30 fotogrammi al secondo si applica un moltiplicatore pari a 1; fino a 60 FPS il moltiplicatore raddoppia, mentre fino a 90 FPS triplica.
Ad esempio, un video portato a una risoluzione di 2440 × 1440 pixel, pari a circa 3,5 megapixel, con una durata di 4 secondi e un frame rate di 30 FPS, viene calcolato moltiplicando 3,5 megapixel per 4 secondi, applicando il moltiplicatore 1 e il costo unitario di 0,10 dollari, per un prezzo finale di 1,40 dollari.
Può essere provato tramite Replicate, fal.ai e sul sito di Crystal AI, per il momento tramite API.
Dal VHS al 4K: l’IA di Crystal Upscaler rimette a nuovo i video in bassa risoluzione
Ricevi le nostre ultime notizie da Google News
clicca su SEGUICI, poi nella nuova schermata clicca sul pulsante con la stella.
