Contenuto

• Come funzionano le reti neurali
• Reti neurali all'interno del tuo smartphone
• L'intelligenza artificiale potrebbe plasmare il futuro della fotografia

Oltre alla fotografia di calcolo, all'hardware della fotocamera di alta qualità e ai processori di segnali di immagine, la fotografia mobile all'avanguardia è sempre più alimentata da algoritmi di apprendimento automatico, noti anche come intelligenza artificiale (AI). Questa tecnica fotografica promette di migliorare la qualità nella spinta verso la qualità simile alla DSLR offrendo al contempo nuovi modi creativi per scattare e modificare immagini e video.

La chiave dell'apprendimento automatico è l'uso delle reti neurali. Questo è un tipo di algoritmo che viene spesso paragonato al cervello umano. Questo confronto è tratto dalla capacità di una rete neurale di essere addestrato, attraverso l'uso dei dati, a riconoscere schemi, permettendogli di fare classificazioni altamente accurate per tipi di dati complessi come audio e immagini.

Quando si tratta di fotografia, la capacità di osservare, apprendere, generare e classificare ha una vasta gamma di applicazioni. Queste applicazioni possono includere funzionalità come il potenziamento delle tecniche di fotografia computazionale per migliorare gli algoritmi di post-elaborazione, il bokeh del software in tempo reale con video 4K o addirittura lo scambio completo dei colori degli abiti che indossi.

Come funzionano le reti neurali

Le reti neurali sono un argomento estremamente complesso, quindi tratteremo solo le basi qui. Per una lettura più avanzata, consulta le guide qui e qui.

Le reti neurali sono costituite da nodi, che è un significante per il calcolo. Ogni nodo combina un input con un peso che amplifica o attenua il significato di quel particolare nodo. Numerosi nodi lavorano spesso in parallelo, creando uno strato di nodi che esegue un'attività più ampia. Questo potrebbe essere il rilevamento di funzionalità all'interno di un'immagine, ad esempio. Più nodi e livelli possono essere sommati e passati ad altri nodi e livelli, formando una rete più profonda con capacità più potenti.

L'output di ciascun nodo e layer viene ridimensionato come una funzione di probabilità. Osservando molte caratteristiche e attributi diversi, una rete neurale può valutare l'input come una corrispondenza di probabilità rispetto a tutti i potenziali output previsti. Ecco come gli algoritmi di rilevamento delle immagini decidono se un'immagine assomiglia di più a un gatto o a un'arancia, ma devi dirgli cosa cercare prima.

Le reti neurali non sono programmate come gli algoritmi di computer tradizionali. Invece, vengono addestrati su set di dati, come immagini, file audio, ecc. I pesi di ciascun nodo vengono regolati gradualmente nel tempo tramite un loop di feedback, in base alla capacità della rete di abbinare gli ingressi alle uscite corrette. Questo “apprendimento” graduale delle regole richiede una preparazione, un tempo e una potenza di calcolo considerevoli, ma produce risultati straordinariamente accurati.

Reti neurali all'interno del tuo smartphone

Le reti neurali possono funzionare su una varietà di componenti hardware, incluse le parti CPU e GPU comuni all'interno di una gamma di dispositivi di elaborazione, incluso lo smartphone. Tuttavia, alcune reti neurali possono richiedere una potenza di elaborazione maggiore rispetto a quella fornita da questi componenti hardware e hardware dedicato può fornire l'elaborazione ottimale necessaria.

All'interno della piattaforma mobile Qualcomm® Snapdragon ™ 855, ad esempio, troverai l'ultimo processore di segnale digitale (DSP) Qualcomm® Hexagon ™ 690, che vanta unità di elaborazione vettoriale migliorate e un nuovo acceleratore tensore specifico per le attività di apprendimento automatico. Altre piattaforme mobili Snapdragon dispongono anche del componente DSP Hexagon, con capacità variabili. Detto questo, le reti neurali non si limitano alla sola esecuzione sul DSP su Snapdragon e altre piattaforme mobili. Il tipo di processore utilizzato dipende dal carico di lavoro.

Miglioramenti dell'apprendimento automatico Qualcomm Snapdragon 855 rispetto alla generazione precedente

Qualcomm Technologies apre le sue funzionalità DSP e machine learning a sviluppatori di terze parti tramite il suo SDK di elaborazione neurale Qualcomm®. Ciò consente alle app di eseguire reti neurali su qualsiasi core hardware all'interno di una piattaforma mobile Snapdragon. Ad esempio, gli smartphone Google Pixel sfruttano il DSP Hexagon e il suo Visual Core per accelerare la sua impressionante funzione di fotografia HDR +. Qualcomm Technologies lavora con fornitori di software come Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho e altri, supportando funzionalità che vanno dal video bokeh alla creazione di avatar utilizzando l'apprendimento automatico in esecuzione sul DSP.

L'intelligenza artificiale potrebbe plasmare il futuro della fotografia

Ora sappiamo come funzionano le reti neurali, la domanda importante è cosa potrebbe fare per noi e le nostre fotografie?

Le reti neurali sono utilizzate per migliorare una gamma di algoritmi fotografici comuni. Il rumore, ad esempio, potrebbe essere migliorato con l'allenamento per offrire una pulizia dell'immagine superiore su misura per la fotocamera o il tipo di scatto specifici. Allo stesso modo, per la scarsa luminosità, una rete neurale potrebbe rilevare parti chiare e scure dell'immagine, consentendo miglioramenti di luce e colore in parti specifiche della scena.

Casi d'uso più avanzati sono sempre più comuni nella fotografia di smartphone. Gli zoom a super risoluzione utilizzano reti neurali per combinare più immagini in un unico scatto ad alta risoluzione per uno zoom digitale dall'aspetto superiore. Le reti neurali potrebbero anche essere addestrate per unire accuratamente più esposizioni fotografiche insieme per riprese HDR e notturne ottimizzate.

La fotografia AI potrebbe includere zoom ad altissima risoluzione, bokeh in tempo reale e qualità dell'immagine migliorata.

Anche i video potrebbero trarre vantaggio dall'adozione di questa tecnologia. Il rilevamento di oggetti in tempo reale è progettato per consentire alle app di introdurre effetti bokeh software direttamente nel video durante la registrazione. Tecniche simili supportano anche lo scambio e la rimozione di oggetti in tempo reale. Ciò include la sostituzione dello sfondo in un video, la modifica o la rimozione dei colori e persino la sostituzione di capi di abbigliamento o la sovrapposizione di avatar digitali direttamente nel video.

La potenza delle reti neurali e della fotografia AI va dai miglioramenti della qualità per aiutare a colmare il divario sulla DSLR a potenti strumenti di creatività che aiutano a produrre contenuti unici in un gioco da ragazzi. In entrambi i casi, è una tecnologia potente che è fondamentale per i futuri miglioramenti diretti alla fotografia mobile.

Il prossimo: Omaggio internazionale di Google Pixel 3 XL!

Contenuto sponsorizzato da Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine e Qualcomm Kryo sono prodotti di Qualcomm Technologies, Inc. e / o delle sue consociate.