Mentre le aziende valutano come implementare l'inferenza dell'intelligenza artificiale, sia nel cloud che nell'edge, l'impatto ambientale sta diventando una delle principali preoccupazioni. Spesso si parla di efficienza energetica, ma la sostenibilità va oltre le bollette dell'elettricità. Per valutare la reale impronta ambientale dell'edge computing rispetto al cloud computing, dobbiamo considerare tre fattori chiave: il consumo di energia, l'utilizzo di acqua e i rifiuti elettronici.
Sebbene l'inferenza basata sul cloud sia generalmente più efficiente per l'esecuzione di modelli generici di grandi dimensioni grazie alle economie di scala e all'ottimizzazione delle operazioni dei data center, questa è solo una parte della storia. L'inferenza edge comporta in genere modelli più piccoli e specifici per le attività da svolgere, distribuiti su un hardware adattato a carichi di lavoro ristretti. Ciò consente di ottenere calcoli altamente efficienti con un consumo energetico significativamente inferiore per ogni operazione.
Inoltre, il rapido ritmo dell'innovazione nell'IA di frontiera sta riducendo il divario di prestazioni con il cloud. I laptop e i desktop dotati di potente hardware ottimizzato per l'IA, come Qualcomm AI Engine, AMD Ryzen AI e GPU NVIDIA RTX, sono ora in grado di eseguire modelli linguistici di grandi dimensioni (LLM) in locale. HP, ad esempio, ha recentemente presentato una gamma di laptop AI, mini PC e workstation tower progettati per avvicinare le capacità LLM all'utente. Queste implementazioni locali possono ridurre la dipendenza dall'infrastruttura cloud, consentendo al contempo un'IA ad alte prestazioni sul dispositivo.
1. Consumo di energia
Perché l'energia è necessaria
L'esecuzione dell'inferenza dell'intelligenza artificiale consuma energia perché comporta lo spostamento e l'elaborazione di grandi volumi di dati. Ogni operazione, come la moltiplicazione dei pesi in una rete neurale o l'accesso alla memoria, richiede cambiamenti fisici nell'hardware, con conseguente generazione di calore.
L'energia richiesta aumenta in modo significativo con le dimensioni del modello e la lunghezza del contesto. Inoltre, mentre gli utenti medi possono inserire richieste brevi, le applicazioni aziendali spesso comportano documenti di più pagine o interazioni prolungate. Come ha recentemente osservato Sam Altman, un singolo prompt medio dell'intelligenza artificiale consuma già circa la stessa energia di una lampadina accesa per diversi minuti. Se si moltiplica questo dato per la complessità dei carichi di lavoro aziendali, la posta in gioco per l'ambiente aumenta rapidamente.
Efficienza computazionale e overhead
Mentre i costi energetici teorici per operazione di bit sono minimi, l'efficienza nel mondo reale dipende in larga misura dalla progettazione dell'hardware. Acceleratori specifici come Hailo, Blaize e Axelera sono in grado di eseguire l'inferenza con uno spreco minimo, soprattutto per modelli di piccole e medie dimensioni.
Nei data center, i costi energetici si accumulano. I valori di Power Usage Effectiveness (PUE) variano in genere da 1,1 a 1,5, il che significa che dal 10% al 30% dell'energia di una struttura viene consumata non per il calcolo, ma per il raffreddamento, la conversione di energia e altre spese generali. I dispositivi edge, invece, operano in ambienti più tolleranti e spesso rinunciano completamente al raffreddamento attivo.
Accesso alle energie rinnovabili
Molti fornitori di cloud alimentano i loro data center con quote elevate di energia rinnovabile. Iperscaler come Google, Microsoft e AWS dichiarano di utilizzare il 60-90% di energia rinnovabile, con l'impegno pubblico di raggiungere il 100% entro la fine del decennio.
Tuttavia, le installazioni edge non sono necessariamente svantaggiate. In Europa, ad esempio, il mix energetico locale in molte regioni include un'alta percentuale di energie rinnovabili, che a volte rivaleggia o supera quella dei grandi data center. I dispositivi AI edge che operano in questi ambienti possono quindi ottenere un'impronta di carbonio molto bassa.
2. Consumo di acqua
Il raffreddamento dell'hardware cloud ad alte prestazioni comporta spesso sistemi raffreddati ad acqua. Sebbene la maggior parte degli hyperscaler stia adottando progetti a circuito chiuso o raffreddati ad aria e punti a essere water-positive, l'utilizzo dell'acqua rimane attualmente un fattore non trascurabile.
I dispositivi edge, invece, richiedono raramente un raffreddamento attivo ed evitano completamente i problemi di utilizzo dell'acqua legati alle operazioni dei data center.
3. Rifiuti elettronici (E-Waste)
L'infrastruttura dei data center è costruita per durare nel tempo, con server che durano in genere dai 5 ai 7 anni. Tuttavia, la rapida evoluzione dell'hardware dell'intelligenza artificiale fa sì che molte GPU vengano aggiornate ogni 2 o 3 anni per sfruttare una maggiore efficienza energetica e prestazioni, creando rifiuti elettronici prima che i dispositivi raggiungano il loro termine di vita fisico.
L'edge computing utilizza spesso dispositivi di tipo consumer o embedded, che hanno una durata di vita paragonabile, di solito da 2 a 4 anni.
Conclusioni
L'Edge AI, con il suo ambito di applicazione più ristretto e i suoi modelli più specializzati, spesso esegue architetture da 10 a 100 volte più piccole di quelle utilizzate nel cloud. Con l'hardware moderno, come i chip AI di Hailo e AMD Ryzen AI, questi modelli possono essere eseguiti in modo efficiente con un overhead minimo e un consumo energetico significativamente inferiore.
L'inferenza nel cloud ha un ruolo per i carichi di lavoro generalizzati su larga scala. Ma comporta un maggiore dispendio energetico, requisiti di raffreddamento ad acqua e cicli di aggiornamento dell'hardware molto rapidi.
Se implementata in modo ponderato, e soprattutto in regioni con elettricità pulita, l'IA edge può offrire significativi vantaggi ambientali. Con la rapida evoluzione del mercato, grazie a offerte come la nuova linea di PC AI di HP, l'opportunità di ridurre l'impronta di carbonio dell'IA eseguendo i carichi di lavoro a livello locale sta diventando sempre più concreta.
L'edge computing è uno strumento potente per rendere l'intelligenza artificiale non solo più intelligente, ma anche più verde.
