L'entusiasmo per l'intelligenza artificiale farà salire alle stelle i prezzi delle GPU per data center

Mar 06, 2023

AGGIORNATOCome molti costruttori di sistemi HPC e AI, siamo impazienti di vedere come potrebbe apparire il sistema ibrido CPU-GPU su chip "Antares" Instinct MI300A di AMD in termini di prestazioni e prezzo.

E con la conferenza sui supercalcoli ISC 2023 che si terrà tra poche settimane, e Bronis de Supinski, direttore tecnologico del Lawrence Livermore National Laboratory, terrà un discorso all'evento sul futuro sistema esascala "El Capitan" che sarà la macchina di punta per la variante MI300A delle GPU Antares, è nei nostri pensieri.

Quindi, solo per divertimento, abbiamo tirato fuori il foglio di calcolo Excel di fiducia e abbiamo provato a stimare quali potrebbero essere i feed e le velocità delle GPU MI300 e MI300A, l'ultima delle quali sarà il cuore del sistema El Capitan. Sì, forse è una follia, considerando che AMD probabilmente parlerà un po' di più della serie di GPU MI300 all'ISC 2023 e oltre, e alla fine sapremo esattamente come è architettato questo motore di calcolo. Ma un bel po' di persone continuano a chiederci se la serie MI300 può essere competitiva con gli acceleratori GPU Nvidia "Hopper" H100 e, forse ancora più importante, competitiva con la combinazione della CPU Arm "Grace" a 72 core fissata saldamente all'Hopper. La GPU H100 creerà un complesso combinato CPU-GPU ibrido Grace-Hopper che andrà in punta di piedi con l'MI300A che verrà distribuito su El Capitan e, riteniamo, altre macchine ibride CPU-GPU che eseguono carichi di lavoro HPC e AI fianco a fianco.

E considerando l'intensa domanda di elaborazione GPU, guidata da un'esplosione della formazione AI per applicazioni di intelligenza artificiale generativa basate su modelli linguistici di grandi dimensioni, e il desiderio di AMD di avere un ruolo maggiore nella formazione AI con le sue GPU, riteniamo che la domanda supererà quella di Nvidia. fornitura, il che significa che, nonostante l'enorme vantaggio che lo stack software AI di Nvidia ha rispetto ad AMD, le GPU di quest'ultima otterranno alcune vittorie nella fornitura di AI. Le GPU "Aldebaran" precedenti hanno già ottenuto alcuni successi impressionanti nella progettazione HPC per AMD, in particolare nel sistema exascale "Frontier" presso l'Oak Ridge National Laboratory, con quattro di queste GPU dual-chip collegate a una CPU Epyc "Trento" personalizzata per creare una motore di calcolo ibrido più liberamente accoppiato. (Ce ne sono altri.) E pensiamo che l'intensa domanda di GPU Nvidia per carichi di lavoro AI lascerà effettivamente un'apertura ad AMD per vincere alcuni accordi poiché la domanda supera l'offerta.

Oggi le persone non saranno più pazienti nell’aggiungere l’intelligenza artificiale generativa ai propri carichi di lavoro di quanto lo fossero alla fine degli anni ’90 e all’inizio degli anni 2000 per aggiungere infrastrutture Web per modernizzare le proprie applicazioni per distribuire interfacce su Internet. La differenza questa volta è che il data center non si sta trasformando in un substrato di elaborazione X86 per scopi generici, ma piuttosto sta diventando sempre più un ecosistema di architetture concorrenti e complementari intrecciate insieme per fornire il miglior rapporto qualità-prezzo possibile. attraverso una più ampia varietà di carichi di lavoro.

Non sappiamo ancora molto della serie MI300, ma a gennaio AMD ha parlato un po' dei dispositivi, di cui abbiamo parlato qui. Abbiamo un'immagine di uno dei dispositivi e sappiamo che uno di essi avrà prestazioni AI 8 volte superiori e prestazioni AI per watt 5 volte superiori rispetto all'attuale acceleratore GPU MI250X utilizzato nel sistema Frontier. Sappiamo che uno della serie MI300 ha 146 miliardi di transistor distribuiti sui suoi nove chiplet. Riteniamo che una grossa fetta di quel numero di transistor sia implementata in quattro riquadri da 6 nanometri che interconnettono gli elementi di calcolo della CPU e della GPU su cui è incisa anche Infinity Cache. È difficile dire quanti transistor utilizzi questa cache, ma non vediamo l'ora di scoprirlo.

A proposito, pensiamo che l'MI300A si chiami così per designare una versione APU (ovvero una combinazione di core CPU e GPU su un unico pacchetto) del motore di calcolo parallelo di punta di AMD. Ciò implica che ci saranno versioni non APU, solo GPU della GPU Antares, forse con un massimo di otto chiplet GPU montati su quei quattro chip di interconnessione e cache, mostrati di seguito in quello che pensiamo sia l'MI300A: