Samsung stabilisce una “tabella di marcia HBM in tre fasi”: verso il vero 3D ZHBM, impilando direttamente la DRAM sopra il chip di calcolo

Recentemente, alla conferenza tecnologica Hot Chips, il team di progettazione DRAM di Samsung guidato da Sangwook Han ha tenuto un discorso in cui ha rivelato ufficialmente la roadmap evolutiva in tre fasi degli HBM di Samsung. Il punto finale di questa roadmap è una nuova architettura chiamata zHBM—DRAM empilato verticalmente direttamente sopra chip di calcolo come GPU e TPU, eliminando completamente lo strato d'interposizione 2.5D (interposer).

Secondo quanto riportato da wccftech il 23 agosto, Samsung ha dichiarato che rispetto alla versione standard di HBM4E, la soluzione zHBM promette una riduzione del consumo energetico del 70%, un aumento della larghezza di banda della DRAM del 230% e un risparmio energetico di 100W per modulo DRAM, liberando nello stesso tempo l'8,3% in più di potenza per la GPU.

Cos'è l'HBM e dove sono i suoi colli di bottiglia

HBM, ovvero memoria ad alta larghezza di banda, è attualmente uno dei componenti di memoria più critici nei sistemi di addestramento e inferenza AI. Si compone di due tipi di chip:

• C-die (chip core): contiene le unità di memorizzazione DRAM, empilabili fino a 16 strati

• B-die (chip base/Base Die): situato alla base dell'intera struttura impilata, gestisce tutte le funzioni di controllo DRAM e comunica con i chip di calcolo come le GPU attraverso il PHY (Physical Interface Layer)

I due chip sono collegati tramite TSV (Through-Silicon Via), ovvero canali conduttivi verticali che attraversano il chip stesso.

Secondo quanto riportato da Wccftech, la larghezza di banda per ogni stack di HBM4 attualmente supera i 3TB/s, mentre HBM4E la estende ulteriormente all'intervallo dei 4TB/s, e HBM5 raddoppia la larghezza di banda di HBM4, superando una capacità di 60GB.

Tuttavia, l'espansione continua della larghezza di banda sta incontrando due vincoli fisici severi: i limiti fisici del numero e della distanza dei TSV e il limite della velocità e del numero di I/O dell'interfaccia PHY del Base Die. Al contempo, la differenza generazionale nel processo produttivo tra B-die e chip di calcolo (xPU SoC) sta rapidamente diminuendo, rappresentando sia una sfida sia un'opportunità per la roadmap di Samsung.

Prima fase: "liberare spazio" per i chip di calcolo

Lo scopo principale della prima fase della roadmap Samsung è recuperare area di silicio dagli xPU (chip di calcolo).

Samsung ha già applicato processi logici D1c e 4nm al Base Die (B-die) di HBM4, con l'obiettivo principale di ridurre il consumo energetico e comprimere l'area effettiva. Questo segna il vero inizio dell'integrazione della DRAM con i processi logici avanzati.

Le misure specifiche includono:

• Sostituzione dell’interfaccia HBM PHY tradizionale con l’interfaccia D2D, accorciando la lunghezza del canale, migliorando direttamente l’efficienza energetica e liberando al contempo spazio prezioso sul wafer per l’XPU

• Spostamento del controller di memoria dall’XPU al B-die di cHBM, liberando così tra il 5% e il 10% dell’area dell’XPU e portando a un miglioramento delle prestazioni tra il 10% e il 20%

• Introduzione di una soluzione di riparazione a granularità fine basata su SRAM (Near-MC SRAM-Based Cell Repair), utilizzando lo spazio inattivo sul B-die per allocare risorse di riparazione SRAM

La riduzione dell'area comporta effetti collaterali come punti caldi. Per questo, Samsung ha introdotto la tecnologia Heat Path Block (HPB), costruita sullo schema cHBM4, che riduce il picco della temperatura di oltre il 35% e copre il 50% dell'area PHY.

Seconda fase: il B-die inizia ad "acquisire" capacità di calcolo

La seconda fase si concentra sull’"aggiunta di funzionalità" invece che solo sull'ottimizzazione dello spazio, e Samsung la definisce fase di espansione delle funzionalità.

Espansione della capacità di memoria. Con la rapida espansione della finestra di contesto dei grandi modelli AI, la domanda di KV cache (Key-Value Cache, la regione di memoria utilizzata durante l'inferenza dei modelli AI per memorizzare stati intermedi) cresce in modo esponenziale. Samsung prevede di integrare un controller di espansione della memoria e un PHY sul silicio inutilizzato del Base Die, espandendo la capacità di memoria disponibile tramite moduli esterni come LPDDR o HBM.

Integrazione di unità di elaborazione (PE). Samsung propone inoltre di integrare parzialmente delle Processing Elements (PE) sul Base Die, scaricando quindi parte del calcolo che normalmente verrebbe gestito dall’xPU dalla parte memoria, riducendo così la richiesta di larghezza di banda D2D, il consumo energetico e il carico termico. Questa forma viene denominata AHBM (Advanced HBM, memoria ad alta larghezza di banda avanzata).

Rafforzamento dell'affidabilità e delle capacità di test. La seconda fase prevede anche l'integrazione sul B-die di sensori RAS avanzati (Reliability, Availability, Serviceability—affidabilità, disponibilità e manutenibilità), funzioni di telemetria in tempo reale e funzionalità on-chip di auto-test (ATIP), per migliorare il rendimento e la copertura dei test.

Terza fase: zHBM—eliminazione dell’interposer, DRAM direttamente sopra i chip di calcolo

La terza fase rappresenta la forma finale della roadmap: zHBM.

Attualmente, i sistemi AI mainstream utilizzano packaging 2.5D, con GPU e HBM posti affiancati sullo stesso interposer, comunicando tramite connessione orizzontale. Il concetto di zHBM è quello di "verticalizzare" questa struttura, empilando direttamente la DRAM sopra il chip xPU, ottenendo una vera integrazione 3D verticale.

Le caratteristiche chiave del zHBM secondo la presentazione di Samsung includono:

• I/O distribuito: minimizza la distanza di trasmissione dati all'interno dello stack HBM

• Struttura 3D: elimina le interfacce 2D tradizionali, migliorando notevolmente l'efficienza del sistema

• Obiettivo di consumo I/O circa 0.5 pJ/bit: ottenuto rimuovendo moduli ridondanti come SerDes

• Aumento di banda superiore a 2,3 volte, margine termico di sistema fino a 100W

Il concept presentato da Samsung prevede quattro stack zHBM impilati sopra un singolo chip XPU.

Per raggiungere questi obiettivi, Samsung sta sviluppando due tecnologie di packaging chiave: WoW (Wafer on Wafer) e HCB (Hybrid Cube Bonding), per raggiungere densità I/O ultra elevate e, infine, creare un sistema di progettazione unificata e cooperativa tra SoC e DRAM.

La logica fondamentale dietro la roadmap

Il fulcro della presentazione di Samsung è ridefinire la Base Die dell'HBM da un "passivo hub di trasmissione dati" a un "partner intelligente con capacità di calcolo attivo".

La logica evolutiva delle tre fasi è chiara: prima comprimere l’area attraverso il miglioramento del processo per liberare spazio sull’xPU (prima fase); poi utilizzare quello spazio per integrare più funzioni, espandere la capacità e le capacità di calcolo (seconda fase); infine, ricostruire l’architettura di sistema attraverso integrazione verticale 3D e ottenere progressi simultanei su energia, larghezza di banda e gestione termica (terza fase).

Samsung conclude affermando: "Attraverso l’integrazione di packaging avanzato e la progettazione cooperativa unificata tra SoC e DRAM, supereremo i limiti di energia, area e capacità delle attuali soluzioni AI, spianando la strada nei prossimi anni a sistemi più efficienti, performanti e scalabili".