올해 CES에서 젠슨황은 새로운 AI 하드웨어 베라 루빈을 공개했다.
이게 베라루빈
이 베라루빈에는 2개의 GPU(붉은 박스), 1개의 CPU(파랑 박스)가 있으며
LPDDR(램) 슬롯은 앞뒤로 16개 * 2개씩 총 32개가 박혀있다.
자 이제 베라 루빈의 스펙을 알아보자
먼저 CPU 스펙이다
88개의 코어, 176 스레드다. W당 성능은 세계최고 수준을 자랑한다.
그리고 램은 1.5 TB 의 램을 사용한다....
대역폭은 1.2 테라바이트다.
그렇다 램을 테라바이트 수준으로 사용한다.
베라 루빈 GPU다.
NVFP4에서 50 PFLOPS인데
우리가 비싸서 못사는 RTX 5090의 50배에서 100배의 성능(벤치종류마다 다름)으로 추정 된다.
5090의 트랜지스터가 920억개 이지만
베라루빈의 GPU는 3,360억개의 트랜지스터를 가지고 있다.
(이건 필자가 미국 CES 엔비디아 부스 가서 직접 찍은거다)
요렇게 딸깍으로 끼워넣는다.
이러한 랙 1개에 앞서 이야기한 메인보드가 2개 들어간다.
즉 랙 1개에 3테라바이트의 램과, 1,152테라바이트의 HBM 메모리가 들어간다.
(이것 또한 필자가 미국 CES 엔비디아 부스 가서 직접 찍은거다. 엔비디아 아니랄까봐 100% Real Time Pathtracing를 선명하게 느낄 수 있다.)
그리고 저러한 랙을 이렇게 케이스에다가 넣어서 18단으로 쌓는다(나머지 공간에는 NV링크 스위치나 다른게 들어간다).
그러면 저 랙케이스 하나당 54 테라바이트의 램, 20.736테라바이트의 HBM 메모리가 들어간다.
자 그러면 이걸로 끝일까?
엔비디아는 챗 GPT같은 LLM 서비스를 위해
'추론 컨텍스트 메모리 스토리지(ICMS)'라는 새로운 시스템을 추가하였다.
그렇다 SSD를 버퍼메모리로 쓰는 것이다.
(100% Real Time Pathtracing)
랙 케이스 1대당 무려 1,162테라바이트의 SSD가 필요하다.
이를 역산하면 GPU 1대당 16 테라바이트의 SSD가 필요하다
그래서 엔비디아 혼자서만 1억 1520만 테라바이트의 SSD 수요가 발생할 것으로 예상된다.
앞서 언급한것 이외에도 또 뭔가 줜나 많다.
저것들도 결국에는 반도체들이라 메모리가 조금씩 들어가게 된다.
그리고 이렇게 풀 패키지로 만들어서 팔게된다.
그리고 저런걸 빅테크들이 수만 수십만개 단위로 구매하고 있으니
2년전에 이랫던 램이
이꼴이 나고 있는 것이다.
돼지 저금통
금방 해결되기 힘들겠네요 ㄷㄷㄷ