HBF는 3D 낸드플래시를 HBM의 D램처럼 수직으로 적층한 플래시 메모리를 말한다. 챗GPT와 같은 거대언어모델(LLM)이 비대해지면서 테라바이트(TB) 단위의 데이터를 처리해야할 필요성이 커졌다. AI가 학습에서 추론 단계로 접어들면서 사용자의 요청에 즉각적으로 응답해야 하기 때문이다.
기존 HBM으로 추론 영역을 대응하기엔 한계가 있다. 속도는 빠르지만 용량 대비 가격이 비싸다는 단점도 있다.
그로쓰리서치의 'HBF 산업보고서'에 따르면 GPT-4처럼 1조8000억개의 파라미터를 가진 모델의 추론에는 최대 약 3.6TB의 초대형 메모리가 필요하다. 하지만 최신 GPU에 탑재되는 HBM3E(5세대 HBM)의 용량은 약 192GB에 불과해 하나의 추론 요청을 처리하려면 6~7개의 GPU를 묶어야 한다. 이 과정에서 GPU간 데이터통신 오버헤드(추가적인 시간 소요)가 발생하고 병목현상은 더 심해지며 비용은 기하급수적으로 증가한다.
휘발성도 HBM의 단점이다. AI가 개인 맞춤형 서비스로 진화하는 상황에서 대용량 데이터를 장기관 보존해야 하지만 HBM은 휘발성 메모리인 D램을 기반으로 한다.
이 같은 한계를 해결할 수 있는 대안으로 등장한 것이 HBF다. HBF는 초고속 메모리인 HBM과 대용량 저장장치인 SSD 사이에 위치하는 새로운 메모리 계층이다.
HBM의 뛰어난 성능과 SSD의 대용량 특성 사이의 공백을 메우며 추론 영역에서 요구되는 용량 확장과 전력 효율성을 동시에 확보한다. 속도는 HBM의 80~90% 수준이지만 용량은 8~16배 크고 전력소모는 약 40% 낮은 것으로 알려졌다.
업계에서는 HBF 시장이 2027년을 기점으로 본격 개화할 것으로 보고 있다. 특히 영상 생성 AI와 같이 고용량 데이터를 실시간으로 읽어 들여야 하는 서비스가 늘어날수록 HBF의 수요는 폭증할 전망이다. 일각에서는 HBF 시장 규모가 2038년경 HBM을 넘어설 것이라는 관측도 내놓고 있다.
HBM 시장을 리드해온 SK하이닉스는 HBF 시장 선점을 위해 적극적인 대응에 나서고 있다. SK하이닉스는 최근 샌디스크와 손잡고 HBF 규격 제정을 주도하고 있다. SK하이닉스는 내년 HBF 제품군을 선보일 것으로 전해진다.
안현 SK하이닉스 개발총괄 사장(CDO)은 "AI 인프라의 핵심은 단일 기술의 성능 경쟁을 넘어, 생태계 전체를 최적화하는 것"이라며 "HBF 표준화를 통해 협력 체계를 구축하고 AI시대 고객·파트너를 위한 최적화된 메모리 아키텍처를 제시함으로써 새로운 가치를 창출하겠다"고 강조한 바 있다.
삼성전자도 내부적으로 HBF 독자 개발을 진행하고 있는 것으로 알려졌다. 초고적층 V낸드 기술력을 HBF에 적용해 단위 면적당 최대 용량을 구현하는 데 집중하고 있다는 관측이다.
김정호 한국과학기술원(KAIST) 교수는 "AI 시대에는 메모리가 산업을 지배하게 될 것"이라며 "속도를 결정하는 HBM과 용량을 책임지는 HBF를 모두 구현할 수 있는 삼성전자와 SK하이닉스 등이 AI 시대의 승자가 될 것"이라고 말했다.
<저작권자 © ‘존중받는 개인, 부강한 대한민국’ 시대, 무단전재 및 재배포 금지>