생성형 AI가 촉발한 AI 서버, 데이터센터 인프라 확충으로 인해 SK하이닉스의 HBM이 업계 큰 주목을 받고 있다. 이러한 상황에서 AI 연산에 활용되는 CPU·GPU 성능 발전을 메모리가 따라가지 못하면서 병목현상을 일으키고 있다는 평가가 나오면서 차세대 메모리로의 패러다임 전환 압박이 심화되고 있다.

최근 삼성전자는 차세대 저전력 D램인 LPDDR6의 출시가 임박했음을 시사했으며, 온디바이스 AI 적용 가능성을 높게 점쳤다. SK하이닉스도 자사 PIM 제품인 AiMX를 엣지 디바이스에서 적용할 경우 온디바이스에서 LLM 활용성이 더욱 높아질 것으로 내다봤다.

■ SK하이닉스, PIM으로 AI 서버 병목 해결

최근 2025 ICT 산업전망컨퍼런스에서 SK하이닉스 임의철 펠로우가 ‘AI를 위한 메모리와 컴퓨팅 결합 반도체 기술’을 주제로 발표했다. 이날 발표의 주요점은 LLM 작업 처리에서 비용 대비 낮은 GPU 효율을 극복하기 위해 메모리와 컴퓨팅을 결합한 PIM 반도체가 최적의 옵션이 될 것이란 점이었다.

임 펠로우는 “GPT 2~3부터 메모리 인텐시브(Intensive)해지면서 메모리 처리 비중이 90%를 넘어가기 시작했다”면서, “메모리가 과도하게 소모되는 작업은 오직 ‘행렬 × 벡터’라는 GEMV 단일 함수뿐이다”라고 설명했다.

이는 곧 GEMV가 LLM 처리 시간의 90%를 차지하면서, AI 모델의 병목 현상을 해결하기 위해서는 메모리 성능이 필수적으로 올라와야 했다. 이에 PIM 구조를 착안해 메모리 내부의 뱅크마다 프로세서 유닛을 탑재해 16개의 뱅크를 동시에 처리할 수 있어 16배의 메모리 성능 효율을 끌어올리게 되는 것이다.

다만 PIM 반도체는 데이터센터와 같은 실제 서버 시장에서는 호응을 얻지 못하고 있다. 이는 데이터센터에서 LLM 서비스에 멀티 배치(Multi-batch) 방식을 적용해 낮은 GPU 효율성을 제고했기 때문이다. 멀티 배치를 활용하면 동시에 여러 사용자의 요청을 받아 처리함으로 LLM의 메모리 인텐시브 성격이 컴퓨팅 인텐시브 성격으로 전환되게 된다.

하지만 이 또한 LLM의 트렌드 변화로 병목현상의 새로운 챌린지가 떠올랐다. 임 펠로우는 “LLM 입출력 토큰 길이가 길어짐에 따라 어텐션 레이어(Attention Layer) 처리 비중이 커진다”면서, “이처럼 토큰이 커질수록 메모리 인텐시브한 처리로 남는다”고 말했다.

이를 해결하기 위해 등장한 개념이 PIM 반도체이며, SK하이닉스는 GPU와 GDDR6 기반 PIM인 AiMX를 통해 데이터센터 AI 서버 시장에 러브콜을 보내고 있는 상황이다.

■ 모바일 메모리 LPDDR 기반 PIM으로 대체 고려
SK하이닉스는 현재 모바일 시스템의 AP에 연결된 메모리를 AiM으로 대체할 비전을 갖고 있는 것으로 나타났다. ICT 산업전망컨퍼런스에서 임의철 SK하이닉스 펠로우는 엣지 디바이스에 AiM을 적용해 기존 메모리를 대체한다는 구상 계획을 밝혔다.

AI PC 및 모바일 적용에 있어서 기존 AP 및 CPU, GPU 등에 AiM 적용을 위해서 SoC 설계를 변경해야 하는 등 추가적인 작업이 필요하다. 그럼에도 불구하고 세트 업체들이 오히려 설계 변경에 직접적인 의지를 드러내고 협업을 요청하고 있는 것으로 전해졌다.

임 펠로우는 “PIM 기술이 적용된 AiMX 솔루션으로 데이터센터서부터 온디바이스까지 적용이 가능할 것으로 본다”면서, “차세대 AiM은 LPDDR 기반으로 PIM을 만들면 데이터센터향과 온디바이스향 모두에 강력한 솔루션이 될 것으로 기대한다”고 밝혔다.

데이터센터 및 배터리 기반 온디바이스 양측 모두 저전력 에너지 효율이 핵심 챌린지로 부상한 만큼 PIM에서도 LPDDR 기반이 차세대 메모리의 핵심 기반 기술이 될 것으로 전망된다.

삼성전자 또한 LPDDR6이 미래 온디바이스 AI 시장을 차지할 핵심 솔루션임을 인지하고 이를 대비하고 있다. 18일 한국반도체산업협회가 주관한 2024 반도체 표준화 포럼에서 삼성전자가 참여해 AI 시대 LPDDR6에 대한 개발 현황과 비전을 공유했다.

이영빈 삼성전자 프로는 “LPDDR6는 표준화 완료를 앞두고 있으며, 크게 2가지 접근 방향을 가지고 있다”고 밝혔다. 그는 “기존 16bit 대비 1.5배 증가한 24bit 와일드 I/O를 채택해 대역폭을 높이는 방향으로 준비하고 있다”면서, “파워를 낮추는 가장 빠른 방법으로 전압 레벨을 낮추는 것이다”라고 말해 LPDDR6는 1V, 0.875V를 타겟하고 있다고 덧붙였다.

기존 대비 넓은 대역폭과 저전압 특성을 통해 성능은 높이면서 전력 효율성을 동시에 잡아 온디바이스 AI에서의 퍼포먼스를 최대화하려는 개발 방향성을 내비쳤다. 

■ 차세대 모바일서 LPDDR6 PIM 적용 기대감
외신 등에서 2025년 출시될 삼성 갤럭시 S25에 대한 디자인 및 스펙이 유출되면서 차세대 모바일 제품에 LPDDR6가 선제적으로 탑재될지 여부가 주목되고 있다.

차세대 갤럭시 S25 스마트폰은 전 라인업에서 퀄컴 스냅드래곤 8 엘리트 칩이 탑재될 것으로 보이는 가운데 LPDDR6 및 PIM 구조가 적용 여부는 아직 확인되지 않고 있다. 다만 퀄컴은 지난 미국 하와이에서 진행된 연례 기술행사에서 스냅드래곤 8 엘리트 칩을 공개했는데 이때 메모리는 LPDDR5X-5300MHz가 탑재됐다.

그럼에도 단언할 수 없는 부분이 해외 IT 팁스터(tipster)에 의한 루머들을 보면 갤럭시 S25 울트라 모델에서 RAM 변형이 있을 수 있다고 밝혔다. S25 울트라에 적용될 메모리가 LPDDR6 16GB RAM이 될 가능성이 있다고 점쳤다.

여기에 더해 PIM 구조를 적용해 온디바이스 AI 연산 성능을 강화할 수 있을 것인지 귀추가 주목된다. 앞서 SK하이닉스는 LPDDR6 기반 PIM 반도체인 차세대 AiM 개발을 세트 업체와 협력하고 있는 것으로 전한 바 있다.

AI 서버에 HBM 공급 과열이 일정 부분 하락하고 그 빈 자리를 엣지 디바이스에서의 LPDDR6와 PIM 반도체로 대체할 경우를 가정하면 SK하이닉스의 실적 모멘텀이 지속될 수도 있다. 삼성 또한 HBM에서 상실한 AI 메모리 리더십을 LPDDR6 및 PIM에서 만회할 수 있는 온디바이스 AI 메모리 시장이 열리는 것이다.

생성형 AI가 일상 서비스로 스며드는 AI 개화기 속에서 데이터센터부터 엣지 디바이스까지 AI 칩 전선은 더욱 확장되고 있다. 차세대 AI 메모리 시장에서의 SK하이닉스와 삼성전자의 선전이 기대되는 대목이다.