AI PC와 온디바이스 AI 스마트폰 등의 출시가 급속히 확대되면서 엣지 AI 디바이스 수요가 커지고 있다. 특히 IoT는 PC와 스마트폰에 일시적으로 가려져 있지만 온디바이스 AI 성장의 가장 중요한 요인인 것으로 분석된다.

글로벌 시장 조사기관 마켓츠앤드마켓츠에 따르면 엣지 AI 하드웨어 시장은 2024년 242억달러(한화로 약 33조원)에서 2029년 547억달러(약 75조원)에 5년 내 2배 이상 커질 것으로 전망했다. 

엣지 AI는 △자율주행 △산업 자동화 △의료 모니터링 △비상 대응 시스템 등 미션 크리티컬한 애플리케이션에서 가장 선호하며 로컬에서 결정을 내리는 데 걸리는 시간을 단축시키는 특성이 필요한 애플리케이션에서 채택되고 있는 추세이다.

네트워크를 통한 AI는 레이턴시 문제, 데이터 대역폭, 통신 불량 환경에서의 제약 사항으로 인해 로컬에서 기능하는 엣지 AI는 대안이 될 수 있다.

다만 마켓츠앤드마켓츠는 ‘엣지 생태계 전체에서 하드웨어, 소프트웨어, 통신 프로토콜 간의 상호운용성 및 호환성 보장이 어려울 수 있어 통합 문제 및 배포 지연 등의 이슈가 발생할 수 있다’고 지적했다.

이는 엣지 디바이스를 구성하는 메인 프로세서, 통신 네트워크 스펙 등이 각기 상이하고 스펙트럼이 다양해 이기종 하드웨어에 최적화할 수 있는 엣지 AI 모델링이 어려울 수 있다는 의미로 해석된다. 더불어 네트워크에 연결되지 않은 엣지 AI 디바이스는 버그 수정 및 모델링 업데이트 등의 운영 관리에 어려움이 있을 수 있다.

보고서는 이러한 부분을 지적하며 ‘표준화된 하드웨어 사양이 없기 때문에 개발자와 솔루션 제공업체는 다양한 엣지 장치에서 효율적으로 실행할 수 있는 소프트웨어와 애플리케이션 개발이 어렵다’고 내다봤다.

이에 글로벌 및 국내 기업 전반에서 엣지 AI뿐 아니라 생성형 AI, 비전 AI, 음성인식 등 다양한 AI 모델들을 이기종의 하드웨어에 최적화시켜주는 AI 최적화 및 AI 경량화 솔루션을 스타트업과 기술 기업들이 개발하면서 관련 비즈니스 진출이 급격하게 늘어나고 있는 상황이다.

감바랩스는 이기종 칩의 종류가 가장 많은 MCU에서의 음성인식·화자인식 AI 모델을 경량화하는 AI 경량화 프레임워크를 개발했고, 이를 필요로 하는 고객사에 하드웨어 호환성을 보장하는 파인튜닝까지의 솔루션을 지원하고 있다.

클리카, 스퀴즈비츠 등도 AI 최적화 및 경량화 프레임워크 기반으로 솔루션 플랫폼을 제공하며 개발자 툴로서 기능하고 있다. 에너자이는 Arm 기반 A시리즈, R시리즈 및 인텔 CPU 등의 하드웨어에 맞춤한 AI 추론 모델 최적화를 지원하는 솔루션 서비스를 제공한다.

마켓츠앤드마켓츠도 보고서에서 예측 기간 동안 추론 모델 시장이 엣지 AI 하드웨어 시장에서 가장 큰 시장 규모를 차지할 것으로 예상했으며, 아시아 태평양 지역이 가장 빠른 속도로 성장하고 있다고 분석했다.