죄송합니다. 더 이상 지원되지 않는 웹 브라우저입니다.

Ceva, TinyML에 최적화된 새로운 Ceva-NeuPro-Nano NPU 공개해 스마트 에지 IP 리더십 강화한다

글/반도체네트워크 편집부 2024.07.02

스마트 에지 디바이스의 안정적이고 효율적인 데이터 연결, 감지 및 추론을 지원하는 실리콘 및 소프트웨어 IP 분야의 선두 기업 Ceva가 2일 자사의 Ceva-NeuPro(뉴프로), 에지 AI NPU 제품군을 확장한 Ceva-NeuPro-Nano(뉴프로-나노) NPU를 공개했다. Ceva-NeuPro-Nano NPU는 고효율 및 독립형 NPU로, 반도체 기업 및 OEM 업체가 가전, 산업, 및 범용 AIoT 제품에 사용되는 시스템온칩(SoC)에 TinyML 모델을 통합하는 데 필요한 전력, 성능 및 비용 효율성을 제공한다.

TinyML은 리소스가 제한된 저전력 디바이스에 머신러닝 모델을 실행하여 AI 기능을 IoT에 적용하는 것을 의미한다. IoT 디바이스에서 효율적이고 전문화된 AI 솔루션에 대한 수요가 증가함에 따라 TinyML 시장은 급성장하고 있다. ABI 리서치에 따르면 2030년까지 TinyML 출하량의 40% 이상이 일반적인 마이크로 컨트롤러(Micro Controller Unit, MCU)가 아닌 TinyML에 특화된 전용 하드웨어로 구동될 것이라 전망했다. Ceva-NeuPro-Nano NPU는 TinyML의 특정 성능 문제를 해결하여 음성, 비전, 예지 보전 및 헬스 센싱 등 가전 및 산업용 IoT 애플리케이션에서 AI를 널리 사용하고, 경제적 및 실용적으로 활용할 수 있도록 돕는다.

새로운 Ceva-NeuPro-Nano 임베디드 AI NPU 아키텍처는 신경망(Neural Network), 특징 추출(Feature extraction), 제어 코드 및 DSP 코드를 효율적으로 실행할 수 있도록 프로그래밍이 가능하며, 네이티브 트랜스포머 계산(native transformer computation), 희소성 가속(sparsity acceleration) 및 빠른 양자화(quantization) 등 최신 머신러닝 데이터 형식 및 연산을 지원한다. Ceva-NeuPro-Nano NPU는 이러한 최적화된 독립형 아키텍처를 통해 CPU 또는 DSP와 AI 가속기를 함께 사용하는 기존의 TinyML 워크로드 프로세서 솔루션과 비교해 더 작은 실리콘 풋프린트로 최적의 성능 및 뛰어난 전력 효율성을 제공한다. 또한 Ceva-NetSqueeze AI 압축 기술을 통해 중간 압축 해제 단계 없이 압축된 모델 가중치를 직접 처리해 메모리 풋프린트를 최대 80%까지 줄일 수 있어 오늘날 AIoT 프로세서가 다양한 분야의 제품에 더 널리 사용될 수 있도록 돕는다.

Ceva의 채드 루시엔(Chad Lucien) 센서 및 오디오 사업부 부사장 겸 총괄 매니저는 “Ceva-NeuPro-Nano는 기업이 저전력 IoT SoC 및 MCU에 TinyML 애플리케이션을 쉽게 통합할 수 있도록 하며, 이는 스마트 에지 디바이스에 연결, 감지 및 추론 기능을 지원하는 Ceva의 전략과 맞물려 있다. Ceva-NeuPro-Nano NPU 제품군은 더 많은 기업들이 AI를 최첨단으로 끌어올려 고객에게 더 많은 가치를 제공하는 고급 기능을 갖춘 지능형 IoT 디바이스를 만들 수 있도록 지원한다”며, “Ceva는 무선 IoT 커넥티비티 분야에서의 업계 선도적인 위치와 오디오 및 비디오 센싱(vision sensing) 분야의 강력한 전문 지식을 통해 고객이 TinyML의 잠재력을 최대한 활용하여 혁신적인 솔루션 개발, 사용자 경험 향상, 효율성 개선 및 더 스마트하고 연결된 환경 구축에 기여하는 등 다양한 혜택을 누리고, 더 나은 제품 및 서비스를 제공할 수 있도록 지원한다”고 말했다.

ABI 리서치의 폴 쉘(Paul Schell) 산업 분석가는 “Ceva-NeuPro-Nano는 스마트 에지 IoT 디바이스에 온디바이스 AI를 구현하기 위한 강력한 솔루션이다. Ceva-NeuPro-Nano는 다양한 최종 시장에서 배터리로 작동하는 디바이스가 음성, 비전, 센싱 기능을 상시 사용하기 위해 필요한 전력, 성능 및 비용 요건을 충족하며, TWS 이어버드, 헤드셋, 웨어러블 및 스마트 스피커부터 산업용 센서, 스마트 가전, 홈오토메이션 디바이스, 카메라 등 에너지가 제한된 AIoT 디바이스가 TinyML을 실행할 수 있도록 한다”고 밝혔다.

Ceva-NeuPro-Nano NPU는 32개의 int8 MAC을 갖춘 Ceva-NPN32와 64개의 int8 MAC을 갖춘 Ceva-NPN64 총 두 가지 구성으로 제공되며, 두 구성 모두 압축된 모델 가중치를 직접 처리하기 위한 Ceva-NetSqueeze 기술이 적용됐다. Ceva-NPN32는 음성, 오디오, 객체 탐지 및 이상 탐지(anomaly detection)를 위한 대부분의 TinyML 워크로드에 최적화됐다. Ceva-NPN64는 가중치 희소성(weight sparsity), 더 큰 메모리 대역폭 및 더 많은 MAC 사용과 4비트 가중치 지원을 통해 성능을 2배로 향상시키며, 이를 통해 객체 분류, 얼굴 감지, 음성 인식 및 건강 모니터링 등 보다 복잡한 온디바이스 AI 사용 사례에 향상된 성능을 제공한다.

이 두 가지 NPU는 AI 소프트웨어 개발 키트(SDK) Ceva-NeuPro Studio와 함께 제공된다. Ceva-NeuPro Studio는 통합 AI 스택으로, 전체 Ceva-NeuPro NPU 제품군에 걸쳐 공통 툴 세트를 제공하고 마이크로컨트롤러용 텐서플로 라이트(TensorFlow Lite for Microcontrollers, TFLM)와 마이크로TVM(μTVM)과 같은 오픈 AI 프레임워크를 지원한다.

Ceva-NeuPro-Nano 주요 특징은 다음과 같다.

유연하고 확장 가능한 NPU 아키텍처 

• 신경망, 특징 추출, 제어코드 및 DSP 코드의 효율적인 실행을 위한 프로그래밍 가능

• 다양한 사용 사례를 충족할 수 있도록 설계된 확장 가능한 성능 

o 사이클당 최대 64개의 int8 MAC 구성 지원

• 가장 진보된 머신러닝 데이터 유형 및 연산을 지원하는 미래 지향적 아키텍처

o 4비트에서 32비트 정수 데이터 처리

o 네이티브 트랜스포머 계산

• 모든 사용 사례에서 최고의 머신러닝 성능을 제공하는 고급 메커니즘 

o 희소성 가속

o 비선형 활성화(non-linear activation) 유형 가속 

o 빠른 양자화

최소 메모리 요건을 갖춘 에지 NPU

• NN 컴퓨팅, 특징 추출, 제어 코드 및 DSP 코드 등 연산 집약적인 작업을 위한 별도의 MPU를 필요로 하지 않는 고효율 단일 코어 설계

• 중간 해제 단계 없이 압축된 모델 가중치를 처리하는 Ceva-NetSqueeze 기술을 통해 메모리 풋프린트 최대 80% 감소

혁신적인 에너지 최적화 기술을 통해 달성된 초저에너지 

• 자동 온더플라이(on-the-fly) 에너지 튜닝

• 가중치 희소성 가속을 통한 연산 압축으로 에너지 및 대역폭 대폭 절감

완벽하고 사용이 간편한 AI 소프트웨어 개발 키트(SDK)

• Ceva-NeuPro Studio는 새로운 Ceva-NeuPro-Nano부터 Ceva-NeuPro-M까지 모든 Ceva-NeuPro NPU를 위한 통합된 AI 스택을 제공해 간편한 사용 경험을 제공

• 소프트웨어 개발 및 배포를 가속화하여 시장 출시 기간 단축

• TFLM 및 µTVM을 포함한 주요 오픈 AI 추론 프레임워크와 원활하게 작동하도록 최적화

• 음성, 비전, 센싱 사용 사례를 포함한 사전 훈련 및 최적화된 TinyML 모델의 모델 주(Model Zoo)제공

• 새로운 모델, 애플리케이션 및 시장 요건에 유연하게 적응

• 최적화된 런타임 라이브러리(runtime library) 및 바로 사용할 수 있는 애플리케이션 전용 소프트웨어의 포괄적인 포트폴리오 제공 

한편, Ceva-NeuPro-Nano NPU는 현재 라이선스 사용이 가능하며, 보다 자세한 내용은 https://www.ceva-ip.com/product/ceva-neupro-nano/ 에서 확인 가능하다.

Ceva 소개
Ceva는 스마트 에지에 새로운 수준의 혁신을 가져오는 데 열정을 쏟고 있다. Ceva의 무선통신, 센싱 및 에지 AI 기술은 오늘날 가장 진보된 스마트 에지 제품의 핵심이다. 유비쿼터스의 강력한 통신을 위한 블루투스 커넥티비티, 와이파이, UWB 및 5G 플랫폼 IP로부터 확장 가능한 에지 AI NPU IP, 센서 융합 프로세서 및 임베디드 애플리케이션 소프트웨어에 이르기까지 Ceva는 데이터를 보다 안정적이고 효율적으로 연결, 감지 및 추론할 수 있는 가장 광범위한 IP 포트폴리오를 보유하고 있다. Ceva는 매우 작은 실리콘 풋프린트(silicon footprint) 내에서 초저전력으로 뛰어난 성능을 제공하는 차별화된 솔루션을 제공한다. Ceva의 목표는 더욱 스마트하고 안전하며 상호 연결된 세상을 구현하기 위한 실리콘 및 소프트웨어 IP를 제공하는 것이다. 이러한 브랜드 철학으로 오늘날 AI가 탑재된 스마트워치, IoT 디바이스 및 웨어러블부터 자율주행차, 5G 모바일 네트워크에 이르기까지 세계에서 가장 혁신적인 스마트 에지 제품 170억 개 이상을 지원하고 있다.