죄송합니다. 더 이상 지원되지 않는 웹 브라우저입니다.

CrossLinkPlus FPGA를 활용한 MIPI 기반 비전 시스템 구현의 이점

PDF 다운로드

글/래티스 반도체(Lattice Semiconductor)

오늘날 임베디드 비전 시스템 설계 엔지니어들은 변화하는 시장의 요구를 충족해야 한다. 많은 새로운 기능들이 도입되고 있으며 갈수록 더 다양한 센서들을 사용해서 더 많은 데이터를 수집하고 있다. 자동차를 예로 들어보자. 한때는 자동차에 한 대의 백업 카메라만 장착돼도 혁신적이라고 여겨졌으나, 오늘날에는 차선 이탈 감지, 속도 표지판 인식, 그 밖에 다른 일련의 스마트 주행 애플리케이션용으로 여러 대의 카메라가 사용되고 있다.
이와 함께 임베디드 비전 시스템에 MIPI(Mobile Industry Processor Interface) 규격 부품이 사용되는 추세도 주목할 만하다. 원래 모바일 시장용으로 개발된 MIPI 표준은, 모바일 기기 설계 엔지니어가 비용을 절감하면서 고성능 고신뢰성 모바일 솔루션을 개발하는 데 필요한 하드웨어 및 소프트웨어 인터페이스 규격을 정의한 것이다. 최근 몇 년 사이 점점 더 많은 MIPI 제품들이 임베디드 시스템에 사용되고 있다. 산업과 자동차를 비롯한 다양한 분야의 설계 엔지니어들이 모바일용 부품의 고성능과 규모의 경제 효과를 활용할 방법을 모색 중이다.
여기에 제품을 남보다 앞서 출시해야 하는 압박이 거세지면서, 쉽게 사용할 수 있는 임베디드 비전 솔루션에 대한 수요도 커졌다. 이제는 칩 공급만으로는 충분치 않게 되었다. 최종 제품을 빠르게 설계하고 개발하는데 필요한 모든 하드웨어, 소프트웨어, IP, 레퍼런스 디자인을 솔루션 형태로 일괄 제공하는 임베디드 비전 설계 환경이 요구되는 것이다. 또한 오늘날 사용자들은 임베디드 디스플레이가 컨수머 기기 수준의 뛰어난 응답성을 제공하기를 원한다. 부팅하는 데 어느 정도 시간이 걸리는 임베디드 디스플레이는 부팅중에 왜곡등과 같은 시각적 불편함을 발생할 수 있고, 이는 사용자 경험을 떨어뜨리기 때문이다.

새롭게 제기되는 과제들

시장의 변화는 새로운 기회와 함께, 임베디드 비전 설계 엔지니어들에게 새로운 과제를 가져다준다. 첫째, 많은 임베디드 시스템에 사용되는 카메라나 디스플레이는 오늘날 애플리케이션 프로세서(AP)의 인터페이스 형식이나 수와 맞지 않는다. AP는 센서용으로 한정된 수의 I/O를 제공한다. 또한 AP는 다양한 디스플레이나 센서 유형을 지원해야 하는데, 애플리케이션에 따라 디스플레이 크기와 해상도가 제각각이기 때문에 그리 간단한 문제는 아니다. 게다가 현재 사용되고 있는 많은 산업용 디스플레이가 레거시 인터페이스를 통해 연결하도록 설계되었다. 이처럼 레거시 또는 독자적인 디스플레이와 센서를 사용하는 경우, 임베디드 애플리케이션 관련 설계 엔지니어는 어떻게 해야 MIPI 부품의 이점을 활용할 수 있을까?
더 많은 센서를 사용하고 I/O 자원을 더 효율적으로 관리하기 위해서는 한정된 I/O를 극복할 수 있는 프로그래머블 솔루션이 필요하다. 그러한 솔루션을 활용하면 센서 입력들을 취합하고 데이터를 처리함으로써 프로세서의 부담을 덜 수 있을 뿐 아니라, 특정 디스플레이 설계의 고유한 요구들도 손쉽게 충족할 수 있다. 기존에는 설계 엔지니어가 서로 다른 디스플레이 크기와 해상도를 지원하기 위해 각 디스플레이마다 맞춤형 ASIC을 개발해야 했다. 하지만 프로그래머블 솔루션을 사용하면 단일 디바이스로 다양한 디스플레이 요구를 충족할 수 있다.
이러한 솔루션을 선도하는 래티스 반도체(Lattice Semiconductor)는 2016년에 CrossLink™ FPGA를 출시했다. CrossLink는 모바일 이미지 센서 및 디스플레이용으로 다양한 프로토콜과 인터페이스를 지원하는 프로그래머블 비디오 브리지 솔루션이다. 임베디드 비디오 시장의 요구를 충족하기 위해 CrossLink의 업그레이드 버전인 CrossLinkPlus™도 출시했다. CrossLinkPlus는 매끄러운 디스플레이 부트를 원하는 사용자 요구를 충족하기 위해 구성 메모리로서 2Mbit 플래시를 내장했다. 이 온칩 플래시 메모리를 사용함으로써 CrossLinkPlus는 10ms 이내에 부팅이 가능해, 장시간의 부팅중에 발생하는 왜곡등으로 인하여 발생되는 시각적 불편함을 디스플레이 경험을 저해하지 않는다. 사람의 뇌는 15ms 안에 사라지는 이미지를 감지하지 못하기 때문이다. 이 온칩 플래시는 현장 재프로그래밍에도 사용될 수 있다.

[그림 1] 래티스 반도체의 CrossLinkPlus FPGA

CrossLinkPlus는 전력 소모는 낮게 유지하면서 동급 제품 중 가장 빠른 MIPI D-PHY를 지원한다. 3.5mm x 3.5mm 패키지의 이 FPGA 제품은 12Gbps D-PHY 성능을 제공한다. 고속 MIPI D-PHY 외에도, 6K LUT 프로그래머블 FPGA 패브릭과, MIPI CSI-2, MIPI DSI, LVDS, SLVS200, CMOS, Sub-LVDS 인터페이스에 대해 비디오 브리징이 가능한 유연한 고속 I/O를 제공한다. 이처럼 다양한 형식의 디스플레이와 센서들에 인터페이스 할 수 있으므로 설계 엔지니어의 설계 유연성을 높인다.
보다 타이트한 출시 일정에 대한 압박이 갈수록 심해지고 있는 상황에서, 이 새로운 FPGA 제품은 개발팀이 설계 효율을 높일 수 있는 솔루션을 제공한다. 예컨대 리시버, 컨버터, 트랜스미터 기능용으로 즉시 사용할 수 있고 사전검증을 마친 다양한 IP들을 포함하는 포괄적인 라이브러리를 제공하므로 설계 엔지니어들은 보다 특화된 기능에 집중할 수 있고 차별화된 제품을 개발할 수 있다. 사전검증된 비디오 IP 블록과 레퍼런스 디자인을 사용하면 개발 작업을 단축할 수 있을 뿐 아니라, 즉시 사용이 가능하고, 무료라는 혜택도 누릴 수 있다. 또한 이 IP 블록들은 CrossLink와 CrossLinkPlus 제품들 간에 완벽하게 재사용이 가능하다.
래티스는 기능 동작을 시뮬레이트하고, 시스템 차원의 기능을 검증하고, 개발 작업을 단축할 수 있는 편리한 하드웨어 및 소프트웨어 툴들도 제공한다. 디바이스에 플래시 메모리를 내장함으로써 현장에서 플래시로 새로운 비트스트림을 업그레이드해서 빠르게 변화하는 시장의 요구를 충족할 수 있다. 또한 향상된 CrossLinkPlus 제품을 사용하면 외부 플래시 사용에 따른 추가 전력 소모가 없어, 보다 공격적으로 공간 및 열 제약을 극복할 수 있다.
CrossLinkPlus는 동급 경쟁 제품들에 비해 단위 면적당 가장 빠른 MIPI D-PHY를 제공한다. 경쟁사의 비슷한 디바이스들 비교해서 래티스의 CrossLinkPlus는 더 작은 풋프린트와 더 낮은 전력 소모로 더 우수한 D-PHY 성능을 제공한다.

[그림 2] 래티스의 CrossLinkPlus FPGA는 극히 낮은 전력 소모로 고성능 MIPI D-PHY를 제공한다.

또한 래티스는 제품 개발을 가속화하는 포괄적인 지원을 제공한다. CrossLink 및 CrossLinkPlus 용으로 지속적으로 새로운 레퍼런스 디자인을 추가하고 있는데, 이러한 레퍼런스 디자인을 활용해 개발자는 새로운 설계나 기존 설계에 비디오 브리징 기능을 빠르게 구현할 수 있다.

새로운 애플리케이션 사례

CrossLinkPlus의 다양한 활용 사례들은 이 제품이 설계 엔지니어들에게 얼마나 많은 설계 유연성을 제공하는지 알려준다. 그림 3은 서로 다른 인터페이스를 채택하고 있는 센서와 프로세서 사이의 브리징에 이 디바이스를 어떻게 활용할 수 있는지를 보여준다. 이러한 경우, 설계 엔지니어는 한편으로는 MIPI 프로세서의 비용, 성능, 풋프린트 측면의 이점을 누리면서 다른 한편으로는 산업 표준에 기반한 레거시 카메라를 계속해서 사용하기를 원할 수 있다. 그림 3의 머신 비전 애플리케이션의 경우, CrossLinkPlus를 사용해서 Sub-LVDS 인터페이스를 채택한 레거시 카메라와 D-PHY 인터페이스를 채택한 MIPI 프로세서를 브리징 함으로써 이 같은 요구를 충족할 수 있다.

[그림 3] 래티스의 CrossLinkPlus FPGA를 사용해서 Sub-LVDS 카메라와 머신 비전 프로세서의 MIPI I/O를 브리징 할 수 있다.

래티스의 CrossLinkPlus를 사용한 두 번째 활용 사례로는 여러 개의 센서들로부터 입력 신호를 애그리게이트 해서 애플리케이션 프로세서로 제공하는 것을 들 수 있다. 그림 4에서는 3개의 이미지 센서를 3개 D-PHY 포트를 통해 CrossLinkPlus로 인터페이스하고, CrossLinkPlus가 이 센서 데이터를 단일 D-PHY 출력으로 애그리게이트 해서 모바일 프로세서로 제공한다. 이 애그리게이션 기능을 활용하면 프로세서의 제한적인 I/O 자원을 최대한 활용할 수 있다.

[그림 4] 래티스의 CrossLinkPlus를 활용하면 여러 센서 신호를 하나의 포트로 애그리게이트 할 수 있어 프로세서 I/O를 절약할 수 있다.

MIPI 신호 분할기나 복제기를 구현하기 위해 Cross-LinkPlus를 활용할 수도 있다. 그림 5에서는 센서로부터 신호를 CrossLinkPlus 디바이스로 제공하고 출력을 2개 출력에 걸쳐서 분할하거나 복제한다. 자동차 ADAS 애플리케이션이나 데이터 이중화가 필요한 애플리케이션에서 이 방법이 점점 더 많이 사용되고 있다. 카메라로부터 들어오는 신호를 래티스의 CrossLinkPlus 디바이스로 보낸 다음에 이것을 2개 출력 스트림으로 복제한다. 하나의 스트림은 애플리케이션 프로세서로 보내서 데이터를 실시간으로 처리한다. 다른 하나의 스트림은 항공기 블랙박스처럼 저장해서 로컬 또는 클라우드 기반 데이터 로깅과 백업을 할 수 있다. 혹시 결함이나 자동차 사고가 발생하면 이 백업 데이터를 조사해서 원인을 밝혀낼 수 있다.

[그림 5] ADAS 비전 시스템에서는 CrossLinkPlus FPGA를 사용해 카메라 신호 출력을 복제해서 애플리케이션 프로세서로도 보내고 데이터 백업도 할 수 있다.

그림 6은 CrossLinkPlus를 사용해서 레거시 디스플레이를 더 우수한 성능의 최신 AP로 연결하는 것을 보여준다. 많은 산업 제어 애플리케이션들이 AP와 OpenLDI를 채택한 레거시 디스플레이를 연결하기 위해 브리지를 필요로 한다. OpenLDI 디스플레이는 통상적으로 MIPI 디스플레이보다 훨씬 크다. 최신 MIPI 애플리케이션 프로세서들은 D-PHY를 통해서 CrossLinkPlus 디바이스로 데이터를 제공한다. 그런 다음 이 디바이스가 OpenLDI를 채택한 레거시 디스플레이로 데이터를 브리징 한다. 마찬가지로 CrossLinkPlus를 사용해서 MIPI 규격이 아닌 이미지 센서와 MIPI AP를 브리징 할 수 있다.

[그림 6] 래티스의 CrossLinkPlus를 사용해서 레거시 디스플레이와 최신 애플리케이션 프로세서를 브리징 할 수 있다.

맺음말

래티스의 CrossLinkPlus는 임베디드 비전 시스템을 빠르게 개발하고자 하는 설계 엔지니어들에게 완벽한 솔루션을 제공한다. 임베디드 비전 시스템에 FPGA의 재프로그램 가능성을 활용하면 MIPI 부품이 제공하는 비용과 성능 상의 이점을 활용할 수 있다. 또한 하드웨어 기반의 D-PHY 인터페이스는 업계 선도적인 우수한 성능을 제공하며, 플래시 메모리를 내장하고 있어 인스턴트-온 기능을 구현할 수 있다. 저전력 동작과 컴팩트한 풋프린트는 열 관리를 간소화하고, 널리 사용되는 다양한 레거시 인터페이스를 지원하므로 설계 유연성을 극대화한다. 또한 CrossLinkPlus는 사전에 검증되고 무료로 제공되는 포괄적인 IP 라이브러리를 지원하므로 개발 작업을 빠르게 할 수 있으며 설계 엔지니어들이 좀더 특화된 기능에 집중함으로써 차별화된 제품을 개발할 수 있게 해준다. 

leekh@seminet.co.kr
(끝)
<저작권자(c) 반도체네트워크, 무단 전재-재배포 금지>