[테마특강]모바일 멀티미디어 기술의 진화
페이지 정보
작성일 23-02-08 16:02
본문
Download : 20040316-.jpg
이후 MPEG-4 GA는 에러레질리언스(Error Resilience), BSAC(Bit Sliced Arithmetic Coding) 등 신규 알고리듬을 수용하며 버전2로 발전했고, 버전3에 이르러 SBR과 AAC가 결합된 MPEG-4 HE AAC가 표준으로 자리잡았다. 게다가 초기 짧은 동영상 클립을 다운·재생해주던 단순 기능에서 벗어나 한시간 이상 동영상 녹화가 가능한 캠코더이나 ‘QVGA’급 해상도를 지원하는 휴대폰 및 디지털 카메라 수준의 메가픽셀 폰도 등장하는 추세다.
휴대폰이 단순한 통신수단을 넘어 첨단 멀티미디어 서비스가 총 결집된 정보기기의 총아로 발전하고 있다. 부호기 측면에서는 기존 표준보다 더욱 많아진 파라미터 및 부호화 모드를 결정해야 하며, 복호기도 디블로킹필터나 1/4화소 단위의 움직임 보상 등으로 인해 계산량이 매우 증가했다.
구체적인 응용분야를 요약, 요점하면 다음과 같다. SBR과 결합된 AAC를 통상 ‘AAC+’ 또는 ‘aacPlus’라고 하며, 표준화이후 formula 명칭은 ‘MPEG-4 HE AAC’다. 이에 따라 국제전기통신연합(ITU)은 유무선 통신망 environment에서 동영상 서비스를 위한 표준 규격인 H.261과 H.263을 제정했고, 세계표준화기구(ISO)도 동영상 표준 규격인 MPEG-1, MPEG-2, MPEG-4를 마련하는 등 세계적인 표준화 논의가 활발했다.
·휴대용 미디어 플레이어
·다양한 네트워크에 adaptation(적응) 하기 위한 NAL
1997. 2 서울대학교 박사학위(전자工學(공학) , 영상압축) 취득
필자 약력
<엠큐브웍스 이승준연구소장 jun@mcubeworks.com>
순서
현재 국내의 이동통신사들은 무선 멀티미디어 서비스를 제공중이며, 단말기 제조업체들도 종전 소형화 경쟁에서 벗어나 다양한 기능성을 갖춘 동영상(VOD) 단말기를 앞다퉈 출시하고 있다. 이는 최근 point요소기술로 H.264와 MPEG-4 HE AAC, 멀티미디어 단말기술이 학계와 업계로부터 주목받고 있는 배경이기도 하다.
[테마특강]모바일 멀티미디어 기술의 진화
레포트 > 기타
·부정합(Mismatch)이 없는 작은 블록크기의 블록 변환
[테마특강]모바일 멀티미디어 기술의 진화
(그림2. 고주파 대역의 복원 과정)
설명
H.264와 MPEG-4 HE AAC는 향후 적용분야도 무궁무진하다.
MPEG-4 HE AAC는 채널당 24kbps의 낮은 전송률에서도 CD 수준의 높은 음질을 제공하는 저전송률 오디오 부호기다. 따라서 H.264가 상용화하기 위해서는 기술원리를 정확히 이해하고, 효율적으로 부호기·복호기를 구현하는 적용기술이 매우 중요하다. 이 기술들이 매우 낮은 비트율에서도 뛰어난 화질과 음질을 제공하는 덕분이다. 따라서 플래시 메모리를 탑재한 휴대용 플레이어 등 파일기반 저장매체뿐만 아니라 디지털방송, 이동통신 네트워크와 같이 높은 압축 효율을 필요로 하는 응용 분야에도 적합하다. 최근 DVD 관련 표준화를 논의하는 DVD포럼에서도 H.264·MPEG-4 HE AAC를 未來 HD-DVD 플레이어의 표준 비디오·오디오 코덱으로 채택하는 등 그 우수성을 빠르게 인정받고 있는 추세다. MPEG-4 HE AAC의 높은 압축 효율은 이동통신 및 디지털 방송과 같이 전송 대역이나 저장 용량이 제한되거나 매우 값 비싼 응용 분야에 유용하다. 협소한 무선주파수 대역폭과 휴대폰 저장용량의 한계를 뛰어넘을 수 있는 멀티미디어 데이터 압축기술 덕분이다. (본 글에서는 H.264로 명명한다)
[테마특강]모바일 멀티미디어 기술의 진화
다. 일례로 H.264 및 MPEG-4 HE AAC는 현재 SK텔레콤의 VOD 서비스 표준으로 채택되기도 했다. H.263+와 MPEG-4 표준이 개발된 뒤 무선통신이 급격히 확산되면서 종전 압축방법에 비해 더욱 향상된 압축효율을 제공하고, 다양한 통신environment을 수용할 수 있는 동영상 압축기술 규격의 필요성이 대두했다. 각각의 응용 프로그램들은 메모리 오버레이 구조를 이용해 구동된다 멀티미디어 알고리듬은 H.264 및 MPEG-4 HE AAC를 비롯, JPEG 인코더·디코더, MPEG4 비디오 인코더/디코더, EVRC 인코더·디코더를 포함하는 코덱해결책과 카메라 센서를 통한 이미지 라이브러리, 무선 environment에 최적화된 무선 프로토콜 (RTP/RTCP/RTSP)로 구성된다 DHK&호스트 인터페이스는 DSP 응용 프로그램의 스와핑을 담당하며, 휴대폰 特性(특성)상 필요한 저전력 소모를 위해 절전 기능, 호스트와 안정적인 고속통신을 지원하는 기능 등을 제공한다. 이 가운에 일반적인 오디오 부호화의 영역에 해당하는 MPEG-4 AAC는 이전 MPEG-2 AAC를 기반으로 PNS(Perceptual Noise Substitution), LTP(Long-Term Prediction) 등의 알고리즘이 추가됐다. 결과적으로 MPEG-4 오디오의 부호화 영역은 2kbps의 낮은 비트 전송률 음성 부호화에서부터 채널당 64kbps 이상의 고음질 오디오 부호화에 이르기까지 확장됐다.
우선 MPEG-4 AAC(Advanced Audio Coding) 기술은 압축기술을 특정 응용 분야에 한정하는 대신 압축할 정보를 음성, 배경음악, efficacy음 등 다양한 구성요소의 결합으로 처리하는 식으로 구성됐다는 점이 특징이다. 그중 시중 단말에서 구현된 소프트웨어 구현 사례(instance)는 그림3과 같다.
·무선통신 environment에서 멀티미디어 응용: 주문형비디오(VOD)/주문형음악(MOD)
1.H.264 (MPEG-4 Part 10 AVC)
·유선 네트워크(ISDN, LAN, xDSL, 모뎀)을 이용한 VOD 및 스트리밍 서비스
디지털 신호처리·저장매체·전송방식의 발전은 음성 정보에 국한된 서비스를 멀티미디어 서비스로 진화시켰다. 기존 지각적 오디오 부호기의 한계를 극복하기 위해 대역폭 확장 기술의 하나인 SBR을 MPEG-4 AAC에 적용한 것이다. 그리고 이전 AAC와 양방향 호환이 가능한 구조상의 유연성은 MPEG-4 HE AAC의 또 다른 advantage(장점) 이라고 할 수 있다. 또한 전송 대역이나 저장 용량은 부호화될 비디오/오디오 채널 수에 비례하기 때문에 높은 압축 효율은 다채널 environment에서도 유용하다고 할 수 있다. 이 기술이 범용성과 객체기반 구성 및 조절성, 콘텐츠기반 상호작용성 등 새로운 개념(槪念)을 도입할 수 있었던 것도 이런 이유다. 세부 요소기술은 다음과 같다. 이는 저주파 대역의 정보를 이용해 고주파 대역 成分을 추정할 수 있다는 것을 의미한다. 또한 H.264는 현재 국내 위성 디지털멀티미디어방송(DMB) 및 지상파 DMB의 기술표준으로, MPEG-4 HE AAC는 국내 위성 DMB의 표준으로 각각 선정됐다. 비록 H.264가 기존의 표준들과 하이브리드 비디오 부호화라는 유사한 방식을 이용하고 있으나 다음과 같은 기술적 우위를 지니고 있다.
AAC는 SBR과 결합될 경우 AAC만 사용할 때보다 훨씬 높은 압축 효율을 갖게 되는데, 이는 SBR의 추가 정보가 매우 작아 AAC의 부호화 자원 대부분을 저주파 成分의 부호화에만 사용할 수 있기 때문이다.
·향상된 움직임 예측 및 보상
2.MPEG-4 HE(High-Efficiency) AAC
SBR 기술의 기본원리는 오디오 신호의 고주파와 저주파 대역 사이에 높은 연관성이 존재한다는 가정에 기반을 둔다. 이에 ITU는 H.26L로 명명한 차세대 부호화 방식의 ‘기술제안요청서’를 발표했으며, 각급 기업체·연구소·학계의 활발한 연구가 진행됐다. 이런 멀티미디어 기능은 모뎀칩외에 별도 응용 프로세서상에 구현되며 현재 몇 종의 칩해결책이 개발돼 있다.
(그림 1. H.264 표준)
·인루프디블로킹필터(In-Loop Deblocking Filter)
Download : 20040316-.jpg( 98 )
ITU-T와 ISO가 공동 제정한 차세대 동영상 압축 표준 H.264는 다양한 네트워크 environment에 쉽게 부응할 수 있는 유연성과 동영상의 부호화 효율성 측면에서 MPEG-2, MPEG-4(Part 2) 등 기존 기술표준들에 비해 많은 진보가 있었다. 그동안 방대한 데이터를 저장·전송하기 위한 여러가지 압축기술이 연구돼 왔으며, 특히 1980년대 후반 디지털 동영상 정보의 부호화 및 저장기술 표준규격을 제정해야 한다는 요구가 제기되면서 기술발전이 가속화하기 처음 했다.
(그림 3. 단말 Software 구성도)
·향상된 엔트로피 부호화
2001.6∼2004 현재 엠큐브웍스(주) 연구소장
·무선통신을 통한 방송서비스: 지상파 DMB/위성 DMB
·광(Optical) 및 자성(Magnetic)을 이용한 저장장치
H.264가 MPEG-2, MPEG-4(Part 2) 등 기존 동영상 압축 표준에 비해 높은 압축성능과 유연성의 advantage(장점) 을 가진 반면, 부호기 및 복호기의 복잡도 역시 훨씬 증가한다는 단점이 있다. 이후 2001년 ISO/IEC의 MPEG 그룹이 H.26L 프로젝트에 참가함으로써, 지난해 5월 마침내 ITU-T는 H.264라는 표준을 승인했고 이어 8월 ISO/IEC에서 MPEG-4 Part 10으로 최종 승인했다. 그런 다음 전 대역의 스펙트럼을 갖는 원본 오디오 신호의 스펙트럼 포락선과 전위 과정에서 포함되지 않고 제외될 가능성이 있는 고주파 成分을 보상하기 위해 필요한 추가 정보를 이용, 고주파 대역의 모양을 조정한다. SBR의 첫 단계는 저주파 스펙트럼 데이터를 고주파 대역으로 복사하는 전위의 과정이다. 그림 2는 SBR을 통한 고주파 대역 복원 과정의 개념(槪念)을 도식화한 것이다. 여기서는 휴대폰 멀티미디어 서비스를 빠르게 진화시키고 있는 세가지 압축기술의 발전추세와 향후 전망을 살펴본다.
1997.3∼2001.6 SK텔레콤 선임연구원
3.멀티미디어 단말 기술
1998.1∼1998.12 스탠포드대 비지팅 스칼라
[테마특강]모바일 멀티미디어 기술의 진화
멀티미디어 애플리케이션은 DHK&호스트 인터페이스와 멀티미디어모듈을 사용하며, 스트리밍·로컬·download 서비스와 정지영상 및 동영상 기능을 제공한다.
