首頁(yè)>>>技術(shù)>>>視像通信　　視像通信產(chǎn)品

基于多核媒體處理器 實(shí)施HD視頻轉碼標準戰略

Bahman Barazesh/George Kustka/Mark Simkins 2010/01/25

　　電信行業(yè)內真正有趣的玩笑很少，不過(guò)有一條卻以其諷刺性的幽默讓人聽(tīng)后不禁莞爾：關(guān)于標準最大的好處，就是有如此多的標準可供人們選擇。這句話(huà)不僅適用于視頻領(lǐng)域，通信、傳輸系統以及技術(shù)接口等領(lǐng)域亦是如此。

　　本文首先會(huì )簡(jiǎn)要介紹一些最常用的視頻標準，然后討論諸如LSI等芯片制造商們所采用的多內核且基于媒體處理器的靈活方法。LSI在面向語(yǔ)音/視頻媒體網(wǎng)關(guān)市場(chǎng)開(kāi)發(fā)產(chǎn)品方面積累了豐富的行業(yè)經(jīng)驗，包括借助新一代媒體網(wǎng)關(guān)提供針對任意設備間視頻通信和實(shí)時(shí)協(xié)作應用的可擴展的產(chǎn)品系列。

　　奠定基礎

　　過(guò)去十年來(lái)，視頻的重要性一直在與日俱增。消費廣告形式的轉變是其中第一個(gè)也可能是最重要的促進(jìn)因素。不過(guò)從目前來(lái)看，電視的收視率已經(jīng)下降到了歷史最低點(diǎn)，電視廣告的效果和影響力出現了下滑，然而廣告費用卻始終居高不下。因此，廣告商正著(zhù)力為其廣告開(kāi)支尋找新的流向，其中最受廣告商青睞的一個(gè)方向，就是蓬勃發(fā)展的在線(xiàn)視頻點(diǎn)播。

　　這種變化的原因顯而易見(jiàn)。因為信息可以實(shí)現極其精細的傳輸，而且成本遠遠低于傳統方法，所以將視頻作為一種基于網(wǎng)絡(luò )的應用(借助互聯(lián)網(wǎng))，其大受歡迎也就不足為奇了。此外，無(wú)處不在的寬帶、現代個(gè)人電腦的強大功能以及多媒體內容涌現出的驚人廣度、深度與豐富性也為視頻的逐步流行助了一臂之力。

　　受到市場(chǎng)追捧的任何新興技術(shù)同時(shí)也都會(huì )促進(jìn)創(chuàng )新，進(jìn)而轉化為產(chǎn)品和服務(wù)的差異化、對爭做第一的追求以及消費成本的降低。但創(chuàng )新以及對獨樹(shù)一幟的追求往往會(huì )導致為滿(mǎn)足市場(chǎng)需求而各自為政，同時(shí)也不可避免地導致產(chǎn)品互不兼容。這種不兼容性會(huì )減緩市場(chǎng)發(fā)展，因為用戶(hù)擔心選擇的產(chǎn)品或服務(wù)最后會(huì )走上錯誤的技術(shù)路線(xiàn)。

　　標準化機構有責任協(xié)調開(kāi)發(fā)商所采納的不同方案。平衡是解決問(wèn)題的關(guān)鍵所在。標準化組織必須制定“為產(chǎn)品開(kāi)發(fā)提供統一方案”的建議，同時(shí)為實(shí)施闡釋留出足夠的空間，以避免創(chuàng )新陷入僵化和畫(huà)地為牢的境地。

　　當前大多數視頻標準均是由國際電聯(lián)(ITU)與動(dòng)態(tài)圖像專(zhuān)家組(MPEG)這兩個(gè)機構制定。ITU 從傳輸視頻流的網(wǎng)絡(luò )角度制定標準，而MPEG則是從所傳輸的產(chǎn)品角度來(lái)制定標準。二者均得到了廣泛應用且具有良好的兼容性。

　　ITU 標準

　　ITU發(fā)布的視頻標準位于相關(guān)標準的‘H’卷，包括H.261、H.263與H.264等。本節將對上述標準進(jìn)行逐一介紹。

　　H.261

　　H.261 最初是針對 ISDN 時(shí)代的有限數據速率（特別是 64kbps 的倍數）而開(kāi)發(fā)的視頻編碼標準。在一些文件中該標準也被稱(chēng)為 Px64，其中 P 代表 1~30 之間的任何一個(gè)數字（30 是ISDN 基本速率線(xiàn)路或 E-1 設備所能夠提供的最大信道數）。

　　H.263

　　H.263 是專(zhuān)為執行中等質(zhì)量視頻會(huì )議與視頻電話(huà)應用的視頻壓縮而制定的視頻編碼標準。H.263 最初用于傳輸 20kbps 的低帶寬視頻，基本建立在 H.261 設計方案的基礎之上，不過(guò)僅需 H.261 的一半帶寬即可實(shí)現同等質(zhì)量。因此，H.263 在實(shí)施頻率方面已經(jīng)有效取代了 H.261。與 H.261 一樣，H.263 也依靠實(shí)時(shí)傳輸協(xié)議 (RTP) 傳輸視頻信號。

　　H.261 僅支持兩種分辨度，但 H.263 卻可支持 5 種。除了 CIF 與 QCIF，H.263 還可支持 SQCIF、4CIF 與 16CIF。

　　H.264

　　H.264是ITU系列中的新一代標準，由ITU和國際標準化組織(ISO)聯(lián)合制定，也被稱(chēng)為 MPEG-4 Part 10標準。H.264/MPEG-4又稱(chēng)為高級視頻編碼( AVC)標準，旨在支持視頻會(huì )議、視頻電話(huà)等高端視頻應用，具有數字壓縮視頻(諸如低碼率互聯(lián)網(wǎng)流、HDTV廣播、數字影院等)等功能。

　　H.264包含的高效視頻編碼工具能夠進(jìn)一步提高編碼效率。相對于以往標準，該標準在速率失真方面有顯著(zhù)的優(yōu)勢(根據相關(guān)應用，平均增益可高達50%)。它針對特定應用需求提供了多個(gè)類(lèi)別。基本類(lèi)包括針對視頻會(huì )議與移動(dòng)應用優(yōu)化的工具；擴展類(lèi)針對流媒體應用；而主類(lèi)和高級類(lèi)則針對廣播以及存儲應用。

　　H.264在算法概念上分為兩層：視頻編碼層(VCL)代表了視頻壓縮的內容；網(wǎng)絡(luò )適配層(NAL)根據網(wǎng)絡(luò )能力對視頻壓縮數據進(jìn)行打包和傳送。另外它還為RTP等傳輸協(xié)議以及存儲系統提供頭信息。

　　可擴展視頻編解碼器 (SVC) 標準是對 H.264 的最新擴展，用于傳輸在時(shí)間、空間和視頻質(zhì)量方面具有可擴展性的編碼流。該 SVC 擴展引入了一個(gè)原始 H.264 中不存在的概念 ——把視頻碼流分成幾層。基礎層對視頻流最基本的時(shí)間、空間和質(zhì)量的表達進(jìn)行編碼。增強層利用基礎層作為起點(diǎn)，對附加信息進(jìn)行編碼，從而在解碼過(guò)程中把編碼結果用于重構高質(zhì)量、高分辨率或高幀率的視頻版本。通過(guò)對基礎層以及需要的后續增強層進(jìn)行解碼，解碼器能夠以所希望的特征產(chǎn)生一種視頻流。編碼視頻流可被刪節以限制帶寬占用或降低解碼計算要求。刪節過(guò)程僅指從編碼視頻流提取所需各層，而對視頻流本身不做其它任何處理。因此，可以根據端點(diǎn)解碼器的功能（如顯示尺寸、計算資源等）來(lái)實(shí)現最佳體驗質(zhì)量 (QoE)。

　　MPEG 標準

　　MPEG 視頻標準系列包含 MPEG-1、MPEG-2、MPEG-3 與 MPEG-4四個(gè)主要協(xié)議。

　　MPEG-1

　　MPEG-1 是一種由聯(lián)合圖像專(zhuān)家組與 CCITT（即現在的 ITU-T）的電話(huà)專(zhuān)家組共同制定的視頻和音頻有損壓縮標準，旨在用于把數字視頻與 CD 級音頻壓縮到 1.5Mb/s，壓縮比分別為 26:1 和 6:1。依據此標準，可以在信號質(zhì)量無(wú)過(guò)多損失的情況下傳輸高度壓縮的視頻與音頻。

　　MPEG-2

　　源于 MPEG-1 標準的 MPEG-2支持有損音頻與視頻壓縮。MPEG-2 是廣播、有線(xiàn)和直播衛星電視系統中數字電視傳輸最常用的標準。另外，它還適用于電影的格式化，以便于 DVD 的發(fā)行。MPEG-2 是一種國際標準，其個(gè)別部分（第 1 與第 2 部分）是與 ITU 聯(lián)合制定的。雖然 MPEG-2 廣泛應用于電視與 DVD 系統，但它并未對此類(lèi)環(huán)境做出全面的規定。該標準為本地化闡釋保留了大量余地。

　　MPEG-3

　　人們普遍認為 MPEG-3 就是音樂(lè )編碼的流行標準 MP3（其區別在于 MPEG-1 第 3 層），但事實(shí)恰恰與此相反。MPEG-3 規定了一系列專(zhuān)門(mén)用于以 20～40Mb/s 的速率傳輸 1080p HDTV 信號的音頻與視頻編碼標準。當 HDTV 問(wèn)世時(shí)，大家發(fā)現當時(shí)的 MPEG 標準似乎稍顯不足，因此選擇 MPEG-3 作為臨時(shí)解決方案。1992 年，HDTV 作為一種特殊服務(wù)配置文件被添加到了 MPEG-2 之中，MPEG-3 隨之成為 MPEG-2 的一部分。

　　MPEG-4

　　隨著(zhù)多媒體應用在 20 世紀 90 年代后期和 21 世紀初期的日益普及，人們越發(fā)需要一種能夠滿(mǎn)足此類(lèi)應用特殊需求的壓縮標準，在這種背景下，MPEG-4 應運而生。

　　MPEG-4 于 1998 年問(wèn)世，很快即成為用于基于 Web 的流媒體、基于 CD 的音頻內容、語(yǔ)音和廣播電視的專(zhuān)用標準。該標準提供許多 MPEG-1 與 MPEG-2 已經(jīng)規定的相同功能，但另外針對渲染數字圖形的特殊要求而增加了一些新規范，包括對用于 3D 圖形渲染和數字版權管理 (DRM) 的虛擬現實(shí)標記語(yǔ)言 (VRML) 的支持。該標準的許多部分都是經(jīng)過(guò)精心設計的，而且得到了廣泛應用。MPEG-4 第 2 部分得到了 DivX®、Xvid®、Nero Digital® 與 QuickTime® 以及 H.264 所含高級視頻編碼 (AVC) 的廣泛采納。另外該部分也已應用到了 HD DVD 與 Blu-ray Disc™ 之中。

　　幾種外圍標準

　　由于VC-1、Flash視頻等新視頻標準已經(jīng)在技術(shù)領(lǐng)域站穩腳跟，因此值得一提。VC-1是之前討論的許多標準中所采用的編解碼格式的變體。VC-1由業(yè)界眾多公司編寫(xiě)而成，不過(guò)普遍認為它是由微軟開(kāi)發(fā)，它被視為H.264的替代標準。VC-1針對交錯式視頻內容進(jìn)行了優(yōu)化，因此成為廣播與視頻行業(yè)更適用的解決方案。盡管VC-1剛問(wèn)世不久，但藍光與高清 DVD均采用了 VC-1，而且 Windows Vista也支持VC-1解碼器，從而使其在市場(chǎng)中占據了有利地位。

　　Flash視頻采用Adobe Flash Player播放，可支持H.264視頻及AAC音頻等各種編解碼格式輸出。此格式廣泛應用于互聯(lián)網(wǎng)視頻分配，而且已被YouTube以及Yahoo!等各大網(wǎng)站所采用。

　　文章開(kāi)頭提到的笑話(huà)并非是玩笑，看起來(lái)，有多少種需要傳輸的視頻就有多少種視頻格式化和傳輸標準。這種現象好的一面，是各種標準組織已經(jīng)展開(kāi)緊密合作，從而減少了新標準數量，更多關(guān)聯(lián)標準得以涌現。不過(guò)，制造商似乎也一直面臨著(zhù)同樣的挑戰。面對如此多的標準，他們該如何快速、高效地實(shí)現產(chǎn)品上市？如何才能確定哪個(gè)標準會(huì )是最好的，以及該按照哪個(gè)標準設計自己的產(chǎn)品？顯然，他們可以設計出符合多種標準的產(chǎn)品，但這需要采用某種媒體網(wǎng)關(guān)以確保實(shí)現全面的互操作性。

　　值得注意的是，即使采用的標準再好，實(shí)際產(chǎn)品仍然會(huì )受到成本與上市時(shí)間的限制，因此往往不得不進(jìn)行折中，如：硬接線(xiàn)邏輯可以滿(mǎn)足HD視頻編解碼器的復雜需求，但卻缺乏靈活性。為了實(shí)現更壓縮水平，視頻編解碼標準的復雜性在不斷提高，因此需要更高的靈活性來(lái)處理部分兼容的實(shí)施方案。一種方法是采用技術(shù)體系中的最低等級，顯然，為了適應視頻以及視頻用戶(hù)的不斷變化，視頻標準過(guò)去幾年已經(jīng)有所發(fā)展。視頻最初存在于廣播或有線(xiàn)電視領(lǐng)域，但現在它以適合一系列廣泛設備的各種格式逐步進(jìn)入互聯(lián)網(wǎng)。當然，其挑戰是為各種設備與平臺提供一切內容并且使其能夠播放這些內容，這并非易事。一部分解決方案源于市場(chǎng)中能夠處理上述繁雜功能的多種成功的操作系統的發(fā)展。雖然靈活性與功能非常出色，但是這些操作系統實(shí)現上述目的需要付出高功率和低密度的代價(jià)，不過(guò)，如果所需要的正是低密度應用，并且功率不是問(wèn)題時(shí)，那么就值得付出上述代價(jià)。

　　多媒體是現在的熱門(mén)，而隨著(zhù)支持互聯(lián)網(wǎng)接入、游戲、視頻以及電視的寬帶手機問(wèn)世，形勢已經(jīng)發(fā)生了改變。其它應用對網(wǎng)絡(luò )以及聯(lián)網(wǎng)設備的需求同樣巨大，如用戶(hù)生成的內容以及社交網(wǎng)絡(luò )等。為此，在電信領(lǐng)域大獲成功的半導體公司針對這種需求開(kāi)發(fā)了支持各種視頻分辨率(如：QCIF、CIF以及HD)以及具有支持各種標準的靈活性的視頻處理架構。

　　為了成功處理高分辨率視頻，設計人員必須將功耗作為一種關(guān)鍵設計要素。視頻是各種應用中功耗需求最高的應用之一，因為滿(mǎn)足QoS要求以及觀(guān)眾期望的輸出，需要大量的處理工作。實(shí)現最高功率性能需要采用低功耗技術(shù)。視頻應用可通過(guò)采用具有高效管線(xiàn)設計的多內核媒體處理器來(lái)滿(mǎn)足可編程性以及低功耗的需求。

　　可編程多核媒體處理器

　　隨著(zhù)多種視頻與音頻格式的出現，支持它們及其應用的設備也在變得日益復雜，從而催生了成本更高且更為復雜的半導體設計方案。視頻屬于要求極高的應用，所呈現的高質(zhì)量信號需要進(jìn)行特別處理，因此在部署視頻專(zhuān)用產(chǎn)品時(shí)必須考慮一系列功能。可編程多核解決方案不但靈活，而且功耗較低。

　　視頻編碼過(guò)程中一大部分實(shí)時(shí)周期實(shí)際上是用于控制與數據處理。例如，理想方案是在單次運算中同時(shí)處理用于轉換和過(guò)濾的控制敏感型數據。通過(guò)增強控制和修改流程指令，如高效硬件環(huán)路、并行條件計算以及高效預加載，可以獲得更佳的解決方案。

　　另外，還應盡可能采用效率最高的方式處理解析、運動(dòng)矢量預測、內插、運動(dòng)補償、CABAC運算及其它計算強度高的任務(wù)。事件處理或管理中的每個(gè)元素所要求的計算形式都有少許不同。此類(lèi)考慮決定了系統的整體架構。所有任務(wù)都采用單一處理器內核會(huì )導致整體架構效率低下。例如，如果需要更高時(shí)鐘頻率或更多內核，則需要更昂貴、耗電更高的器件。通過(guò)讓每種處理采用專(zhuān)用可編程內核，可以?xún)?yōu)化計算任務(wù)并提高整體系統效率。提供多個(gè)內核、高級處理和高數據吞吐量的媒體處理器，能夠實(shí)現具有滿(mǎn)足當前與未來(lái)多媒體需求所需性能與靈活性組合的解決方案。

　　媒體格式豐富的應用要求能夠跨越多個(gè)通道的高密度DSP功能，值得慶幸的是，滿(mǎn)足該種應用需求的多核多媒體處理器已經(jīng)問(wèn)世。在為新一代媒體應用挑選多核媒體處理器時(shí)應當考慮一系列重要特性。表 1 列出了這些特性及相關(guān)重要說(shuō)明。

表1. 多媒體專(zhuān)用多核DSP重要特性

　　多層編碼器架構

　　典型視頻轉碼器實(shí)施方案需要HD解碼器(SD、720p或1080p)，有可能要調整圖像尺寸、將YUV輸出分配到其它內核或器件，并以CIF、SD、720p或1080p分辨度進(jìn)行視頻編碼。本部分主要介紹完整的解／編碼轉碼技術(shù)，相同工作原理也適用于高效轉碼器，其解碼器參數(如：運動(dòng)矢量)等常被用于編碼器來(lái)降低編碼器復雜性。

　　高清視頻編碼，即1080p(1920x1080)與 720p(1280x720)分辨度的任務(wù)非常苛刻，其需要多個(gè)媒體處理內核，以便實(shí)時(shí)實(shí)現30FPS～60FPS。該任務(wù)甚至可以跨越多個(gè)多核DSP器件。本文主要針對H.264展開(kāi)討論，不過(guò)相同原理同樣適用于H.263與MPEG4編碼器。可以采用兩種方式實(shí)現DSP內核之間的任務(wù)劃分。

圖1. H.264 編碼器方框圖

　　一種選擇是在DSP內核之間進(jìn)行功能分配，盡可能均勻地在內核之間分配計算負載。例如，如圖1所示，一個(gè)內核負責幀間預測與幀內預測，另一個(gè)內核負責實(shí)現變換與量化，而第三個(gè)內核則負責運行去塊效應濾波器與熵編碼工作。實(shí)際上，功能劃分存在多種缺陷。負載均衡需要在內核之間實(shí)現更高級的通信與協(xié)調。均衡內核之間的計算負載難度更高，因為每個(gè)功能塊都具有很高的復雜性。當圖像分辨率從CIF提高到HD時(shí)，無(wú)法采用功能劃分架構實(shí)現可擴展性。

　　能夠克服上述問(wèn)題的另一種視頻編碼器實(shí)施方案，是適用于可擴展多核器件的多層架構。該方案還適用于多器件架構，其中多個(gè)多核器件通過(guò)sRIO、PCIe等高速互連總線(xiàn)進(jìn)行連接。

　　在這種架構中，編碼器的實(shí)施分配到多個(gè) DSP 內核。每個(gè)宏塊條都分配到一個(gè)DSP內核。其中每個(gè)內核都提供一些特定功能，如：速率控制與幀內圖像處理。事實(shí)上，無(wú)法預先進(jìn)行比特預算并分配到各個(gè)宏塊條，因為不同宏塊條可能具有不同的圖像復雜性，而在圖像分割塊之間采用差異很大的Qp值會(huì )造成合成圖像的層邊界出現偽影。在H.264中，宏塊條NAL可以包含任意數量的宏塊，因此與H.263不同，圖像分割塊的形狀無(wú)需符合GOB邊界。每個(gè)宏塊條的頭部(slice header)均包含宏塊條數據中編碼的第一個(gè)宏塊的編號。

圖2. HD 編碼器多層處理

　　在多宏塊條架構中(如圖2所示)，DSP內核從sRIO接口(連接另一個(gè)多核媒體處理器)接收YUV格式的原始視頻。該媒體處理器可實(shí)施H.264解碼器。這種多處理器架構可以充分利用 sRIO的靈活性?xún)?yōu)勢，動(dòng)態(tài)地將一個(gè)多核媒體處理器中已經(jīng)解碼的宏塊條分配給另一個(gè)多核媒體處理器中的DSP內核，從而進(jìn)行深入處理。

　　sRIO是一種點(diǎn)對點(diǎn)技術(shù)，可以很靈活地連接多個(gè)器件來(lái)傳輸數據或處理通用數據集。每個(gè)器件都在其它器件的I/O空間自主地進(jìn)行“寫(xiě)”操作。每個(gè)sRIO在各個(gè)方向都可支持高達 10Gbps的吞吐能力。把sRIO與高效DMA通道完美結合，可實(shí)現：


圖3. 高吞吐量、低時(shí)延多核器件互連示例

　　圖3說(shuō)明，高速串行I/O在復雜視頻處理任務(wù)中的潛在應用。圖中顯示用于擴展多個(gè)器件中多核器件處理能力的連接方案，其可以實(shí)現更復雜的視頻處理運算或支持更多視頻轉碼通道。采用sRIO開(kāi)關(guān)能夠實(shí)現更靈活的器件間通信，不過(guò)如果處理流處于相鄰器件之間，也可以不采用這種開(kāi)關(guān)。與PCIe開(kāi)關(guān)相比，sRIO由于其數據包開(kāi)銷(xiāo)較低，因此一般成本更低、性能更高、且時(shí)延更短。

　　多核解碼器架構

　　視頻解碼器的實(shí)現一般需要獨立于編碼器。也就是說(shuō)，解碼器結構必須通用，以處理不同編碼器方案，如單NAL或多NAL實(shí)現方案。H.264解碼器涉及串行操作和并行操作，而且一項重要任務(wù)是在多個(gè)內核DSP間實(shí)現高效分配。高效的多核實(shí)現架構是可分成眾多串行操作。

　　熵解碼器是一種包含串行操作和局部循環(huán)的功能塊，無(wú)法分配給運行在多個(gè)內核中的并行任務(wù)。即使考慮采用上下文自適應二進(jìn)制算術(shù)編碼(CABAC)等先進(jìn)技術(shù)，熵解碼器的復雜性也低于重組塊。隨著(zhù)DSP內核功能日益提高，可在單個(gè)DSP內核中實(shí)現解碼功能。

圖4. H.264解碼器方框圖

　　圖4為一種多核架構，其采用單個(gè)DSP內核實(shí)現熵解碼，且將重組塊的計算強度更高的任務(wù)分配給多個(gè)DSP內核。這種數據分配技巧可將任務(wù)間通信保持在指定內核上并實(shí)現更有效的高速緩存性能。此架構的另一個(gè)優(yōu)勢，是具有從SD到HD的可擴展性，同時(shí)實(shí)現DSP 內核間更均勻的負載均衡。可以考慮采用不同實(shí)現方案，如：每?jì)群藛涡谢蛎績(jì)群硕嗔小祿峙溥�有利于整體時(shí)延的最優(yōu)化，因為是采用流水線(xiàn)方式實(shí)現解碼，所以只要收到來(lái)自相鄰宏塊的數據就能夠執行宏塊的解碼。

電子工程專(zhuān)輯


相關(guān)閱讀:
通過(guò)改善視頻和編解碼器接口降低DVR系統成本 2010-01-25
探究視頻轉碼技術(shù)與系統要求相匹配 2010-01-25
多媒體網(wǎng)絡(luò )視頻會(huì )議業(yè)務(wù)的現狀與未來(lái) 2010-01-21
IP Camera的視頻性能及動(dòng)態(tài)范圍分析 2010-01-21
五款視頻監控解決方案分析 2010-01-21

分類(lèi)信息:  視像通信_與_國防

亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 刚察县| 青阳县| 九台市| 通江县| 沐川县| 竹山县| 嵊泗县| 四子王旗| 武胜县| 公安县| 襄垣县| 枣阳市| 韶山市| 宁明县| 平乡县| 万安县| 益阳市| 达孜县| 霸州市| 平昌县| 曲靖市| 新巴尔虎左旗| 鲜城| 浦江县| 彰武县| 武夷山市| 桂阳县| 江都市| 秦皇岛市| 和政县| 同仁县| 眉山市| 江阴市| 轮台县| 景洪市| 陆丰市| 文成县| 南岸区| 六安市| 芒康县| 东乌| http://444 http://444 http://444 http://444 http://444 http://444