H.264/AVC在無(wú)線(xiàn)環(huán)境的應用
Thomas Stockhammer, Miska M. Hannuksela, and Thomas Wiegand
2004/03/09
摘要----視頻在無(wú)線(xiàn)網(wǎng)絡(luò )的傳輸對高效率的壓縮和網(wǎng)絡(luò )的完善設計是一個(gè)極具挑戰性的任務(wù)。這已經(jīng)成為H.264/AVC編碼標準化在非正式應用（如可視電話(huà)）和正式應用（如存儲、廣播、流媒體）領(lǐng)域的主要目標。H.264/AVC視頻編碼層的視頻壓縮性能有了巨大的提高。基于H.264/AVC的網(wǎng)絡(luò )完善設計的目標是通過(guò)網(wǎng)絡(luò )抽象層來(lái)實(shí)現的，這已經(jīng)被開(kāi)發(fā)出來(lái)用于在任何現有的和將來(lái)的網(wǎng)絡(luò )包括無(wú)線(xiàn)網(wǎng)絡(luò )來(lái)傳輸經(jīng)過(guò)編碼的視頻數據。本文的主要目標是H.264/AVC在無(wú)線(xiàn)系統應用方面的一個(gè)概述，其中最重要的是H.264/AVC在無(wú)線(xiàn)會(huì )話(huà)服務(wù)中的應用。所有的這些應用都是通過(guò)不同的工具以及實(shí)驗來(lái)證明過(guò)的。
I．介紹
自1997年以來(lái)，ITU-T的視頻編碼專(zhuān)家組（VCEG）就開(kāi)始制訂一個(gè)新的視頻編碼標準并在內部命名為H.26L。在2001年后期，運動(dòng)圖像專(zhuān)家組（MPEG）和VCEG決定共同成立一個(gè)聯(lián)合視頻組（JVT），為ITU-T即將推薦的H.264/AVC以及MPEG-4最新的部分AVC創(chuàng )立一個(gè)單獨的技術(shù)設計。JVT成立后，技術(shù)規范、標準文檔以及軟件在2002年11月已經(jīng)制訂下來(lái)。H.264/AVC的主要目標就是提高編碼效率和提高網(wǎng)絡(luò )適應性。在相同的圖象質(zhì)量下，H.264/AVC的算法比以前的標準如ITU-T REC.H.263和ISO/IEC JTC 1 MPEG-4的碼流都大為降低。
在今天的Internet，對多媒體服務(wù)的需求呈現快速增長(cháng)的趨勢。因此，很多當前和將來(lái)的移動(dòng)網(wǎng)絡(luò )，如GSM-GPRS，UMTS和CDMA-2000，包含一個(gè)多變的基于包的傳輸模式，幾乎可以在所有的移動(dòng)終端上進(jìn)行任何類(lèi)型的基于IP的的數據傳輸，這樣就可以提供給用戶(hù)一個(gè)簡(jiǎn)單靈活的傳輸界面。第三代合作方案（3GPP）已經(jīng)選擇了幾個(gè)多媒體編碼器包含在他們的多媒體規范里面。為3G無(wú)線(xiàn)系統提供基本的視頻服務(wù)，在建立好的規范里已經(jīng)集成了H.263和MPEG-4 v SP。這個(gè)選擇是在編解碼可管理復雜性的基礎上完成的。
由于受無(wú)線(xiàn)網(wǎng)絡(luò )有限的帶寬資源和傳輸能力的限制，目前市場(chǎng)上最終用戶(hù)大部分是按照流量付費的方式來(lái)使用無(wú)線(xiàn)網(wǎng)絡(luò )數據服務(wù)的。因此，提高壓縮效率是無(wú)線(xiàn)視頻和多媒體應用的主要目標。 因此，H.264/ AVC編碼標準成為在多媒體信息服務(wù)(MMS)、包交換流服務(wù)(PSS)和會(huì )話(huà)應用方面最有競爭力的候選標準。然而,要使視頻在不同的環(huán)境下傳輸，不但需要高效率的編碼，同時(shí)經(jīng)過(guò)編碼的視頻應該很容易地無(wú)縫集成到當前和未來(lái)的網(wǎng)絡(luò )協(xié)議架構當中。除此之外，視頻編碼在會(huì )話(huà)應用中提高容錯的支持是重要的，這也是在編碼標準化過(guò)程中被考慮的因素之一。
這篇文章是按照以下結構來(lái)組織的，第二部分介紹無(wú)線(xiàn)視頻應用的各種應用程序和傳輸特征。采用H.264/AVC編碼的視頻傳輸進(jìn)行了簡(jiǎn)單的討論以及對移動(dòng)視頻傳輸在普通環(huán)境下的測試的介紹。第三部分總結了H.264/AVC視頻編碼標準在無(wú)線(xiàn)視頻應用領(lǐng)域的前景。我們根據不同的視頻服務(wù)應用進(jìn)行了分類(lèi)描寫(xiě)。第四部分討論了時(shí)延約束和差錯控制這兩個(gè)最具挑戰性的應用，也就是無(wú)線(xiàn)會(huì )話(huà)應用程序。在這里通過(guò)利用H.264/AVC以及聯(lián)合其它幾個(gè)方式的系統設計方案進(jìn)行了系統描述和問(wèn)題的表達。第五部分提供了在普通環(huán)境下對所選系統的測試結果。
II．視頻在移動(dòng)網(wǎng)絡(luò )
A.概述：應用和局限性
移動(dòng)終端傳輸視頻流是3G網(wǎng)絡(luò )成功的一個(gè)重要應用之一。移動(dòng)終端的幾個(gè)最新視頻應用為3G應用提供了很好的鋪墊。
以下三個(gè)主要的服務(wù)標志著(zhù)H.263/AVC標準的進(jìn)程：
1） 應用于視頻電話(huà)和視頻會(huì )議的電路交換和包交換會(huì )話(huà)服務(wù)（PCS）
2） 應用于直播和視頻錄象的包交換流媒體服務(wù)（PSS）
3） 多媒體信息服務(wù)（MMS）
雖然新的服務(wù)如多媒體廣播/組播服務(wù)（MBMS）是未來(lái)無(wú)線(xiàn)網(wǎng)絡(luò )的發(fā)展計劃，但我們被約束成單一的應用程序接受者。移動(dòng)手持設備受處理器速度和存儲容量的限制，因此，移動(dòng)視頻編碼的設計必須以最低復雜度和最高效率為目標。正如其它文章所討論的復雜問(wèn)題一樣，我們將自己約束在傳輸和工具上。以上三點(diǎn)定義的應用可以在預定的的傳輸帶寬里面，最大限度地允許端到端的時(shí)延，在不同的系統結構有不同的結果，一個(gè)簡(jiǎn)單的圖示如圖一。
由于MMS沒(méi)實(shí)時(shí)性的約束，編碼，傳輸和解碼完全分離。記錄的視頻信號進(jìn)行離線(xiàn)編碼和本地存儲。可以在任何時(shí)間進(jìn)行發(fā)送，接受端在完全下載下來(lái)后才進(jìn)行解碼。
對于PSS應用程序來(lái)講，用戶(hù)典型地請求已經(jīng)編碼好并存放在服務(wù)器的隊列。反之編碼和傳輸是分開(kāi)的，解碼和顯示是在移動(dòng)設備的時(shí)延和內存的使用率最小時(shí)開(kāi)始。
最后，在會(huì )話(huà)服務(wù)中端到端的時(shí)延已經(jīng)最小化來(lái)避免可視的干擾和保持視頻和音頻的同步。然而，編碼、傳輸和解碼實(shí)時(shí)地在雙向同時(shí)進(jìn)行。這些不同的額外情況需要不同的策略去編碼、傳輸和解碼, 如下面的網(wǎng)絡(luò )和控制結構圖。
一般而言，通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò )來(lái)傳輸數據的可用帶寬是有限的，用戶(hù)則希望他們使用無(wú)線(xiàn)網(wǎng)絡(luò )所付出的代價(jià)與其低帶寬是成正比的。因此，低碼流很適合大眾，在移動(dòng)環(huán)境的視頻編碼標準的成功取決于壓縮效率。這樣使H.264/AVC成為了無(wú)線(xiàn)系統的最佳候選標準，因為它的特點(diǎn)就是高效率壓縮。
除此之外，移動(dòng)網(wǎng)絡(luò )由于受地理環(huán)境、天氣以及多用戶(hù)沖突等因素的影響，造成網(wǎng)絡(luò )波動(dòng)較大。頻道變化的頻率高度地依賴(lài)環(huán)境、用戶(hù)的位置、用戶(hù)移動(dòng)的速度和信號載波的頻率。 通過(guò)信號統計進(jìn)行長(cháng)代碼的平衡是可以充分實(shí)現的，因此傳輸策略可以根據長(cháng)時(shí)間的數據測試來(lái)進(jìn)行制訂。在3G系統中應用C語(yǔ)言可以使許多高度復雜的廣播鏈路頻道情況得以?xún)?yōu)化，例如寬帶接入、差異技術(shù)、時(shí)空編碼、多天線(xiàn)系統、快速控制、交叉以及錯誤修復轉發(fā)。然而,這些高級的技術(shù)只是對快速移動(dòng)的用戶(hù)和相對較大時(shí)延的應用來(lái)提供可以忽略不計的位錯誤和丟包率。 通常，由于信道不穩定的原因，在低時(shí)延的應用里面不得不忽略一些殘留的錯誤。 因此,除了高壓縮效率和合理的復雜性,適用于無(wú)線(xiàn)環(huán)境會(huì )話(huà)服務(wù)的視頻編碼標準必須具有較高的抗誤碼的能力。
另外，在無(wú)線(xiàn)系統設計的新方向中不需要將誤碼率降到最低,但是吞吐量的最大化是必須的。這尤其對時(shí)延要求不高的服務(wù)，例如PSS和MMS。信道的狀態(tài)對服務(wù)的使用有很大的影響，在信道狀態(tài)好的時(shí)候較可傳輸的數據流大大高于信道較差的時(shí)候。除此之外，可靠的鏈路層協(xié)議ARQ（Automatic Repeat reQuest） 通常用來(lái)保證無(wú)錯誤發(fā)送。舉例來(lái)說(shuō),在高速下載鏈路包訪(fǎng)問(wèn)(HSDPA)概念中的ARQ，無(wú)線(xiàn)系統里有效地提高吞吐量，適應的模塊化方案和多用戶(hù)規劃需要被列入考慮的范圍。
3G無(wú)線(xiàn)傳輸堆棧通常由二種不同類(lèi)型的輸送介質(zhì)組成，專(zhuān)用和共享信道。然而，使用專(zhuān)用信道用戶(hù)可以獲得固定帶寬用于傳輸數據，但使用共享信道用戶(hù)只有在動(dòng)態(tài)的帶寬下傳輸數據，類(lèi)似于A(yíng)TM或GSM GPRS。HSDPA將會(huì )成為共享信道在空中的一個(gè)擴展。除了MMS,在3G系統的初始階段所有的流媒體和會(huì )話(huà)應用都希望使用專(zhuān)用信道。 在現代的系統設計中，一個(gè)應用可以請求許多不同的服務(wù)質(zhì)量(QoS)級別的其中之一。服務(wù)質(zhì)量級別包含最大誤碼率、最大延遲和最大保證的帶寬等參數。此外,通常根據不同的應用分為不同的服務(wù)級別:會(huì )話(huà)應用、流媒體應用、交互應用以及后臺通信應用。特性和典型的例子見(jiàn)表1。
B.H.264/AVC視頻在無(wú)線(xiàn)的系統的傳送
根據圖2，H.264/ AVC在不同的概念層上區分開(kāi)來(lái)，視頻編碼層(VCL)和網(wǎng)絡(luò )抽象層(NAL)。VCL和NAL都是H.264/ AVC標準的一部份。VCL對視頻編碼信號進(jìn)行了有效的說(shuō)明。H.264/AVC的NAL定義了視頻編碼和外面世界之間的接口。它通過(guò)NAL單元來(lái)支持大部分基于包的網(wǎng)絡(luò )。在NAL解碼接口，它假設NAL單元已經(jīng)通過(guò)解碼命令被發(fā)送，數據包要么被正確接受，要么丟失，如果有效載荷里包括了錯誤的數據流，NAL單元的頭就會(huì )產(chǎn)生一個(gè)錯誤的標記。由于標記可以用于不同的目的，因此它并不作為標準的一部分。然而,它提供一個(gè)在整個(gè)網(wǎng)絡(luò )里提供錯誤指示信號的方法。此外，接口規范要求標準化主體有責任對不同傳送協(xié)議進(jìn)行描述。NAL單元在不同傳輸系統的精確傳輸和加密,例如H.320,MPEG-2系統和RTP/IP,也同樣在h.264/AVC標準化的范疇以外。在標準里面正式定義了NAL解碼接口,然而，VCL和NAL之間的接口只是概念上的定義，主要是幫助描述和分開(kāi)VCL和NAL的任務(wù)。
在3G網(wǎng)絡(luò )上面的實(shí)時(shí)視頻服務(wù),兩個(gè)協(xié)議堆棧是最重要的。3GPP為電路交換信道定義了一個(gè)多媒體電話(huà)服務(wù)協(xié)議，就是基于ITU-T建議的H.324M。3GPP已經(jīng)選擇了SIP和SDP作為呼叫控制協(xié)議以及RTP作為媒體傳輸協(xié)議。換句話(huà)說(shuō)，基于IP的包交換通信會(huì )在當前應用于包交換的3G移動(dòng)服務(wù)。雖然H.324和RTP/UDP/IP協(xié)議堆棧有不同的根源和完全不同的交換哲學(xué),但媒體數據在傳輸時(shí)的丟包、延時(shí)等特性在無(wú)線(xiàn)網(wǎng)絡(luò )和有線(xiàn)網(wǎng)絡(luò )都是非常相似的。
ITU-T建立H.324主要應用于低碼流的電路交換鏈路，以及低碼流的移動(dòng)電路交換會(huì )話(huà)服務(wù)。ITU-T Rec. H.324附件C將H.324正式命名為H.324M,允許在中低碼流或低誤碼下高碼流情況下的傳輸。在3GPP采用的H.324M協(xié)議中，包括一個(gè)錯誤多路技術(shù)協(xié)議H.223附件B，用于電路交換的視頻通信。這個(gè)多路技術(shù)協(xié)議包括兩層:基于包的多路技術(shù)容錯層和公共錯誤檢測性能適應層,例如 ，順序編號和循環(huán)碼校驗冗余檢測。 因此,它跟RTP/UDP/ IP堆棧非常相似。
因為包交換服務(wù),3GPP/3GPP2同意了一個(gè)基于IP的協(xié)議棧。圖3展示了一個(gè)NAL單元通過(guò)3GPP2用戶(hù)平面協(xié)議堆棧被封裝在RTP/UDP/IP的典型過(guò)程。在頭壓縮（RoHC）后，此IP/UDP/RTP包被封裝進(jìn)一個(gè)PDCP/PPP2包，變成了頻率鏈路控制（RLC）和服務(wù)數據單元（SDU）。RLC協(xié)議可以在三種模式下工作：透明、非確認和確認模式。RLC協(xié)議為用戶(hù)和數據提供分段和重傳服務(wù)。在透明和非確認模式，RLC被定義為單向的；在確認模式，RLC被定義為雙向的。對於所有的RLC模式，循環(huán)冗余檢查(CRC)的錯誤檢測在物理層上被運行，而且CRC檢查的結果和真實(shí)的數據一起被遞送到 RLC。在透明模式中，沒(méi)有上層的協(xié)議被增加到較高層的數據中。錯誤的協(xié)議數據單元（PDUs）可以被丟棄或標記為錯誤。在非確認模式中，沒(méi)有重傳協(xié)議在使用中，而且數據傳送沒(méi)有保證。接受到的錯誤數據根據配置來(lái)決定丟棄或標記為錯誤。在確認模式中，一種自動(dòng)的重復請求機制被用于錯誤訂正。
由于視頻包是自然改變長(cháng)度的,RLC-SDU的長(cháng)度也改變。如果一個(gè)RLC-SDU比一個(gè)RLC-PDU長(cháng)，PDU就會(huì )被分割成幾個(gè)PDU。 在使用過(guò)的模式中，非確認和確認的模式中，為了避免數據的減弱，大小可變的RLC-SDU的流動(dòng)是可變，在透明模式也是如此。在非確認模式中，如果任何包含特定RLC-SDU數據的RLC- PDU數據沒(méi)有被正確地接收到,RLC-SDU典型地被丟棄。在確認模式中，RLC/RLP層可以執行重傳。
此外，H.324和RTP/IP/UDP協(xié)議棧使用可靠的調整和控制協(xié)議，H.245和SIP也分別一樣。 因此，它可以表明很少量的控制數據可以在一定的范圍里可靠地傳輸。
在兩個(gè)情形中的實(shí)時(shí)低時(shí)延的視頻傳輸是非常相似的。 包通過(guò)底層的傳輸協(xié)議和信道來(lái)傳輸, 提供校位、封包、錯誤檢測和可靠的調整。 我們將來(lái)的焦點(diǎn)集中在
通過(guò)無(wú)線(xiàn)信道進(jìn)行基于RTP/IP的傳輸。
C. 無(wú)線(xiàn)視頻的普通測試環(huán)境
在H.264/AVC的標準化進(jìn)程中，移動(dòng)視頻傳輸的重要性已經(jīng)在3G移動(dòng)傳輸里面通過(guò)對基于H.324M的電路交換會(huì )話(huà)服務(wù)、包交換會(huì )話(huà)和流服務(wù)得到了證實(shí)。這些測試情況允許適當的編碼特征、測試和容錯仿真等特征的選擇,同時(shí)也可以得到有意義的測試結果。在本文，我們將會(huì )把重心集中在基于IP的測試情況。在正常的測試情況下，我們會(huì )定義6個(gè)測試情形組合，主要測試通過(guò)3G移動(dòng)網(wǎng)絡(luò )的包交換會(huì )話(huà)服務(wù)和包交換流媒體服務(wù)。另外，測試環(huán)境包括簡(jiǎn)單的脫機3GPP/3GPP2仿真軟件、程序接口和評估標準。無(wú)線(xiàn)信道使用專(zhuān)門(mén)生產(chǎn)用于移動(dòng)無(wú)線(xiàn)信道仿真的位率差錯模板來(lái)進(jìn)行仿真。 位率差錯模板在物理層上和RLC/RLP層下來(lái)捕獲，因此，它們在實(shí)驗被用于物理層仿真。通過(guò)位率差錯模板實(shí)驗中得出的碼率、長(cháng)度、位錯誤率和移動(dòng)速度數據詳見(jiàn)下表2。
位率差錯在文件中的是獨立統計統計,正如信號在3G系統編碼和解碼的時(shí)候發(fā)生錯誤一樣。這為以下的位率差錯模板文件所考慮。數組1和2 適合應用于視頻流媒體,數據在RLP/
RLC層可以重傳而且可以修正許多丟失的幀。 可以接受的信道編碼策略是使用C語(yǔ)言的編碼策略以及目標吞吐量最大化和錯誤最小化的能力控制。數組1和2
對會(huì )話(huà)服務(wù)是不切實(shí)際的,因為在圖象質(zhì)量可以接受的情況下，在沒(méi)有重傳機制的情況下不能夠承受如此高的錯誤碼流。
數組3到6的仿真結果更可靠，在會(huì )話(huà)應用中需要低錯誤率的運送者。 假定一任意的字節的開(kāi)始位置在文件包可能發(fā)生錯誤的位置里面。 這些錯誤可能性的所有數據錯誤在圖4中被顯示。 明顯可以看出錯誤率會(huì )因為包長(cháng)度的增加而提高。從位率錯誤表格(BEP1和2)可知，當包長(cháng)度減少的時(shí)候丟包率是不可以接受的, 舉例來(lái)說(shuō)，500個(gè)字節, 丟失可能性高達25%. 高的錯誤率需要在鏈路層上重傳。
這個(gè)圖表為合適包長(cháng)度的會(huì )話(huà)服務(wù)提供了非常有分寸的錯誤特性分析。1000字節的合理包長(cháng)度的錯誤特性可以低于5%. 這意味典型的固定英特網(wǎng)丟包的可能性不會(huì )被超過(guò)。但要注意，高速移動(dòng)(50
km/h)的用戶(hù)的信道狀況比步行(3 km/h)用戶(hù)要差得多。 因此，快速移動(dòng)用戶(hù)的錯誤率通常高與慢移動(dòng)的使用者。
在標準化的過(guò)程中，標準的開(kāi)始應該包含基于IP的有線(xiàn)和無(wú)線(xiàn)傳輸的容錯特征。在今天的傳輸系統中通常有兩種類(lèi)型的錯誤：錯位和丟包。 然而，所有相關(guān)多路傳輸協(xié)議如H.223和UDP/IP和幾乎所有的移動(dòng)系統都具備通過(guò)數字排隊和塊檢測排隊來(lái)進(jìn)行丟包和錯位檢測的能力。因此，可以斷定大部分被錯誤傳輸的包都能夠被檢測到。 而且，即使包被檢測到包含位錯誤,解碼也可以被嘗試進(jìn)行。這一點(diǎn)在某些研究已經(jīng)被證實(shí),在一些方案中，靜止圖的像傳輸已經(jīng)被報告。然而，在H.264/ AVC 標準的開(kāi)發(fā)考軟件里面，基于以下的幾點(diǎn)原因，含有位錯誤的包應被接受者考慮丟棄:
1. 處理含有位錯誤的包類(lèi)似于通過(guò)移動(dòng)設備來(lái)接收數據一樣，網(wǎng)關(guān)和接收者都是通過(guò)丟棄錯誤的包來(lái)使用網(wǎng)絡(luò )連接的。
2. 聯(lián)合的源信道解碼, 例如，可變長(cháng)度基于架構的代碼解碼或重復的源和信道解碼可以被接受。然而，這些技術(shù)還沒(méi)有在圖像解碼方面顯示重要的進(jìn)步。
3.基于丟包的解碼適合于在一個(gè)較窄的范圍里進(jìn)行，然而，H.264/AVC提供一個(gè)可用的針對錯誤傾向環(huán)境下的解碼。
4. 最后,處理位錯誤通常會(huì )使解碼軟件的實(shí)現變得很復雜。H.264作為一個(gè)為許多目標開(kāi)發(fā)測試的模型，只有簡(jiǎn)單和有意義的網(wǎng)絡(luò )借口已經(jīng)被集成。
除了定向接收器的錯誤檢測，錯誤可能在傳輸路徑的任何地方被發(fā)現并且馬上發(fā)送信號。RTP草案里面關(guān)于H.264/ AVC有效載荷的定義里面包含了超出有效載荷指示的定義。當重新發(fā)送接收到的被修正錯誤的數據流的時(shí)候發(fā)射器能設定這個(gè)指示。此外，如果傳輸錯誤在相應的數據包中被發(fā)現，任何的中間網(wǎng)絡(luò )元素能消除這個(gè)標記。因此,錯誤的有效載荷可以通過(guò)一個(gè)網(wǎng)絡(luò )，而且解碼器或任何網(wǎng)關(guān)能決定是否將這個(gè)錯誤的NAL單元解碼或丟棄。
廣州富年電子科技公司摘譯供稿 CTI論壇編輯
相關(guān)鏈接:
亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩
陆丰市|
晋州市|
南和县|
丹凤县|
阿图什市|
红河县|
饶河县|
丰都县|
石首市|
枣阳市|
大厂|
绩溪县|
海南省|
海兴县|
新泰市|
乐业县|
略阳县|
巨鹿县|
台州市|
湖口县|
温州市|
进贤县|
方正县|
遵化市|
祁东县|
白沙|
巴青县|
卫辉市|
牡丹江市|
河曲县|
监利县|
安岳县|
辉南县|
沙坪坝区|
赣榆县|
庐江县|
比如县|
台中市|
闵行区|
北安市|
峡江县|
http://444
http://444
http://444
http://444
http://444
http://444