Linphone1.6.0 本身具有視頻編解碼功能，默認(rèn)具有H263 、mpeg4、mjpeg等編解碼器，我們要仿照這些編解碼器的源碼結(jié)構(gòu)添加H264解碼器，重要的是將編解碼器的軟件編解碼部分替換成i.MX27的 VPU(視頻處理單元)來進(jìn)行硬件編解碼，因?yàn)閕.MX27的CPU處理速度有限，遠(yuǎn)及不上PC的CPU，而i.MX27的VPU則是專門進(jìn)行視頻編解碼處理的協(xié)處理器，在處理視頻數(shù)據(jù)的時(shí)候是不需要CPU參與。

　　代碼的添加過程如下：在向Linphone注冊編解碼器的地方添加H264編解碼器，使得Linphone具備H264編解碼器的功能選項(xiàng)，注冊的內(nèi)容包括：編解碼器id，一些名稱文本等標(biāo)識(shí)符，編解碼器初始化，視頻數(shù)據(jù)預(yù)處理、處理、后處理，編解碼器銷毀(釋放系統(tǒng)資源)等函數(shù)鏈接，編解碼器方法(進(jìn)行基本視頻編解碼處理之外的操作)等。注冊好編解碼器后，就是如何真正實(shí)現(xiàn)編解碼器對(duì)視頻流的編解碼處理了，也就是編解碼器的初始化，視頻數(shù)據(jù)預(yù)處理、處理、后處理，編解碼器銷毀等函數(shù)的實(shí)現(xiàn)。視頻處理的軟件部分主要包括內(nèi)核空間的驅(qū)動(dòng)和編解碼庫以及用戶空間的應(yīng)用程序。內(nèi)核驅(qū)動(dòng)負(fù)責(zé)系統(tǒng)控制和系統(tǒng)資源的申請(qǐng)和釋放，提供一些IOCTRL接口給用戶空間的應(yīng)用程序使用調(diào)配系統(tǒng)硬件資源;用戶空間的應(yīng)用程序調(diào)用適當(dāng)?shù)腎OCTRL和編解碼庫函數(shù)來實(shí)現(xiàn)復(fù)雜的編解碼系統(tǒng)。

　　VPU的內(nèi)核驅(qū)動(dòng)主要包括以下功能：模塊初始化、器件初始化、中斷服務(wù)策略、文件操作策略、器件關(guān)閉、編解碼庫、系統(tǒng)IO操作等。


　　視頻編解碼的計(jì)算和絕大部分視頻流的壓縮/解壓縮都是由i.MX27的硬件VPU單元來完成的，這樣軟件就不需要過多的控制或者時(shí)間消耗等來實(shí)現(xiàn)一個(gè)復(fù)雜的編解碼系統(tǒng)。VPU的硬件數(shù)據(jù)流可以用一個(gè)mpeg4格式數(shù)據(jù)的解碼實(shí)現(xiàn)過程展示(見圖2)。



　　硬件編解碼速度快、效率高、功耗和熱功耗低，節(jié)省了CPU的資源，實(shí)現(xiàn)了良好畫質(zhì)的傳輸，這一點(diǎn)充分體現(xiàn)了i.MX27芯片在視頻處理方面的優(yōu)勢。
結(jié)語

　　本文基于linphone、ffmpeg、speex、minigui、linux等開源軟件實(shí)現(xiàn)了嵌入式可視終端軟件系統(tǒng)——視傳機(jī)樣機(jī)，如圖3所示。樣機(jī)充分使用已有的開源軟件成果進(jìn)行開發(fā)，實(shí)現(xiàn)語音通話，視頻通話，視頻監(jiān)控，媒體文件播放等基本的功能。

電子產(chǎn)品世界