與電腦面談
周密 陶建華 2007/07/06
人機交互技術(shù)(Human-Computer Interaction Techniques)是指通過(guò)計算機輸入、輸出設備，以有效的方式實(shí)現人與計算機對話(huà)的技術(shù)。隨著(zhù)計算機的迅速普及，其使用者也從專(zhuān)家一級迅速擴大到了未受過(guò)專(zhuān)門(mén)訓練的普通用戶(hù)，由此強烈地刺激了人機交互界面的進(jìn)步。
圖2 說(shuō)話(huà)人頭像系統
該模塊首先進(jìn)行人臉檢測，對眼角、嘴角等特征點(diǎn)進(jìn)行粗略定位，然后根據小波變換進(jìn)行精細定位，最終得到較為精細的人臉表情參數初始值。之后運用Lucas-Kanade算法進(jìn)行特征點(diǎn)的跟蹤，利用跟蹤得到的特征點(diǎn)位置首先根據Ekman的人臉表情編碼規則進(jìn)行編碼，然后根據所得到的編碼結果進(jìn)行表情識別。該系統不僅實(shí)現了全自動(dòng)的特征點(diǎn)定位和跟蹤，而且根據人臉特征點(diǎn)的分布模型，可以對跟蹤時(shí)特征點(diǎn)的丟失現象進(jìn)行補償。
2007-7-1語(yǔ)音識別及理解模塊
語(yǔ)音識別及理解模塊用于自動(dòng)監聽(tīng)用戶(hù)的語(yǔ)音表達內容。常用的方法有兩大類(lèi): 一種是使用關(guān)鍵詞檢出的方法，主要是找出一句話(huà)里有代表意義的詞，根據這些詞就可以理解整句話(huà)的意思，在這種情況下，輸入的語(yǔ)句必須嚴格符合系統所規定的語(yǔ)法結構;
另一種方法是基于連續語(yǔ)音的搜索，與一般聽(tīng)寫(xiě)機不同的是，這種搜索過(guò)程會(huì )把對話(huà)系統所應用領(lǐng)域的信息添加進(jìn)去，這種方法效果比較好，但是在處理集外數據時(shí)則往往容易表現不穩定。
由于天氣查詢(xún)是一個(gè)限定領(lǐng)域的系統，因此我們選擇了基于關(guān)鍵詞檢索的方法。在識別的過(guò)程中: 首先利用聲學(xué)模型得到候選子詞序列; 然后在詞法層得到候選詞條序列，最后根據語(yǔ)法規則，即語(yǔ)言模型進(jìn)行句法層的搜索，得到最終的識別結果。
在模塊工作過(guò)程中，系統首先判斷語(yǔ)音識別的結果是否符合查詢(xún)語(yǔ)法，若符合語(yǔ)法，則給出正確的天氣查詢(xún)語(yǔ)言。比如已經(jīng)識別出來(lái)了“北京” 和“今天”，比照事先制定的語(yǔ)法結構，發(fā)現它們分別屬于“地點(diǎn)”和“時(shí)間”類(lèi)別，所以可以理解為:
“需要查詢(xún)北京明天的天氣”。當系統無(wú)法識別出用于表達的含義時(shí)，會(huì )進(jìn)行智能反饋，保證整個(gè)天氣查詢(xún)系統正常運行。
在語(yǔ)音處理模塊中，我們還融入了語(yǔ)氣檢測和情感識別算法，能夠動(dòng)態(tài)地根據用戶(hù)的語(yǔ)音狀態(tài)，判斷該說(shuō)話(huà)人用的是陳述語(yǔ)氣、疑問(wèn)語(yǔ)氣還是感嘆語(yǔ)氣，在有典型情緒的地方，還能夠輸出該說(shuō)話(huà)人的情感狀態(tài)。這些信息與語(yǔ)音識別結果一起送入到整個(gè)查詢(xún)系統的控制模塊中進(jìn)行集中決策。
說(shuō)話(huà)人頭像模塊
說(shuō)話(huà)人頭像模塊包括語(yǔ)音合成、人臉動(dòng)畫(huà)兩個(gè)子模塊。語(yǔ)音合成模塊是為了將天氣查詢(xún)獲得信息表達出來(lái)。本文中，語(yǔ)音合成模塊是基于中科院自動(dòng)化所設計的“繪聲”語(yǔ)音合成系統，該系統能夠將任意輸入的文本，以連續自然的聲音朗讀出來(lái)，并能夠處理中文普通話(huà)、粵語(yǔ)、英語(yǔ)等多種語(yǔ)言或方言。
“面對面的人機交互系統”實(shí)現方法，涉及語(yǔ)音合成與識別、表情識別與生成、自然語(yǔ)音理解、多模態(tài)融合方法等多個(gè)學(xué)科領(lǐng)域。通過(guò)本項目的研究，可以對傳統人機交互模式進(jìn)行革命性的革新，使之更符合現代信息社會(huì )獲取信息的需要。同時(shí)在無(wú)人值守環(huán)境、智能交互平臺、虛擬現實(shí)、數字化娛樂(lè )等領(lǐng)域中，均有很強的應用性，可以不分語(yǔ)種和人群地提供服務(wù)，對信息服務(wù)業(yè)的長(cháng)期發(fā)展具有非常重要的意義。
語(yǔ)音合成模塊配上人臉動(dòng)畫(huà)，可以實(shí)現栩栩如生的說(shuō)話(huà)人頭像系統，讓用戶(hù)感覺(jué)到是在與一個(gè)虛擬人進(jìn)行交互。人臉動(dòng)畫(huà)的研究難點(diǎn)是如何與語(yǔ)音合成系統進(jìn)行配合，既保持語(yǔ)音、唇形、舌位的同步，又要能夠恰如其分地生成不同的表情。
中心控制（CTRL模塊）
中心控制模塊相當于整個(gè)虛擬人的“大腦”，它從“眼睛”，“耳朵”處得到對方的語(yǔ)音和表情信息，經(jīng)過(guò)處理以后，做出適當反饋，再由說(shuō)話(huà)人頭像系統說(shuō)出來(lái)，它實(shí)際上實(shí)現了對話(huà)管理和多模態(tài)融合兩方面的功能。
對話(huà)管理
目前主要的對話(huà)管理的控制策略大概有三種，包括基于有限狀態(tài)機(finite-state based)、基于框架(frame based)以及基于代理(agent
based)的控制策略。
在總結了前人工作經(jīng)驗和結合本系統的實(shí)際問(wèn)題的基礎上，我們在對話(huà)管理的具體實(shí)現上，將框架理論和有限狀態(tài)自動(dòng)機理論相結合，完成了一個(gè)智能的對話(huà)管理模塊。我們先將對話(huà)管理限制在天氣查詢(xún)領(lǐng)域。在系統中，通過(guò)人機之間的對話(huà)和確認，系統需要得到要查詢(xún)的時(shí)間和地點(diǎn)信息之后反饋查詢(xún)結果。
我們?yōu)樾枰玫降男畔⑾仍O計了一個(gè)槽結構如下: Slot_name表示槽名，在本系統中就是City和Date。Slot_value 指示該項信息是否已經(jīng)得到，所以有2個(gè)狀態(tài):
Known 和Unkown。
圖3中，初始狀態(tài)為Unknown，當收到用戶(hù)提供的信息時(shí)，槽狀態(tài)轉化為Known，即為終止狀態(tài)。當再收到用戶(hù)的信息時(shí)，槽狀態(tài)不變，只是具體的槽值發(fā)生了變化。
| 空口有憑：用聲音來(lái)付賬 2007-06-25 |
| 智能通信終端的關(guān)鍵技術(shù)研究 2007-06-19 |
| 聲控你的系統 Vista語(yǔ)音識別全體驗 2007-03-22 |
| 跨國巨頭猛攻語(yǔ)音識別技術(shù) 2007-03-09 |
| 自動(dòng)語(yǔ)音系統：虛擬人物提供人性化呼叫業(yè)務(wù) 2007-01-23 |