人工智能中的語(yǔ)義分析技術(shù)及其應用

　　語(yǔ)義分析指運用各種方法，學(xué)習與理解一段文本所表示的語(yǔ)義內容，任何對語(yǔ)言的理解都可以歸為語(yǔ)義分析的范疇。一段文本通常由詞、句子和段落來(lái)構成，根據理解對象的語(yǔ)言單位不同，語(yǔ)義分析又可進(jìn)一步分解為詞匯級語(yǔ)義分析、句子級語(yǔ)義分析以及篇章級語(yǔ)義分析。一般來(lái)說(shuō)，詞匯級語(yǔ)義分析關(guān)注的是如何獲取或區別單詞的語(yǔ)義，句子級語(yǔ)義分析則試圖分析整個(gè)句子所表達的語(yǔ)義，而篇章語(yǔ)義分析旨在研究自然語(yǔ)言文本的內在結構并理解文本單元（可以是句子從句或段落）間的語(yǔ)義關(guān)系。簡(jiǎn)單地講，語(yǔ)義分析的目標就是通過(guò)建立有效的模型和系統，實(shí)現在各個(gè)語(yǔ)言單位（包括詞匯、句子和篇章等）的自動(dòng)語(yǔ)義分析，從而實(shí)現理解整個(gè)文本表達的真實(shí)語(yǔ)義。

　　詞匯層面上的語(yǔ)義分析主要體現在如何理解某個(gè)詞匯的含義，主要包含兩個(gè)方面：詞義消歧和詞義表示

　　詞匯的歧義性是自然語(yǔ)言的固有特征。詞義消歧根據一個(gè)多義詞在文本中出現的上下文環(huán)境來(lái)確定其詞義，作為各項自然語(yǔ)言處理的基礎步驟和必經(jīng)階段被提出來(lái)。詞義消歧包含兩個(gè)必要的步驟:（a）在詞典中描述詞語(yǔ)的意義；（b）在語(yǔ)料中進(jìn)行詞義自動(dòng)消歧。例如“蘋(píng)果”在詞典中描述有兩個(gè)不同的意義:一種常見(jiàn)的水果；美國一家科技公司。對于下面兩個(gè)句子:

　　她的臉紅得像蘋(píng)果。

　　最近幾個(gè)月蘋(píng)果營(yíng)收出現下滑。

　　詞義消歧的任務(wù)是自動(dòng)將第一個(gè)蘋(píng)果歸為“水果”，而將第二個(gè)蘋(píng)果歸為“公司”。從上面的例子中我們發(fā)現，詞義消歧主要面臨如下兩個(gè)關(guān)鍵問(wèn)題：（a）詞典的構建；（b）上下文的建模。

　　對于詞義表示，早期的做法將某個(gè)詞義表示為，從該詞義在同義詞網(wǎng)絡(luò )中出現的位置到該網(wǎng)絡(luò )根節點(diǎn)之間的路徑信息。詞義表示的另一個(gè)思路是將其數字化。最直觀(guān)，也是到目前為止最常用的詞表示方法是one-hot表示方法，這種方法把每個(gè)詞表示為一個(gè)很長(cháng)的向量。這個(gè)向量的維度是詞表大小，其中絕大多數元素為0，只有一個(gè)維度的值為1，這個(gè)維度就代表了當前的詞。不難想象，這種表示方法存在一個(gè)重要的問(wèn)題：任意兩個(gè)詞之間都是孤立的。造成的結果是：光從兩個(gè)向量中看不出兩個(gè)詞是否有關(guān)系，即使這兩個(gè)詞是同義詞，例如“計算機”和“電腦”、“上海”和“上海市”。

　　隨著(zhù)機器學(xué)習算法的發(fā)展，目前更流行的詞義表示方式是詞嵌入（Word Embedding，又稱(chēng)詞向量）。其基本想法是：通過(guò)訓練將某種語(yǔ)言中的每一個(gè)詞映射成一個(gè)固定維數的向量，將所有這些向量放在一起形成一個(gè)詞向量空間，而每一向量則可視為該空間中的一個(gè)點(diǎn)，在這個(gè)空間上引入“距離”，則可以根據詞之間的距離來(lái)判斷它們之間的（詞法、語(yǔ)義上的）相似性。

　　句子級的語(yǔ)義分析試圖根據句子的句法結構和句中詞的詞義等信息，推導出能夠反映這個(gè)句子意義的某種形式化表示。根據句子級語(yǔ)義分析的深淺，又可以進(jìn)一步劃分為淺層語(yǔ)義分析和深層語(yǔ)義分析。

　　語(yǔ)義角色標注(Semantic Role Labeling，簡(jiǎn)稱(chēng)SRL)是一種淺層的語(yǔ)義分析。給定一個(gè)句子，SRL的任務(wù)是找出句子中謂詞的相應語(yǔ)義角色成分，包括核心語(yǔ)義角色（如施事者、受事者等）和附屬語(yǔ)義角色（如地點(diǎn)、時(shí)間、方式、原因等）。

　　目前SRL的實(shí)現通常都是基于句法分析結果，即對于某個(gè)給定的句子，首先得到其句法分析結果，然后基于該句法分析結果，再實(shí)現SRL。

　　深層的語(yǔ)義分析（有時(shí)直接稱(chēng)為語(yǔ)義分析，Semantic Parsing）不再以謂詞為中心，而是將整個(gè)句子轉化為某種形式化表示，例如：謂詞邏輯表達式（包括lambda演算表達式）、基于依存的組合式語(yǔ)義表達式（dependencybased compositional semantic representation）等。以下給出了GeoQuery數據集中的一個(gè)中英文句子對，以及對應的一階謂詞邏輯語(yǔ)義表達式：

　　中文:列出在科羅拉多州所有的河流

　　英文:Name all the rivers in Colorado

　　語(yǔ)義表達式:answer(river(loc_2(stateid('colorado'))))

　　雖然各種形式化表示方法采用的理論依據和表示方法不一樣，但其組成通常包括關(guān)系謂詞（如上例中的loc_2、river等）、實(shí)體（如colorado）等。語(yǔ)義分析通常需要知識庫的支持，在該知識庫中，預先定義了一序列的實(shí)體、屬性以及實(shí)體之間的關(guān)系。

　　篇章是指由一系列連續的子句、句子或語(yǔ)段構成的語(yǔ)言整體單位，在一個(gè)篇章中，子句、句子或語(yǔ)段間具有一定的層次結構和語(yǔ)義關(guān)系，篇章結構分析旨在分析出其中的層次結構和語(yǔ)義關(guān)系。具體來(lái)說(shuō)，給定一段文本，其任務(wù)是自動(dòng)識別出該文本中的所有篇章結構，其中每個(gè)篇章結構由連接詞，兩個(gè)相應的論元，以及篇章關(guān)系類(lèi)別構成。篇章結構可進(jìn)一步分為顯式和隱式，顯式篇章關(guān)系指連接詞存在于文本中，而隱式篇章關(guān)系指連接詞不存在于文本中，但可以根據上下文語(yǔ)境推導出合適的連接詞。對于顯式篇章關(guān)系類(lèi)別，連接詞為判斷篇章關(guān)系類(lèi)別提供了重要依據，關(guān)系識別準確率較高；但對于隱式篇章關(guān)系，由于連接詞未知，關(guān)系類(lèi)別判定較為困難，也是篇章分析中的一個(gè)重要研究?jì)热莺碗y點(diǎn)。

　　在深度學(xué)習技術(shù)中，循環(huán)神經(jīng)網(wǎng)絡(luò )（Recurrent Neural Networks，RNNs）被證明在自然語(yǔ)言處理中是最有效的，下面將介紹循環(huán)神經(jīng)網(wǎng)絡(luò )。

　　RNNs的目的是使用序列來(lái)處理數據。在傳統的神經(jīng)網(wǎng)絡(luò )模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點(diǎn)是無(wú)連接的。但是這種普通的神經(jīng)網(wǎng)絡(luò )對于很多問(wèn)題卻無(wú)能無(wú)力。例如，你要預測句子的下一個(gè)單詞是什么，一般需要用到前面的單詞，因為一個(gè)句子中前后單詞并不是獨立的。RNNs之所以稱(chēng)為循環(huán)神經(jīng)網(wǎng)路，即一個(gè)序列當前的輸出與前面的輸出也有關(guān)。具體的表現形式為網(wǎng)絡(luò )會(huì )對前面的信息進(jìn)行記憶并應用于當前輸出的計算中，即隱藏層之間的節點(diǎn)不再無(wú)連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時(shí)刻隱藏層的輸出。理論上，RNNs能夠對任何長(cháng)度的序列數據進(jìn)行處理。但是在實(shí)踐中，為了降低復雜性往往假設當前的狀態(tài)只與前面的幾個(gè)狀態(tài)相關(guān)。

　　RNNs已經(jīng)在實(shí)踐中被證明對NLP是非常成功的。如詞向量表達、語(yǔ)句合法性檢查、詞性標注等。在RNNs中，目前使用最廣泛、最成功的模型便是LSTMs(Long Short-Term Memory，長(cháng)短時(shí)記憶模型)模型，該模型通常比vanillaRNNs能夠更好地對長(cháng)短時(shí)記憶模型依賴(lài)進(jìn)行表達，該模型相對于一般的RNNs，只是在隱藏層做了手腳。

　　RNNs可以應用于語(yǔ)言模型與文本生成、文本分類(lèi)、機器翻譯等自然語(yǔ)言處理任務(wù)中。

　　DINFO-OEC非結構化大數據分析挖掘平臺，是中科鼎富（北京）科技發(fā)展有限公司研發(fā)的大數據產(chǎn)品，具有非結構化文本大數據的分析、挖掘的超凡能力，是企業(yè)實(shí)施大數據戰略的強大利器。

　　大數據中80%都是非結構化大數據，非結構化大數據因其中的業(yè)務(wù)對象、對象之間的關(guān)系等都蘊含在文本內容中，而文本內容來(lái)源繁多、表達方式靈活多樣、存在著(zhù)大量的歧義性，因此無(wú)法使用傳統的BI工具等進(jìn)行分析，無(wú)法直接服務(wù)于業(yè)務(wù)，實(shí)現業(yè)務(wù)價(jià)值。非結構化大數據是大數據處理的難點(diǎn)和熱點(diǎn)。DINFO-OEC平臺支持三位一體的多維度業(yè)務(wù)建模能力，結合自然語(yǔ)言處理、深度學(xué)習等統計文本挖掘算法，基于平臺立體式的業(yè)務(wù)模型的智能語(yǔ)義感知技術(shù)，提供對非結構化大數據智能理解與自動(dòng)化處理能力，實(shí)現文本知識的多維度的業(yè)務(wù)標簽標記功能，將無(wú)序的非結構化信息轉換為滿(mǎn)足業(yè)務(wù)需求的結構化數據。DINFO-OEC平臺支持與主流Hadoop、Spark等大數據平臺實(shí)現對接，利用hadoop平臺提供的分布式存儲和Map/Reduce分布式計算能力，實(shí)現復雜、批量的大數據分析挖掘。利用Spark、kafka等提供的實(shí)時(shí)分布式計算能力，提供海量數據的實(shí)時(shí)分析計算能力，融合主流的搜索引擎技術(shù)，支持基于海量歷史數據的交互式搜索功能。DINFO-OEC平臺支持與常用的商業(yè)智能系統進(jìn)行融合，實(shí)現結構化數據和非結構化數據的融合分析挖掘，最大化的挖掘大數據的業(yè)務(wù)價(jià)值，提供大數據分析挖掘支持下的業(yè)務(wù)創(chuàng )新。

　　業(yè)務(wù)建模技術(shù)，采用神州泰岳獨創(chuàng )的“本體O-要素E-概念C”三位一體的專(zhuān)利技術(shù)（發(fā)明專(zhuān)利號201410155830.1）進(jìn)行建模，將業(yè)務(wù)和語(yǔ)言分為兩個(gè)不同層次建模。業(yè)務(wù)建模以本體論為核心，對業(yè)務(wù)知識進(jìn)行規劃，對業(yè)務(wù)規則進(jìn)行建模配置，形成形式化的業(yè)務(wù)規則。業(yè)務(wù)建模技術(shù)支持業(yè)務(wù)與非結構化數據的語(yǔ)言表達分離，區分業(yè)務(wù)層次和語(yǔ)言層次進(jìn)行分部建模。業(yè)務(wù)層次支持業(yè)務(wù)本體構建，支持業(yè)務(wù)要素發(fā)現與配置；語(yǔ)言層次支持語(yǔ)言概念的構建與維護，支持常用詞匯庫和同義庫等建設。DINFO-OEC業(yè)務(wù)建模價(jià)值在于客戶(hù)只需關(guān)注自身業(yè)務(wù)的描述，文本表示的多樣性和歧義性等由系統來(lái)負責解決。

　　DINFO-OEC業(yè)務(wù)建模，能把紛繁復雜的業(yè)務(wù)規則和靈活多樣的語(yǔ)言表達習慣進(jìn)行統一建模，從本體、要素和概念三個(gè)維度構建分析挖掘模型，有效地將“業(yè)務(wù)”描述與自然語(yǔ)言的表達進(jìn)行分離，使得業(yè)務(wù)人員可以專(zhuān)注于自己擅長(cháng)的業(yè)務(wù)需求及業(yè)務(wù)規則的建模，而無(wú)需考慮自然語(yǔ)言的歧義性、表達的多樣性和復雜性等。

　　產(chǎn)品支持智慧語(yǔ)義感知算法，提供強大的自然語(yǔ)言理解相關(guān)分析算法，包括內容分類(lèi)、聚類(lèi)、主題分析、語(yǔ)義分析、實(shí)體識別、啟發(fā)式搜索引擎、推薦引擎、摘要引擎等。

　　產(chǎn)品支持多種分析挖掘算法，包括C計算（提供概念的抽取、概念表達式挖掘、概念表達式匹配算法），S計算（提供常用的統計挖掘算法，包括但是不限于KNN、SVM、決策樹(shù)等算法）和R計算（提供概念關(guān)聯(lián)發(fā)現算法）。

　　系統內置了多語(yǔ)種分析挖掘算法。利用一套算法流程，實(shí)現多語(yǔ)種支持，語(yǔ)種擴展性好。新增加語(yǔ)種，不用修改算法。

　　多語(yǔ)種復用的能力。平臺支持多語(yǔ)種業(yè)務(wù)規則保持一致的能力。業(yè)務(wù)規則（對應系統的本體樹(shù)）的維護，只需維護中文簡(jiǎn)體版，無(wú)須維護其他語(yǔ)種的本體樹(shù)，大大減少本體樹(shù)維護工作推出的工作量。

　　支持主流的Hadoop平臺，支持Map/Reduce批量計算以及Spark實(shí)時(shí)計算，支持HDFS、Hbase、kafka等存取。支持的Hadoop平臺包括Apache Hadoop、IBM BigInsights、華為Fusion Insights、EMC PivotalHD。支持SOA集群架構，支持與Oracle、Mysql、DB2等主力數據庫產(chǎn)品集成。

　　人工智能的飛速發(fā)展，使得機器能夠在很大程度上模擬人的功能，實(shí)現批量人性化和個(gè)性化地服務(wù)客戶(hù)，這將給身處服務(wù)價(jià)值鏈高端的金融行業(yè)帶來(lái)深刻影響，人工智能將成為決定銀行溝通客戶(hù)、發(fā)現客戶(hù)金融需求的重要因素。它將對金融產(chǎn)品、服務(wù)渠道、服務(wù)方式、風(fēng)險管理、授信融資、投資決策等帶來(lái)新一輪的在中臺支持授信、各類(lèi)金融交易和金融分析中的決策，在后臺用于風(fēng)險防控和監督，它將大幅改變金融現有格局，金融服務(wù)（銀行、保險、理財、借貸、投資等方面）將更加地個(gè)性化與智能化。證券研報大數據云服務(wù)，是鼎富科技針對證券業(yè)、基金業(yè)研究人員、分析師推出的一款大數據云服務(wù)產(chǎn)品。系統提供SaaS服務(wù)，提供公告、研報的全網(wǎng)采集，以及事件結構化分析，提供研報一站式智能搜索，以及基于時(shí)間軸、基于信息錨點(diǎn)的大數據分析挖掘。系統能幫助分析師從大數據視角進(jìn)行深度研究分析，提高工作效率。

　　輿情分析為政府、公安、社會(huì )等提供可自定義熱點(diǎn)問(wèn)題的輿情分析系統，信息出現的源頭到產(chǎn)生的影響全程跟進(jìn)分析，形成輿情影響波及范圍、公眾反響、不良輿論等內容的分析報告。

　　輿情分析能夠大幅度縮短組織對互聯(lián)網(wǎng)、論壇等電子信息渠道的公眾輿論趨勢的響應時(shí)間，通過(guò)關(guān)聯(lián)分析能夠幫助組織預測未來(lái)可能出現的狀況并提前實(shí)施相關(guān)措施。

　　智慧傳播云服務(wù)，是鼎富科技與騰訊網(wǎng)合作推出的互聯(lián)網(wǎng)信息監測預警平臺，面向政府機構、企事業(yè)單位提供互聯(lián)網(wǎng)信息監測、預警服務(wù)。輿情云項目的研發(fā)目的是為企業(yè)、政府、組織開(kāi)發(fā)一款基于云服務(wù)的互聯(lián)網(wǎng)輿情監測系統。該系統數據采集模塊具有可配置、自動(dòng)去重、垃圾過(guò)濾核心功能。系統分析挖掘功能采用智慧語(yǔ)義識別技術(shù)，保證了語(yǔ)義分析的準確性。系統可以按照客戶(hù)需求進(jìn)行輿情監測定制、統計報表定制和預警定制。

　　客服作為勞動(dòng)密集型行業(yè)，對于一些大公司來(lái)說(shuō)，成本依然很高。智能機器人客服的出現可以在很大程度上解決簡(jiǎn)單、重復性工作，幫助企業(yè)節省人工和坐席成本，提升運營(yíng)效率。

　　小富機器人4.0是神州泰岳旗下一款智能客服機器人，它將開(kāi)啟全媒體時(shí)代的智能客服中心。小富機器人4.0有以下幾個(gè)亮點(diǎn)：

　　亮點(diǎn)一：首創(chuàng )業(yè)務(wù)場(chǎng)景機器人

　　讓機器人服從業(yè)務(wù)，而非業(yè)務(wù)屈從于機器人。客服、營(yíng)銷(xiāo)、外呼等業(yè)務(wù)，場(chǎng)景不同，業(yè)務(wù)邏輯也不同。小富4.0預設多種場(chǎng)景模式的業(yè)務(wù)框架，對應的知識類(lèi)型和交互方式也有區分設計，可提供更專(zhuān)業(yè)、更具針對性的智能化服務(wù)。

　　亮點(diǎn)二：整體性業(yè)務(wù)建模更具延展性

　　基于對業(yè)務(wù)的整體理解，而非Q&A的堆積。基于對具體場(chǎng)景的深刻業(yè)務(wù)理解，進(jìn)行整體建模，具有完整的業(yè)務(wù)邏輯，機器人的思維延展性和可復用性大大增強，應答效率更高。

　　亮點(diǎn)三：差異化的知識類(lèi)型表達體系

　　智能引導多輪會(huì )話(huà)，而非預設問(wèn)題的反復跳轉。小富4.0的業(yè)務(wù)知識體系化，并具有記憶能力，可基于業(yè)務(wù)邏輯自創(chuàng )造問(wèn)答邏輯，智能地開(kāi)展多輪引導式問(wèn)答，讓交互更自然、更具親和力。

　　亮點(diǎn)四：智能碎片化知識加工

　　直接告知答案，而非僅告知答案所在的范圍。小富4.0提供豐富的知識加工模式，可智能化地將結構化和非結構化的知識，碎片化為結構化的文檔。應答客戶(hù)提問(wèn)時(shí)，可直接回饋用戶(hù)的問(wèn)題而非給出一個(gè)答案所在區間。

　　此外，與小富機器人4.0同時(shí)展示的還有泰岳統一業(yè)務(wù)知識庫系統，可提供知識自動(dòng)加工和強大的知識圖譜關(guān)聯(lián)能力；泰岳客服大數據分析挖掘解決方案，可支持多層級業(yè)務(wù)類(lèi)別自動(dòng)分類(lèi)和語(yǔ)義處理，為客戶(hù)提供更智能、更高效的人工智能新體驗。

　　人工智能技術(shù)及大數據已經(jīng)成為新經(jīng)濟發(fā)展的動(dòng)力，美國、歐洲、日本、中國等多個(gè)國家和地區均將大數據及人工智能作為國家戰略。中國國民經(jīng)濟和社會(huì )發(fā)展第十三個(gè)五年規劃綱要指出，實(shí)施國家大數據戰略，把大數據作為基礎性戰略資源，全面實(shí)施促進(jìn)大數據發(fā)展行動(dòng)，加快推動(dòng)數據資源共享開(kāi)放和開(kāi)發(fā)應用，助力業(yè)轉型升級和社會(huì )治理創(chuàng )新。同時(shí)，2016年，國家發(fā)改委、科技部、工信部、中央網(wǎng)信辦聯(lián)合發(fā)布了《“互聯(lián)網(wǎng)＋”人工智能三年行動(dòng)實(shí)施方案》，首次單獨為人工智能發(fā)展提出具體的策略方案，提出了人工智能發(fā)展的九大工程。2016美國白宮發(fā)布了《為人工智能的未來(lái)做好準備》(Preparing for the Future of Artificial Intelligence)和《國家人工智能研究與發(fā)展戰略計劃》(National Artificial Intelligence Research and Development Strategic Plan)兩份重要報告。探討了人工智能的發(fā)展現狀、應用領(lǐng)域以及潛在的公共政策問(wèn)題，提出了美國優(yōu)先發(fā)展的人工智能七大戰略方向及兩方面建議，對我國人工能產(chǎn)業(yè)發(fā)展具有重要的借鑒意義。