首頁(yè)>>廠(chǎng)商>>軟件開(kāi)發(fā)商>>拓尓思

TRS電信行業(yè)114企業(yè)搜索引擎解決方案

2007/03/22

1. 幫助電信公司建設全國統一114企業(yè)搜索引擎，實(shí)現跨省查詢(xún)業(yè)務(wù)，并為沒(méi)有建設搜索引擎的省份提供省內114企業(yè)搜索引擎。



2. 支持對各省市電信公司114業(yè)務(wù)應用相關(guān)內部數據庫和信息資源庫進(jìn)行補充完善，并進(jìn)行個(gè)性化服務(wù)的信息挖掘和整合。系統支撐大規模用戶(hù)跨地域和跨平臺搜索。



3. 114企業(yè)搜索引擎具備開(kāi)發(fā)特定領(lǐng)域垂直搜索的能力，各地電信公司可以在此平臺上進(jìn)行二次開(kāi)發(fā)。



4. 聚集商業(yè)客戶(hù)及合作伙伴，滿(mǎn)足企業(yè)客戶(hù)競價(jià)排名、信息發(fā)布、商機獲取、資源共享等的雙向需求。

TRS全文數據庫集群系統結構示意圖

　　“TRS全文數據庫服務(wù)器組”內的數據庫服務(wù)器之間負載均衡

　　組內的數據庫服務(wù)器由集群服務(wù)器統一調度，一個(gè)服務(wù)請求只發(fā)往組內的一個(gè)數據庫服務(wù)器，一個(gè)“TRS全文數據庫服務(wù)器組”至少包含一個(gè)數據庫服務(wù)器。

　　“TRS全文數據庫服務(wù)器組”之間實(shí)現分布式檢索

　　用戶(hù)一個(gè)檢索請求需要根據其所包含目標對象的分布情況，發(fā)往其中部分或全部的數據庫服務(wù)器組，TRS全文數據庫集群服務(wù)器對檢索結果集歸并處理后返回給用戶(hù)。

采用TRS全文數據庫系統V6的集群架構可實(shí)現以下目標：

• 海量數據隨需擴展和分布檢索


• 大規模用戶(hù)高并發(fā)條件下保證高性能


• 實(shí)現無(wú)單點(diǎn)故障的高可靠性應用

• Native XML: 能夠為更精確的檢索提供存儲和檢索手段。


• 集群：滿(mǎn)足海量信息處理和負載均衡的苛刻需求。


• Unicode: 以中文為主，提供多語(yǔ)言支持，實(shí)現了國際化。


• 自然語(yǔ)言及智能檢索：實(shí)現更加人性化和達到更好的檢索效果。


• 異構：結構化和非結構化異構信息聯(lián)合查詢(xún)。

2.3應用垂直搜索實(shí)現內容挖掘分析利用，支持電信企業(yè)開(kāi)發(fā)特色搜索服務(wù)

　　搜索引擎的出現，整合了互聯(lián)網(wǎng)上眾多的網(wǎng)頁(yè)資源，并提供信息導航和信息查詢(xún)服務(wù)，使信息的價(jià)值得到了網(wǎng)民和廠(chǎng)商的普遍認可。但是，搜索引擎的發(fā)展格局是多方面的，市場(chǎng)需求的多元化也導致了搜索引擎的行業(yè)化和細分化，從而“垂直搜索引擎”成為了搜索引擎發(fā)展的必然趨勢之一。

　　TRS認為：垂直搜索引擎是針對某一個(gè)行業(yè)或組織，滿(mǎn)足行業(yè)專(zhuān)業(yè)需求、或者組織某項業(yè)務(wù)需求的專(zhuān)業(yè)搜索引擎，是搜索引擎的細分和延伸，是對某類(lèi)網(wǎng)頁(yè)資源和結構化資源的深度整合，并為用戶(hù)提供符合專(zhuān)業(yè)用戶(hù)操作行為的信息服務(wù)方式。比如:用戶(hù)搜索廣州天河區的可帶寵物就餐的川菜館的電話(huà)、菜單價(jià)格、交通指路等這就是一種垂直搜索。

　　TRS作為國內垂直搜索引擎的領(lǐng)軍企業(yè)，全面支持垂直搜索的相關(guān)技術(shù)，并率先在國內進(jìn)行了垂直搜索引擎的實(shí)踐，為用戶(hù)成功實(shí)施了包括中央政府門(mén)戶(hù)網(wǎng)站政府搜索引擎、公安部搜索引擎、專(zhuān)利搜索引擎、企業(yè)經(jīng)濟情報預警搜索引擎等等成功案例。

　　在電信行業(yè)建設114企業(yè)搜索引擎的背景下，雖然TRS作為搜索引擎廠(chǎng)商提供了成熟的基于企業(yè)級搜索的搜索引擎產(chǎn)品，但是各地電信企業(yè)對信息內容進(jìn)行再組織、再開(kāi)發(fā)，特別是應用智能的知識挖掘技術(shù)進(jìn)行內容的挖掘和分析，并根據業(yè)務(wù)需求開(kāi)發(fā)業(yè)務(wù)排序和展示，從而為用戶(hù)開(kāi)發(fā)特色搜索服務(wù)。如生活搜索、購物搜索、旅游搜索、票務(wù)搜索、教育搜索、行路搜索等等特色搜索服務(wù)。

2.4搜索高效、準確，向用戶(hù)提供智能個(gè)性搜索體驗

　　在搜索性能方面，TRS全文數據庫在普通PC服務(wù)器環(huán)境下，在千萬(wàn)級記錄的數據庫上，也能獲得亞秒級查詢(xún)速度。集群架構的TRS電信114搜索引擎可以根據不同用戶(hù)的規模，滿(mǎn)足大規模座席的查詢(xún)速度和并發(fā)數量的要求。
在要滿(mǎn)足高效搜索的同時(shí)，TRS企業(yè)搜索引擎平臺服務(wù)器熔煉了TRS公司多年在中文智能處理方面的研究成果，并結合十多年來(lái)的企業(yè)及搜索引擎的應用經(jīng)驗。多種中文智能處理技術(shù)的應用，如智能分詞，字詞索引結合、主題詞表概念擴展等技術(shù)的應用，同時(shí)TRS搜索引擎內嵌中文自動(dòng)分詞系統，使得查全率和查準率都得到極大的保障。
在TRS電信114企業(yè)搜索引擎解決方案中。采用了模塊化的內容分發(fā)服務(wù)模塊。讓用戶(hù)可以方便地通過(guò)頁(yè)面設計模板封裝等方式來(lái)實(shí)現個(gè)性化的搜索提交，結果個(gè)性呈現。并且系統結合多種信息分發(fā)機制，將搜索、瀏覽、訂閱等功能有機集成。而對于信息發(fā)現和評估，系統也提供了很好的支持，并可以根據搜索的統計，來(lái)評估信息內容的使用情況及信息用戶(hù)的搜索習慣。電信企業(yè)也可以根據自己的需求，開(kāi)發(fā)符合本地用戶(hù)習慣的搜索頁(yè)面和結果排序頁(yè)面。

3.方案特點(diǎn)和優(yōu)勢

1、軟件產(chǎn)品成熟度高
　　TRS全文數據庫系統自80年代面向市場(chǎng)以來(lái)，有近2000家企業(yè)級用戶(hù)的成功案例，特別是新華社多媒體數據庫、公安搜索引擎、中央政府門(mén)戶(hù)等高端項目的應用。

2、自主、領(lǐng)先的核心技術(shù)

　　TRS軟件產(chǎn)品完全基于自主、領(lǐng)先的核心技術(shù)開(kāi)發(fā)，特別是本項目應用的全文檢索技術(shù)、網(wǎng)絡(luò )信息搜索技術(shù)、文本挖掘基礎件，從功能、性能和產(chǎn)品穩定性方面都有業(yè)界領(lǐng)先的實(shí)力。

3、強大的項目實(shí)施開(kāi)發(fā)力量
　　TRS公司總部在北京設有研發(fā)中心，軟件產(chǎn)品開(kāi)發(fā)人員約有130多人，在上海設有分公司和項目實(shí)施開(kāi)發(fā)人員，具有強大的項目實(shí)施開(kāi)發(fā)和服務(wù)力量。

4、完善的方案設計、內置的集群架構、良好的擴展能力
　　本方案根據項目需求，進(jìn)行了搜索引擎、網(wǎng)絡(luò )信息搜索、數據上載同步等各方面的完整設計，并以TRS自身技術(shù)實(shí)現了分布式負載均衡搜索引擎集群、和網(wǎng)絡(luò )信息搜索集群，具有分層集群架構和良好的擴展能力

5、廣泛的高端項目成功案例和良好市場(chǎng)形象
　　本項目采用TRS業(yè)內領(lǐng)先而成熟的搜索解決方案和產(chǎn)品搭建搜索引擎系統，其具備多方面的優(yōu)勢：

4.1“安全”的搜索引擎

　　TRS搜索引擎技術(shù)支持內容安全性控制，可以通過(guò)域、IP段、URL等廣域網(wǎng)范圍的控制，實(shí)現授權搜索采集，不亂采集。同時(shí)，TRS對查詢(xún)內容進(jìn)行分級控制，特定的人只能搜索和查詢(xún)特定的內容。

　　在TRS搜索引擎技術(shù)中提供了信息智能過(guò)濾和禁用詞典設置，通過(guò)這些技術(shù)，保障搜索引擎在提供便捷的搜索服務(wù)的同時(shí)，也保證對不良信息搜索的過(guò)濾。

　　另一方面，TRS搜索引擎技術(shù)在安全模塊設計上提供了對PKI/PMI體系支持的開(kāi)放接口，在未來(lái)，很容易將本系統整合到信息安全保障體系之中。

4.2更高的搜索準確性和智能性

　　TRS搜索引擎技術(shù)支持按詞索引、按字索引、按關(guān)鍵詞索引，字詞混合索引，適應不同應用環(huán)境的需求，同時(shí)TRS搜索引擎內嵌中文自動(dòng)分詞系統--檢索“北大”，檢索不出“東北大學(xué)”。

　　內嵌歧義處理實(shí)例規則庫，正確識別歧義片斷，提高分詞準確性分詞系統要達到一定的準確率，需要和人一樣不斷積累知識，也就是不斷積累分詞規則。TRS公司從80年代末就開(kāi)始積累分詞規則, 這些規則是需要從大量的語(yǔ)料中統計產(chǎn)生，如果語(yǔ)料的數量不夠則產(chǎn)生的規則往往帶有片面性，TRS積累了20~30GB的文本語(yǔ)料, 且這些語(yǔ)料能反應現中文語(yǔ)言的特點(diǎn)。如果一個(gè)語(yǔ)句切分時(shí)有歧義片段，有適合的規則則按規則切分歧義片段,提高查準率；

　　在查詢(xún)方面，TRS提供了基于詞典的智能擴展查詢(xún)，可以按同義詞、主題詞等詞典進(jìn)行智能擴展查詢(xún)，例如，在查詢(xún)“銳器”時(shí)，系統將自動(dòng)將包括“匕首”“刀”內容的結果提供給用戶(hù)參考。

4.3個(gè)性化的搜索體驗

　　TRS搜索引擎內容分發(fā)服務(wù)模塊充分考慮了信息搜索過(guò)程中工作繁忙、對信息的時(shí)效性要求高等工作特點(diǎn)。提供了任務(wù)定制查詢(xún)、專(zhuān)欄預設查詢(xún)、個(gè)性化排序等功能。例如：使用者可以定制查詢(xún)任務(wù)，比如“專(zhuān)項斗爭”、“專(zhuān)題文件”等單項任務(wù)，又如可以定制查詢(xún)更新時(shí)間，查詢(xún)系統將根據定制的任務(wù)，定期進(jìn)行相關(guān)信息查詢(xún)，定期將查詢(xún)結果推送到用戶(hù)的工作界面，方便信息需求者。

　　另外，系統還提供了個(gè)人檢索歷史記錄、個(gè)性化界面設置等等功能，不同的使用者可以選擇適合自己的工作查詢(xún)界面，提升系統的易用性和靈活性。

4.4強大的異構資源整合搜索

　　TRS搜索引擎技術(shù)不但能搜索網(wǎng)頁(yè)內容，而且能搜索各種RDBMS, 文件系統等多種異構資源數據進(jìn)行整合搜索，為用戶(hù)提供更全面的信息搜索應用。在未來(lái)，可以在當前搜索引擎系統上不斷擴展新的搜索應用。

4.5標準、開(kāi)放的系統，提供強大的系統擴展能力

　　標準、開(kāi)放是一個(gè)應用系統得以發(fā)展和壯大的基礎，通過(guò)標準開(kāi)放的模式，可以保證用戶(hù)更多地采用先進(jìn)的技術(shù)搭建個(gè)性化的應用。

　　隨著(zhù)技術(shù)的發(fā)展，各個(gè)軟件供應商越來(lái)越在某一領(lǐng)域具有專(zhuān)利或優(yōu)勢技術(shù)，但是用戶(hù)的需求是全方位的，因此，最好的解決方案就是采用統一規范標準的接口進(jìn)行應用集成，這也是國際化軟件發(fā)展趨勢。

　　TRS公司設計的建設方案在很多方面為系統應用集成提供了保證，如支持系統三層體系結構，支持J2EE標準中間件，支持XML數據交換規范，提供底層數據庫的各種平臺的完善的開(kāi)發(fā)接口，提供模塊組件，支持二次開(kāi)發(fā)，開(kāi)放底層數據存儲格式等等。

　　本系統在架構設計方面，不但滿(mǎn)足了現有的需要，而且為系統未來(lái)發(fā)展進(jìn)行了考慮。首先，數據層采用了TRS集群服務(wù)器，實(shí)現了TRS全文檢索數據庫的集群和負載均衡應用，在應用層實(shí)現了應用服務(wù)器的集群和負載均衡設計，在采集方面利用分布式采集和任務(wù)集中控制的模式可以進(jìn)行大規模采集應用，在未來(lái)可以通過(guò)增加硬件的方式，就能提供系統的處理能力。

　　另外，隨著(zhù)未來(lái)負載和訪(fǎng)問(wèn)量的增加，可以分步建立鏡像中心，滿(mǎn)足大規模應用需要。

4.6具有充分滿(mǎn)足需求的自主核心技術(shù)和產(chǎn)品.

　　TRS公司在本項目所涉及的眾多方面具有全方位的核心技術(shù)和產(chǎn)品，并且公司發(fā)展的戰略定位和本項目的需求完全吻合。

　　本方案涉及底層數據庫系統、中文知識挖掘、信息搜索等多種技術(shù)，是一個(gè)大型和復雜的信息系統，TRS信息技術(shù)有限公司在信息檢索、內容管理和知識管理方面具有領(lǐng)先的產(chǎn)品和技術(shù)優(yōu)勢，致力于成為中文內容管理領(lǐng)域的領(lǐng)導者。TRS全文信息檢索系統已經(jīng)在超過(guò)1千家用戶(hù)的多個(gè)系統和應用中得到成功應用；TRS中文知識管理和自然語(yǔ)言處理方面的研究成果，是業(yè)界第一個(gè)實(shí)用化的相關(guān)產(chǎn)品，其中包括中文自動(dòng)分類(lèi)系統、自動(dòng)聚類(lèi)系統、網(wǎng)頁(yè)內容過(guò)濾、內容去重等。這些研究成果來(lái)源于公司相關(guān)的研究機構-中文信息處理研究中心-承擔的國家自然科學(xué)基金、國家863計劃等國家級研究項目。TRS公司致力于成為中國信息檢索和內容管理市場(chǎng)的技術(shù)和市場(chǎng)領(lǐng)導者，并且把行業(yè)化應用作為我們的既定戰略，因此在技術(shù)研發(fā)的持續投入上符合用戶(hù)對信息系統持續發(fā)展的需求。

4.7采用先進(jìn)的搜索引擎技術(shù).

　　近年來(lái)搜索引擎技術(shù)得到較大發(fā)展，為本系統的實(shí)現提供了技術(shù)手段。本系統所涉及的搜索引擎相關(guān)技術(shù)包括網(wǎng)頁(yè)自動(dòng)采集和更新、網(wǎng)頁(yè)自動(dòng)分析技術(shù)。

網(wǎng)頁(yè)自動(dòng)采集和更新
為保證本系統要求功能的順利實(shí)現，所采用的搜索引擎技術(shù)具備以下功能：

1. 支持增量更新的策略，每次采集只采集上次更新后新生成的網(wǎng)頁(yè)，而不是全部再采集一遍，從而保證信息更新的效率。增量更新策略是對信息采集非常重要的方法，也是網(wǎng)絡(luò )上搜索引擎普遍存在的缺點(diǎn)。



2. 支持靈活的采集策略，包括可以指定采集的目錄和層次，以及使用檢索邏輯來(lái)定位內容，比如可以采用“自行車(chē)-比賽”這樣的檢索邏輯來(lái)控制抓取“有關(guān)自行車(chē)，但并不是關(guān)于自行車(chē)比賽”的網(wǎng)頁(yè)。除了在采集模塊提供檢索邏輯定位內容的方式，我們還在發(fā)布模塊提供專(zhuān)題服務(wù)的方式實(shí)現同樣的功能，而且我們建議應采用以專(zhuān)題服務(wù)為主實(shí)現網(wǎng)頁(yè)內容定位。具體內容參見(jiàn)設計方案中的專(zhuān)題服務(wù)部分。

• 正文內容提取：剔除廣告、導航信息、版權等無(wú)用信息，只保留正文內容以及必要的圖表；


• 格式自動(dòng)轉換：自動(dòng)將HTML格式轉換為T(mén)EXT文件，方便再加工；


• 屬性自動(dòng)標引：對有條件分析出標題、版次、日期、作者、欄目、分類(lèi)等屬性的網(wǎng)頁(yè)，分析并標注這些屬性信息（元數據自動(dòng)提取）；


• 屬性自動(dòng)提取：自動(dòng)搜索、記錄網(wǎng)頁(yè)中的單位名稱(chēng)、系統名稱(chēng)等標識網(wǎng)頁(yè)屬性的信息。

4.8基于內容的自動(dòng)分類(lèi)和聚類(lèi)技術(shù)

　　為了對采集到的大量網(wǎng)頁(yè)信息進(jìn)行標注分類(lèi)，必須采用適當的機器自動(dòng)分類(lèi)方法，盡量減少需要人工參與的環(huán)節。但是，必要的人工干預能夠提供分類(lèi)的準確率。

　　在本方案系統應用設計中所提出的機檢分類(lèi)和自動(dòng)分類(lèi)，分別代表了語(yǔ)義規則分類(lèi)方法和統計原理分類(lèi)方法兩種典型的分類(lèi)技術(shù)，為了描述方便，我們分別稱(chēng)它們?yōu)榛�于語(yǔ)義規則的自動(dòng)分類(lèi)和基于統計原理的自動(dòng)分類(lèi)。

·基于語(yǔ)義規則的自動(dòng)分類(lèi)（機檢分類(lèi)）

　　基于語(yǔ)義規則的自動(dòng)分類(lèi)是利用人工定義的語(yǔ)義規則對信息進(jìn)行分類(lèi)，人們通過(guò)維護一個(gè)規則表來(lái)控制分類(lèi)的效果。

　　優(yōu)點(diǎn)：原理簡(jiǎn)單，容易實(shí)現，控制效果明顯。

　　缺點(diǎn)：語(yǔ)義規則的制定和維護需要大量的人工參與，不能利用語(yǔ)料庫的知識資源；不能有效解決對多語(yǔ)言的支持，對多語(yǔ)言需要分別建立對應的規則表，工作量大；人工制定的語(yǔ)義規則不可能完全反映分類(lèi)的內在規律。
基于語(yǔ)義規則的自動(dòng)分類(lèi)方法比較適合通過(guò)簡(jiǎn)單的規則即可明確判定的分類(lèi)，比如按地區分類(lèi)，按事件分類(lèi)等。

·基于統計原理的自動(dòng)分類(lèi)（自動(dòng)分類(lèi)）

　　基于統計原理的自動(dòng)分類(lèi)方法是建立在統計學(xué)習理論和機器學(xué)習方法之上的根據內容進(jìn)行自動(dòng)分類(lèi)的方法，其基本原理是利用概率統計學(xué)原理，采用機器在大量語(yǔ)料庫上自動(dòng)學(xué)習的方式，分析出各個(gè)分類(lèi)的內在特征，然后通過(guò)對比未知對象與各個(gè)分類(lèi)特征的相關(guān)程度來(lái)判定其類(lèi)別歸屬。

　　基于統計原理的計算方法在近年來(lái)得到普及的開(kāi)發(fā)和應用，并在諸如語(yǔ)音識別、漢字識別、拼音輸入法等領(lǐng)域的應用中表現出良好的實(shí)用價(jià)值，比基于規則推理、語(yǔ)義分析等語(yǔ)言學(xué)知識的方法表現出更強的靈活性和適應性。

　　優(yōu)點(diǎn)：學(xué)習過(guò)程由機器自動(dòng)進(jìn)行，不需人工干預；人們對分類(lèi)質(zhì)量的控制轉換成提供語(yǔ)料庫的方式，更加符合信息管理員的工作特點(diǎn)；在給定語(yǔ)料庫的前提下，機器對分類(lèi)特征的提取不會(huì )產(chǎn)生遺漏或誤差，計算結果穩定。

　　缺點(diǎn)：基于統計原理的自動(dòng)分類(lèi)適合于對內容進(jìn)行自動(dòng)分類(lèi)，而不適合地區、事件、來(lái)源等類(lèi)型的分類(lèi)。
在此系統設計、實(shí)現中，不但可以先按內容、地區、來(lái)源等多種方式快速標引網(wǎng)頁(yè)，而且可以基于內容對采集信息進(jìn)行自動(dòng)、準確的分類(lèi)，這兩種分類(lèi)方法有機結合為搜索引擎系統提供全面的、準確的、快速的、智能的分類(lèi)服務(wù)。

4.9基于內容的信息去重技術(shù)

　　在該項目中，采用了信息去重、相似性檢索技術(shù)，主要應用在網(wǎng)頁(yè)的排重過(guò)程分析中。雖然簡(jiǎn)單的規則判斷提供了一種可選擇的方式，但合理的方案應是基于網(wǎng)頁(yè)內容本身的判斷，基于網(wǎng)頁(yè)內容的判斷應該是排重的主要手段。因此我們建議采用基于內容的、成熟的信息去重相似性檢索技術(shù)實(shí)現內容的排重判斷，在排重判斷的過(guò)程中，TRS公司設計、實(shí)現的系統將不但處理文字內容，而且要對文中的數字內容進(jìn)行判斷。

4.10優(yōu)異的全文檢索性能

　　TRS全文檢索系統在行業(yè)里具有領(lǐng)先的性能，是中文全文檢索的事實(shí)上的標準，眾多的全文檢索廠(chǎng)商都以TRS的性能指標作為自己軟件評測的標準和系統發(fā)展方向。

　　目前國內唯一的商用千萬(wàn)級數據庫——新華社多媒體數據庫就是采用TRS作為底層檢索平臺，目前，該系統已有將近16T數據量，檢索（包括簡(jiǎn)單檢索和復雜檢索）的平均響應時(shí)間是秒級。并且，TRS的檢索性能隨著(zhù)數據的增加不會(huì )呈線(xiàn)性下降，可以在一個(gè)非常廣的數據規模范圍內保證用戶(hù)的實(shí)際應用。

TRS全文數據庫系統V6的性能指標

單機環(huán)境下TRS 全文數據庫系統的性能指標:

集群負載均衡模式下TRS 全文數據庫系統的性能指標:

TRS 全文數據庫系統的性能圖示：

CTI論壇編輯