暗網(wǎng)（Deep Web）又被稱(chēng)為不可見(jiàn)網(wǎng)、隱藏網(wǎng)，是指不能被搜索引擎抓取，需要通過(guò)動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)訪(fǎng)問(wèn)的網(wǎng)絡(luò )資源。盡管我們日常當中可接觸到的網(wǎng)絡(luò )信息已經(jīng)是海量，實(shí)際上也不過(guò)是所有網(wǎng)絡(luò )信息的冰山一角。任何關(guān)鍵詞的谷歌搜索都無(wú)法訪(fǎng)問(wèn)深層網(wǎng)絡(luò )，這些信息隱藏在密碼和特殊訪(fǎng)問(wèn)軟件背后，暗網(wǎng)中的信息量至少是表層網(wǎng)絡(luò )（Surface Web）的500倍。
表層網(wǎng)絡(luò )的數據已經(jīng)成就了大量成功的科技公司，暗網(wǎng)的數據體量如此龐大，這部分數據如何挖掘和應用呢？
印度初創(chuàng )公司Quantta Analytics正是一家做暗網(wǎng)數據（Dark data）挖掘、分析和應用的公司。截止到目前，已經(jīng)有超過(guò)100家企業(yè)為Quantta Analytics的數據分析服務(wù)付費，包括印度國家銀行、麥當勞、星巴克等。Auantta Analytics為金融、零售、酒店、醫療保健、能源和餐飲行業(yè)提供服務(wù)。
Quantta Analytics擁有一支約20人的團隊，包括數學(xué)家、統計學(xué)家和工程師，來(lái)自哈佛大學(xué)、馬里蘭大學(xué)、密歇根大學(xué)、印度理工大學(xué)、印度統計學(xué)院等。他們正在應用AI模型實(shí)時(shí)監測暗網(wǎng)數據，并將數據與行為心理學(xué)結合，以預測用戶(hù)行為。
Quantta Analytics創(chuàng )始人Ritesh Bawri以耐克為例，以說(shuō)明暗網(wǎng)數據如何幫助零售企業(yè)：比方說(shuō)，耐克在印度不同地方有200家商店，耐克向Quantta Analytics提供客戶(hù)在店內的消費數據，如消費金額、消費明細、逗留時(shí)間等等，Quantta Analytics會(huì )添加耐克商店周邊相關(guān)數據，為耐克反饋市場(chǎng)信息，例如他們可以告訴耐克在特定商店周?chē)�有多少用戶(hù)沒(méi)有到店消費。
聽(tīng)起來(lái)似乎與其他大數據公司無(wú)疑，Quantta的特別之處在于他們不是通過(guò)爬蟲(chóng)抓取表層網(wǎng)絡(luò )信息，而是不斷地接入深層網(wǎng)絡(luò )數據點(diǎn)，以獲得與其他大數據公司不同的數據源。Ritesh Bawri介紹，Quantta的系統已經(jīng)有600億個(gè)數據點(diǎn)流入。
本質(zhì)上Quantta Analutics還是家大數據挖掘和分析的公司，但我覺(jué)得有趣的是他們對接暗網(wǎng)數據源的策略。這是一個(gè)數據源和建模能力雙力齊驅的賽道，早期進(jìn)入暗網(wǎng)數據挖掘，是大數據公司建立差異化優(yōu)勢和競爭壁壘的好方法。
