2018年7月6日易谷網(wǎng)絡(luò )“智能服務(wù)與營(yíng)銷(xiāo)新方案發(fā)布會(huì )”在北京泛太平洋酒店順利舉辦。智鈾科技創(chuàng )始人兼CEO夏粉發(fā)表了題為《基于A(yíng)utoML的智能推薦技術(shù)》的主題演講。
夏粉：大家好！剛才提到“機器學(xué)習”，現在它是熱門(mén)詞，當我讀博士時(shí)它是冷門(mén)詞。我的導師是機器學(xué)習的泰斗王玨老師，他說(shuō)“你來(lái)我這，將來(lái)找不到工作，畢業(yè)之后只能當老師。”誰(shuí)也沒(méi)想到，人工智能、大數據、物聯(lián)網(wǎng)都起來(lái)了，機器學(xué)習變得熱門(mén)了。
我今天的主題是“基于A(yíng)utoML的智能推薦技術(shù)。”
我是機器學(xué)習的博士，有15年以上的機器學(xué)習的經(jīng)驗，15年前機器學(xué)習是個(gè)冷門(mén)。我在學(xué)術(shù)界機器學(xué)習頂級會(huì )議和雜志上都有文章。現在是智鈾科技創(chuàng )始人，專(zhuān)注于自動(dòng)化機器學(xué)習，就是AutoML技術(shù)產(chǎn)品和研發(fā)。曾經(jīng)在百度任資深科學(xué)家，在百度期間負責百度的超大規模機器學(xué)習團隊，在百度期間我曾經(jīng)研發(fā)了一個(gè)大規模稀疏架構自動(dòng)化機器學(xué)習平臺Pulsar，覆蓋百度90%的業(yè)務(wù)線(xiàn)，包括百度核心業(yè)務(wù)線(xiàn)鳳巢、金融、糯米等，在百度內部機器學(xué)習平臺中用戶(hù)數排名第一。
推薦在日常生活中各個(gè)場(chǎng)景都會(huì )發(fā)生，我們吃飯時(shí)希望美團推薦餐廳，在上網(wǎng)時(shí)希望推薦合適的廣告，在信息資訊時(shí)希望給我們推薦合適的資訊，在打電話(huà)給客服時(shí)希望它推薦給我們滿(mǎn)意的客服。
這是百度搜索的圖，當用戶(hù)在百度搜索引擎查詢(xún)“北京美食”時(shí)，這個(gè)頁(yè)面下方有一個(gè)廣告塊，我們希望廣告塊推薦用戶(hù)滿(mǎn)意的廣告。對一個(gè)系統來(lái)說(shuō)，這件事情是怎么發(fā)生的？當用戶(hù)輸入檢索詞時(shí)，怎么檢索系統？從它的廣告庫里成千上億的廣告庫里挑選廣告。廣告怎么挑選？它有很多維度，比如廣告滿(mǎn)意度、相關(guān)性、點(diǎn)擊率等，這個(gè)系統會(huì )綜合各因素，從上億的廣告里找出一個(gè)用戶(hù)滿(mǎn)意的廣告。
從我剛才的描述中發(fā)現，所謂的推薦一定要有一個(gè)目標，這個(gè)目標可能是你的相關(guān)性，也可能是點(diǎn)擊率，也可能是相關(guān)性和滿(mǎn)意度的綜合體，但無(wú)論如何，這里面核心的問(wèn)題是需要對場(chǎng)景做精準預測。以點(diǎn)擊率為例，希望用戶(hù)輸入查詢(xún)時(shí)，推薦一個(gè)點(diǎn)擊率比較高的廣告。點(diǎn)擊率這件事情是什么？實(shí)際上是一個(gè)模型，模型是描述系統里各因素的相關(guān)關(guān)系，什么叫相關(guān)關(guān)系？以這個(gè)為例，我們希望用戶(hù)在這個(gè)場(chǎng)景下點(diǎn)擊這個(gè)廣告的可能性，這就是相關(guān)性。推薦系統的核心是建模，我們希望找到這樣的規律，找到這個(gè)規律的過(guò)程，就是建模的過(guò)程。建模就是學(xué)習概念。
對比使用推薦技術(shù)和不使用推薦技術(shù)的廣告系統，當使用推薦技術(shù)以后，發(fā)現在廣告投放的相關(guān)性上得到提升，在點(diǎn)擊率上得到提升，在收入上也同樣得到提升。原因是什么？因為我們建了模型，通過(guò)模型能夠預測出來(lái)將來(lái)發(fā)生的事情，可以通過(guò)預測來(lái)達到想要的目標，比如我通過(guò)預測廣告點(diǎn)擊率比較高，所以把點(diǎn)擊率高的廣告挑出來(lái)，自然推薦時(shí)就會(huì )得到很高的點(diǎn)擊率。
推薦技術(shù)的核心問(wèn)題是建模問(wèn)題，但建模問(wèn)題并不是一個(gè)嶄新問(wèn)題。自從人類(lèi)文明以來(lái)，人類(lèi)就一直在建模。當我們沒(méi)有計算機的時(shí)候、沒(méi)有數據的時(shí)候，怎么建模？用人腦建模。人腦會(huì )看到很多事情，比如有一句話(huà)叫“閱人無(wú)數”，指的是看的人多了以后，會(huì )根據言談舉止推測人的性格，這個(gè)建模過(guò)程是在腦袋里面的。第一代建模技術(shù)主要表現在人工規則、表現在統計方法。
當計算機出現的時(shí)候，進(jìn)入第二代建模方法“機器學(xué)習”，它克服了人工建模的犯錯，而且當因素變多時(shí)候，人很難發(fā)現因素間的關(guān)系，這時(shí)需要借鑒機器學(xué)習的方法。當數據量有限時(shí)，這時(shí)建的模型是小規模模型。當深度學(xué)習、互聯(lián)網(wǎng)企業(yè)加入時(shí)，互聯(lián)網(wǎng)擁有更大算力、更多數據，這時(shí)建模會(huì )容納更多數據，計算更精確，是第三代建模技術(shù)。大家感知比較多的是第三代建模技術(shù)，因為第二代是學(xué)術(shù)研究場(chǎng)景，到第三代時(shí)大家真的感到人工智能時(shí)代來(lái)臨了。
第二代和第三代建模解決的是什么問(wèn)題？第一代計算機會(huì )得到模型，但它并不能得到好的模型。如果你想建一個(gè)好的模型，這時(shí)還差一個(gè)事情，各個(gè)企業(yè)轉人工智能得招人、招科學(xué)家，直接用第二代、第三代技術(shù)不能得到好的模型，如果得到好的模型必須聘請科學(xué)家，好科學(xué)家的數量是稀缺，嚴重制約企業(yè)在人工智能的發(fā)展。如果希望人工智能造福各行各業(yè)，我們一定要降低門(mén)檻，去除對科學(xué)家的依賴(lài)。這時(shí)第四代建模技術(shù)是AutoML技術(shù)來(lái)臨，主要的特點(diǎn)是去除對科學(xué)家的依賴(lài)，不光用計算機建一個(gè)模型，而且是建一個(gè)好的模型。
這是機器學(xué)習的建模流程，原始數據特征抽取之后進(jìn)行數據預處理，然后對特征預處理-選擇算法-調參-評估-預測-得到模型。通過(guò)不斷的迭代才得到不斷的模型，有好的模型才能夠得到預測。舉個(gè)類(lèi)似的場(chǎng)景，以做飯為例，數據相當于原料，比如米、蔬菜，第一步數據預處理，對蔬菜進(jìn)行清洗，把不干凈的、老的地方去除，第二步特征預處理，類(lèi)似于菜的搭配，選擇算法可以理解為選擇鍋，高壓鍋或者平底鍋，調參可以理解為掌握火候，這個(gè)菜好不好吃可以進(jìn)行口味的調整，如果菜不好吃就要重復這個(gè)流程。五星級的廚師是反復進(jìn)行這個(gè)流程。
機器學(xué)習建模場(chǎng)景在一開(kāi)始是沒(méi)有經(jīng)驗的，我從自動(dòng)化所加入百度時(shí)，對廣告建模也沒(méi)有經(jīng)驗，我是怎么有經(jīng)驗的？重復這個(gè)過(guò)程。這個(gè)過(guò)程中非常痛苦的，我帶30個(gè)人重復了3年這個(gè)事情。但做的過(guò)程中給百度帶來(lái)了巨大的利益，每次調參，模型變得越來(lái)越精準，收益在逐漸調整。
對于早期的互聯(lián)網(wǎng)公司經(jīng)歷了第三代的學(xué)習技術(shù)，大量依賴(lài)于科學(xué)家和人力成本。有沒(méi)有辦法去除這個(gè)依賴(lài)？有！目前的解決方案是AutoML，把中間重復的、繁雜的調參過(guò)程去除，類(lèi)似于做飯去除了對廚師的依賴(lài)，我們給大家一個(gè)智能鍋，把原料放進(jìn)去以后，它自動(dòng)給你加工出一個(gè)菜，而且保證這個(gè)菜的口味非常好吃，這就是AutoML技術(shù)要研究的內容。
目前學(xué)術(shù)界和工業(yè)界都對此展開(kāi)研究，在國際機器學(xué)習大會(huì )以及神經(jīng)處理大會(huì )NIPS上，最近幾年把它列為專(zhuān)門(mén)的議題在討論。同樣，在企業(yè)界，谷歌于2017年已經(jīng)把AutoML技術(shù)作為它的云戰略重要組成部分。谷歌為了提升它云的占有率，提出了三大戰略，其中就有AutoML技術(shù)，主要是為了搶占云的市場(chǎng)，AutoML技術(shù)是對一個(gè)企業(yè)非常重要的技術(shù)。
這個(gè)技術(shù)很熱，但也困難，是機器學(xué)習領(lǐng)域最前沿的技術(shù)之一。它為什么困難？第一，參數調節非常復雜，跟做菜一樣有很多工序，每個(gè)工序都需要調。第二，目標函數不可導，比如做飯選擇平底鍋還是高壓鍋，這個(gè)鍋的選擇是突變過(guò)程，不能對菜的好壞形成連續影響，這帶來(lái)了優(yōu)化挑戰。第三，評估代價(jià)特別大，以做飯為例，需要把所有的東西做完以后才知道好吃不好吃，中間過(guò)程沒(méi)有辦法評估。
技術(shù)非常難，但正因為困難，才激起機器學(xué)習專(zhuān)家的熱情。包括我本人也對此非常熱情，從我加入百度時(shí)，就一直在研究這套技術(shù)。這套技術(shù)的學(xué)術(shù)現狀是這樣的，目前一兩個(gè)主流方法，第一種方法是減少搜索代價(jià)，還以做飯為例，做一半可以確定菜好不好吃，比如菜炒焦了，后面再怎么調也不會(huì )好吃，要及時(shí)止損，減少迭代次數。第二種方法是AutoML，一個(gè)高級廚師做宮爆雞丁時(shí)覺(jué)得跟魚(yú)香肉絲相似，所以就沒(méi)必要再摸索宮爆雞丁的過(guò)程，這時(shí)用AI訓練，比如訓練人臉識別過(guò)程，而訓練的過(guò)程是人工的，訓練的過(guò)程用機器，相當于用機器人訓練機器人，這是AutoML的方法，及時(shí)止損和得到效率的極大提升。
智鈾科技是目前少數幾個(gè)跟谷歌一樣掌握自動(dòng)化機器學(xué)習的公司之一，我們不斷對學(xué)術(shù)界現狀做了了解，除此之外還獨創(chuàng )很多算法。舉個(gè)例子，我們在模型算法上，建立了萬(wàn)億的神經(jīng)網(wǎng)絡(luò )，是目前世界最大的神經(jīng)網(wǎng)絡(luò )。在特征學(xué)習用獨特的算法，這個(gè)算法一個(gè)下午就可以相當于用30個(gè)人調3年。我們還有參數學(xué)習方法。
對于A(yíng)utoML的展望，第一代人工智能是學(xué)習分類(lèi)器，讓大家感覺(jué)到人工智能來(lái)了。第二代是學(xué)習特征，能夠找出這個(gè)圖片有哪些特征表示。第三代是學(xué)習如何學(xué)習，就是給了你目標以后，希望人工智能能夠自動(dòng)學(xué)習出目標來(lái)，而不需要人工干預。第四代是學(xué)習學(xué)習什么，機器自動(dòng)思考該學(xué)習什么，而不像前三代由人來(lái)指定學(xué)什么。
智鈾科技是一家年輕公司，成立一年多，公司使命是“致力于企業(yè)級自動(dòng)化機器學(xué)習平臺研發(fā)”，希望通過(guò)我們的技術(shù)，降低企業(yè)應用AI門(mén)檻，為用戶(hù)提供數據分析、模型調參等一站式服務(wù)，幫助企業(yè)構建人工智能核心，實(shí)現AI驅動(dòng)，而且這個(gè)驅動(dòng)是低成本的。降低去除科學(xué)家的依賴(lài)。
我們盡管成立時(shí)間不長(cháng)，但推出了小智產(chǎn)品，它擁有當前最先進(jìn)的AutoML技術(shù)。產(chǎn)品亮點(diǎn)主要有：第一，自動(dòng)化構建高精度模型。第二，簡(jiǎn)單易用，全程可視化。第三，模型快速部署發(fā)布。第四，模型準確性高、速度快，達到高級科學(xué)家的水平。第五，支持海量數據建模。右邊是合作案例，包括銀行、互聯(lián)網(wǎng)金融、內容營(yíng)銷(xiāo)、基因等等。
