近期,由 SelectDB 主辦,百度智能云、騰訊云聯(lián)合舉辦的 Apache Doris (社區首屆峰會(huì ) Doris Summit 2022 圓滿(mǎn)落下帷幕。本次峰會(huì )以 Select Future From Doris 為主題,匯聚了來(lái)自 SelectDB、百度、騰訊、美團、小米、京東、字節跳動(dòng)、阿里云、亞馬遜云科技、網(wǎng)易、知乎、斗魚(yú)、馬上消費金融、易觀(guān)、韻達、360 等行業(yè)領(lǐng)軍企業(yè)的 40 余位資深數據專(zhuān)家。在為期兩天的在線(xiàn)峰會(huì )上,眾多專(zhuān)家共同探討了業(yè)界最前沿數據分析技術(shù)的演進(jìn)趨勢以及數字化時(shí)代數據分析平臺建設的最佳實(shí)踐,為參會(huì )的數萬(wàn)名大數據領(lǐng)域開(kāi)發(fā)者奉上了一份精彩的技術(shù)盛宴。
全球大數據和數據庫領(lǐng)域最活躍的開(kāi)源社區之一
本次峰會(huì )在 Apache 基金會(huì ) 2022 年董事姜寧的開(kāi)場(chǎng)致辭中正式拉開(kāi)序幕,Apache Doris PMC 主席陳明雨以 《New Journey of Apache Doris》 為題,詳細回顧了過(guò)去一年 Apache Doris 社區所取得的成績(jì) —— 累計貢獻者規模超過(guò) 420 位、同比增長(cháng)超過(guò) 100%,每月活躍貢獻者增長(cháng)至 100 位、同樣呈翻倍增長(cháng)的趨勢,GitHub Star 數量從 3.6k 增長(cháng)至 7.6k,多次登上 GitHub Trending 榜單、受到全球開(kāi)發(fā)者的關(guān)注……從多個(gè)社區活躍度指標看,Apache Doris 已經(jīng)成為全球大數據和數據庫領(lǐng)域最為活躍的開(kāi)源社區之一!
“另外在 2022 年 6 月, Apache Doris 迎來(lái)了開(kāi)源以來(lái)最重要的里程碑之一,正式從 Apache 孵化器畢業(yè)、成為了 Apache 頂級項目”,陳明雨說(shuō)到,“ 所有取得的成就,都離不開(kāi)社區所有開(kāi)發(fā)者與用戶(hù)的支持,也正是因為有了他們的貢獻,才使得 Apache Doris 有如此快的發(fā)展,未來(lái) Apache Doris 也會(huì )回饋所有用戶(hù)以極致的數據分析體驗。”
2022,更快、更實(shí)時(shí)、更統一
在主論壇的主題分享環(huán)節,來(lái)自 SelectDB、百度、美團、字節跳動(dòng)等多家企業(yè)的社區核心貢獻者帶來(lái)了 Apache Doris 在性能和功能上的優(yōu)化創(chuàng )新及取得的成效。
性能方面,SelectDB CTO 衣國壘介紹到:“通過(guò)向量化執行、內存管理優(yōu)化、自適應字典計算、Global Runtime Filter 等一系列查詢(xún)優(yōu)化手段,Apache Doris 在單表場(chǎng)景斬獲 Clickbench 全球數據庫性能榜單前三的優(yōu)異成績(jì),多表關(guān)聯(lián)場(chǎng)景在 SSB 和 TPC-H 等標準測試數據集有數倍乃至數十倍的性能提升,躋身全球數據庫性能最前列!”
功能方面,來(lái)自 SelectDB、美團、字節跳動(dòng)、百度的多位技術(shù)專(zhuān)家介紹了全新 Unqiue Key 主鍵模型、全新查詢(xún)優(yōu)化器、數據湖聯(lián)邦分析、半結構化數據分析以及多表物化視圖等核心特性的研發(fā)進(jìn)展,同時(shí)分享了社區在版本發(fā)布和代碼質(zhì)量保障方面的思考。這一系列工作使得 Apache Doris 在實(shí)時(shí)性、穩定性和易用性等多方面得到全面進(jìn)化,同時(shí)也具備了更多數據分析場(chǎng)景的適應性,開(kāi)始邁入極速實(shí)時(shí)統一的數據分析時(shí)代。
來(lái)自各行業(yè)用戶(hù)最真實(shí)的聲音
社區用戶(hù)方面,在過(guò)去一年,Apache Doris 也收獲到了更多開(kāi)發(fā)者的認可,有越來(lái)越多的企業(yè)基于 Apache Doris 構建全新的數據分析平臺架構。
“經(jīng)過(guò)統計,在全球范圍內 Apache Doris 的企業(yè)用戶(hù)規模已經(jīng)超過(guò)了 1000 家、被廣泛應用于數十個(gè)行業(yè)中,成為最受人們認可的 OLAP 數據庫之一!”陳明雨補充道,“同時(shí) Apache Doris 社區已經(jīng)聚集了數萬(wàn)人的用戶(hù)社群,社區成立了一只專(zhuān)職的工程師團隊在社群中為所有用戶(hù)答疑解惑,同時(shí)也有許多開(kāi)發(fā)者在社群中交流使用心得和分享實(shí)踐經(jīng)驗,讓更多技術(shù)愛(ài)好者有了一個(gè)自由交流數據庫知識和提升技術(shù)水平的平臺。”
在此次峰會(huì )的行業(yè)最佳實(shí)踐論壇中,美團、京東、小米、騰訊音樂(lè )、360、馬上消費金融、杭銀消金、斗魚(yú)、知乎、韻達、易觀(guān)、同程數科等行業(yè)領(lǐng)軍企業(yè)的多名參會(huì )專(zhuān)家,紛紛介紹了 Apache Doris 在企業(yè)內部大規模落地應用的實(shí)踐經(jīng)驗,并深度解讀了 Apache Doris 如何幫助企業(yè)實(shí)現降本增效。
在縱騰集團的案例分享中,Apache Doris 已經(jīng)助力縱騰集團快速構建起一個(gè)全新的流批一體數倉架構,單日實(shí)時(shí)入庫數據量可達上億規模,同時(shí)支持上百個(gè)調度任務(wù)平穩運行,解決了隨數據增長(cháng)而日益復雜的業(yè)務(wù)需求。 在騰訊音樂(lè )的案例分享中,Apache Doris 助力騰訊音樂(lè )內容數據平臺在百萬(wàn)分群圈選場(chǎng)景中實(shí)現了近 20 倍的性能提升,同時(shí)在存儲和開(kāi)發(fā)維護上降低了 40%以上的投入成本。在慧策的案例分享中,通過(guò) Apache Doris 替代了原有的 Clickhouse,不僅極大提升了ETL效率,還極大降低了存儲成本、存儲空間僅原先40%不到。在美團的案例分享中,Apache Doris 已成為美團內部統一的OLAP引擎,支持外賣(mài)、買(mǎi)菜、優(yōu)選等十余業(yè)務(wù)線(xiàn),集群規模超百個(gè)、總機器規模數千臺。在馬上消費金融的案例分享中, 基于 Apache Doris 全新的實(shí)時(shí)數倉架構極大提升了數據時(shí)效性,從數據生產(chǎn)至數據應用,整個(gè)數據處理鏈路時(shí)延不超過(guò)1分鐘。在杭銀消金的案例分享中,利用 Apache Doris 1.2 最新版本的數據湖分析功能,實(shí)現對ES/Hive等多種異構數據源的統一分析,并極大提升了查詢(xún)性能,降低資源消耗的同時(shí)使系統穩定性進(jìn)一步提升。在斗魚(yú)的案例分享中,Apache Doris 解決了過(guò)去煙囪式開(kāi)發(fā)和繁重架構帶來(lái)的難運維問(wèn)題,并實(shí)現標簽圈選時(shí)間分鐘級至秒級的進(jìn)化,實(shí)時(shí)標簽任務(wù)穩定性的同時(shí)產(chǎn)出時(shí)間也提升了40%。
除以上所摘選內容外,還有更多技術(shù)專(zhuān)家把自身真實(shí)業(yè)務(wù)場(chǎng)景的需求與實(shí)踐沉淀成寶貴的經(jīng)驗,在峰會(huì )上分享給所有參會(huì )的開(kāi)發(fā)者。
豐富的數據上下游與商業(yè)生態(tài)
數據生態(tài)同樣是 Apache Doris 社區重點(diǎn)建設的方向。在商業(yè)與數據生態(tài)論壇上,來(lái)自 Apache DolphinScheduler PMC、Apache Kyuubi 、Apache Inlong、Dinky 社區、ClouGence 等開(kāi)源社區及企業(yè)的多名技術(shù)專(zhuān)家為大家帶來(lái)了數據分析與處理鏈路的深入思考,并解讀了如何結合 Apache Doris 構建對用戶(hù)體驗更加的數據分析解決方案。
開(kāi)源項目的成功離不開(kāi)商業(yè)化力量的支持,如何通過(guò)企業(yè)級特性的增強為客戶(hù)提供具備差異性?xún)r(jià)值的服務(wù),以及如何將開(kāi)源技術(shù)和云原生更好地結合、構建具有競爭力和影響力的產(chǎn)品和解決方案,同樣是本次峰會(huì )的亮點(diǎn)。在商業(yè)與數據生態(tài)論壇上,來(lái)自 SelectDB 的技術(shù)副總裁楊勇強在峰會(huì )上介紹了基于 Apache Doris 內核打造的云原生實(shí)時(shí)數據倉庫 SelectDB Cloud,采用完全存算分離的架構設計,是國內首款實(shí)現多云中立、全托管且 SaaS 化的云數據倉庫。
此外 百度智能云、騰訊云以及火山引擎等國內一線(xiàn)云廠(chǎng)商分別介紹了基于 Apache Doris 打造的云數據倉庫服務(wù),可以快速助力企業(yè)建極速易用的云上數據分析平臺。
全新定位,極速、易用、實(shí)時(shí)、統一的多模分析型數據庫
在本次峰會(huì )上,Apache Doris PMC 陳明雨還代表社區首次發(fā)布了全新定位,并公布了社區 2023 年的研發(fā)計劃。
“如果說(shuō)過(guò)去 Apache Doris 更多是服務(wù)于在線(xiàn)報表場(chǎng)景和 Ad-hoc 分析的 OLAP 引擎的話(huà),那么在所有社區和開(kāi)發(fā)者的努力下,當前 Apache Doris 已經(jīng)具備了更為廣闊的定位,即極速、易用、實(shí)時(shí)、統一的多模分析型數據庫。”陳明雨說(shuō)道,“這其中的統一,既包含了架構的統一、也包含了業(yè)務(wù)和數據的統一。用戶(hù)可以通過(guò) Apache Doris 構建多種不同場(chǎng)景的數據分析服務(wù)、同時(shí)支撐在線(xiàn)與離線(xiàn)的業(yè)務(wù)負載、高吞吐的交互式分析與高并發(fā)的點(diǎn)查詢(xún);通過(guò)一套架構實(shí)現湖和倉的統一、在數據湖和多種異構存儲之上提供無(wú)縫且極速的分析服務(wù);也可通過(guò)對日志/文本等半結構化乃至非結構化的多模數據進(jìn)行統一管理和分析、來(lái)滿(mǎn)足更多樣化數據分析的需求。這是我們希望 Apache Doris 能夠帶給用戶(hù)的價(jià)值,不再讓用戶(hù)在多套系統之間權衡,僅通過(guò)一個(gè)系統解決絕大部分問(wèn)題,降低復雜技術(shù)棧帶來(lái)的開(kāi)發(fā)、運維和使用成本,最大化提升生產(chǎn)力。”
在2023 年,Apache Doris 社區將開(kāi)啟更多有意義的工作,全年的研發(fā)計劃主要會(huì )圍繞高性能、高性?xún)r(jià)比、混合負載分析、多模態(tài)數據分析、湖倉一體、實(shí)時(shí)性以及易用性與穩定性等方向展開(kāi),將回饋所有用戶(hù)以更佳的數據分析體驗,致力于成為全球OLAP 數據庫的新標桿。
至此,Doris Summit 2022 社區首屆峰會(huì )圓滿(mǎn)收官! 峰會(huì )的順利舉行,要特別感謝參與本次峰會(huì )分享的 40 余位技術(shù)專(zhuān)家以及 10 余位議題評審委員會(huì )專(zhuān)家,為所有社區用戶(hù)、開(kāi)發(fā)者、數據庫技術(shù)從業(yè)者以及全體熱愛(ài)開(kāi)源的人士帶來(lái)了一場(chǎng)如此精彩的技術(shù)盛宴,同樣也要感謝所有參與本次峰會(huì )的合作伙伴以及工作人員。
2023 年是 Apache Doris 全新征程的開(kāi)始,在未來(lái)的日子里,Apache Doris 必將本著(zhù)為人們解決數據分析問(wèn)題的初心,繼續砥礪前行。相信在所有社區用戶(hù)和開(kāi)發(fā)者的幫助下, Apache Doris 會(huì )在更多的行業(yè)中和場(chǎng)景中得到更深度的應用。也期待 Apache Doris 走向全球,為更多不同地域的人解決數據分析難題,代表中國開(kāi)源力量在全球舞臺閃耀!
# 關(guān)于 Doris Summit
Doris Summit 是 Apache Doris 社區年度技術(shù)盛會(huì ),大會(huì )匯聚世界各地 Apache Doris 社區成員及實(shí)時(shí)分析數據庫領(lǐng)域的專(zhuān)家。社區通過(guò)大會(huì )公布最新動(dòng)態(tài)以及年度 Roadmap,集結國內外各大廠(chǎng)商分享基于 Doris 的實(shí)踐經(jīng)驗及行業(yè)未來(lái)發(fā)展趨勢,更有領(lǐng)域內大咖與大家在線(xiàn)互動(dòng)交流。這是社區用戶(hù)及相關(guān)領(lǐng)域從業(yè)者不可多得的技術(shù)盛會(huì ),不容錯過(guò),誠邀您來(lái)參加!
# 關(guān)于SelectDB
SelectDB 是Doris Summit Asia 2022 的組織者,也是 Apache Doris 背后的商業(yè)化公司。致力于為 Apache Doris 社區提供一個(gè)由全職工程師、產(chǎn)品經(jīng)理和支持工程師組成的團隊,繁榮開(kāi)源社區生態(tài),打造實(shí)時(shí)分析型數據庫領(lǐng)域的國際工業(yè)界標準。基于 Apache Doris 研發(fā)的新一代云原生實(shí)時(shí)數倉 SelectDB,運行于多家云上,為用戶(hù)和客戶(hù)提供開(kāi)箱即用的能力。