美國西部時(shí)間 5 月 2 日下午 7 點(diǎn)，Twitter 公司在舊金山總部舉行了一次技術(shù)發(fā)布會(huì )兼 Meetup。會(huì )上，Twitter 計算平臺（Twitter Computing Platform）產(chǎn)品與技術(shù)負責人 David McLaughlin 正式宣布，Twitter 的基礎設施將從 Mesos 全面轉向 Kubernetes。
Mesos 項目發(fā)布于 2009 年，而 Twitter 公司則是 Mesos 項目的早期支持者和使用者之一。作為世界上最成功的社交媒體巨頭之一，Twitter 公司以其龐大的生產(chǎn)集群規模（萬(wàn)級別節點(diǎn)）而備受關(guān)注。2011 年，Twitter 公司開(kāi)始在 Mesos 項目的基礎上開(kāi)發(fā) Aurora 項目以便同時(shí)管理其內部的在線(xiàn)和離線(xiàn)業(yè)務(wù)，逐步成為 Mesos 社區的代言人。
在持續投入 Mesos 項目近 10 年之后，Twitter公司為什么突然宣布全面轉向 Kubernetes 體系？在這個(gè)令人矚目的決定背后，是什么樣的架構和設計支撐Twitter 基礎設施360度的“華麗轉身”呢？
云時(shí)代，Twitter 基礎設施面臨新挑戰
Twitter 公司創(chuàng )始于 2006 年。時(shí)至今日，全世界每天都有至少 5 億條推文產(chǎn)生。在過(guò)去十余年飛速成長(cháng)和海量數據的挑戰下，Twitter 基礎設施架構的演進(jìn)過(guò)程，一直以來(lái)都是全世界技術(shù)公司眼中的標桿案例。這其中，像 Mesos 這樣優(yōu)秀的老牌調度框架、 以及像 Aurora 這樣啟發(fā)自 Google Borg 配置管理的編排引擎，可謂功不可沒(méi)。
事實(shí)上，在互聯(lián)網(wǎng)級別的技術(shù)場(chǎng)景下，依托頂級工程師和成熟技術(shù)自建基礎設施，一直以來(lái)都是一線(xiàn)非云互聯(lián)網(wǎng)廠(chǎng)商的架構首選。正是在這個(gè)過(guò)程中，相對成熟并且工作層次較低的 Mesos 項目收獲到了大量規模級生產(chǎn)環(huán)境部署案例。
不過(guò)，隨著(zhù)云計算的普及和 Kubernetes 這樣以“云”為核心的容器化基礎設施項目的迅速崛起，這種傳統互聯(lián)網(wǎng)基礎技術(shù)架構選型方法逐步暴露出很多前所未有的問(wèn)題。在本次發(fā)布會(huì )上， David 就以 Twitter 公司當前面臨的挑戰為例，對這些問(wèn)題作出了簡(jiǎn)明扼要的總結：
1、存儲系統的多樣化與專(zhuān)業(yè)化，使傳統基礎設施復雜度急劇上升
相比于傳統技術(shù)架構對存儲系統的單一假設（比如一套 Ceph 打天下），云時(shí)代的軟件架構為用戶(hù)存儲選擇帶來(lái)了爆發(fā)性增長(cháng)。僅以阿里云為例，它在公有云上能夠為用戶(hù)提供的各種類(lèi)型的存儲服務(wù)就多達 10 余種，其中的細分方案更是數不勝數。隨著(zhù)互聯(lián)網(wǎng)公司的基礎架構和軟件規模的不斷擴張和發(fā)展，互聯(lián)網(wǎng)軟件本身對存儲的需求也更加細化和專(zhuān)業(yè)。
比如，在 Twitter，Local Persistent Volume 這種“非典型”存儲訴求，逐漸在平衡性能與成本的過(guò)程中成為一種主流方案。作為 CSI（Container Storage Inerface）的提出者，Kubernetes 社區不僅擁有最完善的 Local PV 機制，還能夠憑借標準接口和 PV、PVC 體系，完全為用戶(hù)抹平其它數十種不同存儲服務(wù)的對接問(wèn)題。這在互聯(lián)網(wǎng)軟件架構日趨復雜和面向多云的發(fā)展趨勢中，無(wú)疑是至關(guān)重要的。
2、Mesos 和 Aurora 體系與“云原生”始終漸行漸遠
云時(shí)代一個(gè)重要的技術(shù)發(fā)展趨勢就是軟件的生命周期會(huì )逐步向“生在云上、長(cháng)在云上”的形態(tài)靠攏。這也就意味著(zhù)作為支撐軟件的核心基礎設施項目，必然要向“發(fā)揮云的最大價(jià)值”的方向不斷演進(jìn)。
遺憾的是，Mesos 以及 Aurora 項目或許是由于發(fā)布較早，始終沒(méi)能夠將“云”變成整個(gè)基礎設施體系中的“一等公民”。相比之下，Kubernetes 體系從發(fā)布伊始就不斷倡導“聲明式 API”、“容器設計模式”、“控制器模型”等各項理念，其實(shí)都是為了幫助用戶(hù)能夠在云上以“可擴展、可復制、高度自動(dòng)化”的方式開(kāi)發(fā)、交付和運維軟件。如今，這些頂層架構設計與各種最佳實(shí)踐，被廣大開(kāi)發(fā)者們冠名為“云原生”。這也成為 Kubernetes 項目與其它競爭對手相比最大的不同。
3、傳統的多云、多集群管理成本居高不下，并在可預見(jiàn)的未來(lái)內迅速攀升
在傳統的互聯(lián)網(wǎng)架構中，自建數據中心和基礎設施體系是整個(gè)軟件系統的第一假設。而“云”所扮演的角色，更像是在流量突發(fā)時(shí)應付峰值的資源“備胎”。
在這種以“云”為輔助角色的指導思想下，多云和多集群很難成為整個(gè)架構的重中之重。這就使得多云和多集群能力，成為底層資源對接層的職責，而與更重要的應用開(kāi)發(fā)、交付和運維體系失去直接關(guān)聯(lián)。這種方案短期內固然可以奏效，但長(cháng)期的維護和迭代成本卻很容易因為上層應用本身千變萬(wàn)化的形態(tài)與高速迭代而超出把控。
此外，這種設計的另一個(gè)極端是讓整體基礎設施走向“多活”技術(shù)深淵：這實(shí)際上已經(jīng)遠遠超出 90% 以上互聯(lián)網(wǎng)公司的技術(shù)能力。在云原生體系普及之后，“每朵云上都有無(wú)數個(gè) Kubernetes 集群”逐漸成為應用基礎設施能夠依賴(lài)的新常態(tài)。
這就為多云和多集群管理提供了一種全新的突破性思路：只要軟件選擇面向 Kubernetes 來(lái)進(jìn)行架構、設計和實(shí)現，那么“多云、多集群”就自然而然成為應用基礎設施的默認能力。在 Twitter 的業(yè)務(wù)越來(lái)越多的需要多云、多集群環(huán)境交付的趨勢下， Kubernetes 這種從根本上幫助應用迅速向多云交付的“捷徑”，成為 Twitter 選擇變更自身技術(shù)體系的另一個(gè)重要原因。
作為不斷在快速發(fā)展和迭代的互聯(lián)網(wǎng)公司，高壓力和快節奏背景下的企業(yè)往往無(wú)暇顧及基礎設施架構的標準化與兼容性問(wèn)題，這同樣也是 Twitter 公司面臨的主要問(wèn)題之一。所以，在這次轉型過(guò)程中，“Kubernetes Native”成為一個(gè)被反復強調的關(guān)鍵詞。
大規模生產(chǎn)環(huán)境的" Kubernetes Native "技術(shù)路徑
作為不斷在快速發(fā)展和迭代的互聯(lián)網(wǎng)公司，高壓力和快節奏背景下的企業(yè)往往無(wú)暇顧及基礎設施架構的標準化與兼容性問(wèn)題，這同樣也是 Twitter 公司面臨的主要問(wèn)題之一。所以，在這次轉型過(guò)程當中，“Kubernetes Native”成為一個(gè)被反復強調的關(guān)鍵詞。在發(fā)布會(huì )上，Twitter 公司公布了選擇 Kubernetes Native 方向的諸多評估依據。
- 良好的開(kāi)源技術(shù)與開(kāi)源生態(tài)；
- 全世界所有的公有云都提供 Kubernetes 服務(wù)，不必擔心廠(chǎng)商鎖定；
- 原生具備有狀態(tài)業(yè)務(wù)（Stateful Application）的管理語(yǔ)義；
- 項目本身快速迭代，具有很強創(chuàng )新能力和先進(jìn)性；
- 具備標準的存儲對接接口，幫助 Twitter 無(wú)縫遷移各種現有存儲服務(wù)；
最終，Twitter 公司用一句話(huà)總結了這次評估的結果：“我們認為，使用 Kubernetes 項目作為 Twitter 公司基礎設施向前演進(jìn)的核心依賴(lài)，將會(huì )是一個(gè)正確的選擇”。
而在這條演進(jìn)路徑上，Twitter 也公布了多項具體的技術(shù)舉措，比如：
- 開(kāi)發(fā) Twitter 專(zhuān)屬的有狀態(tài)應用管理控制器（TwitterSet）；
- 開(kāi)發(fā)滿(mǎn)足 Twitter 場(chǎng)景的節點(diǎn)控制器（NodeController）；
- 自定義 Service Discovery 組件以便同 Twitter 自己的流量管理服務(wù)對接；
- 編寫(xiě)兼容 Aurora 語(yǔ)義的作業(yè)管理控制器以便將現有的 Aurora 上的業(yè)務(wù)進(jìn)行遷移；
- 開(kāi)發(fā)更豐富的應用發(fā)布策略和實(shí)例穩定性支持；
- 改造 Aurora 的 DSL 以對接 Kubernetes，集成現有的 CI/CD 系統。
David 表示：“Twitter 公司基礎設施的巨大規模一直不是一個(gè)秘密，但至少在今天，規模不再是我們的首要擔心，我們能看到像阿里巴巴這樣的社區領(lǐng)導者正在將更大規模的 K8s 集群推向生產(chǎn)環(huán)境”。
David McLaughlin 宣布整個(gè)遷移計劃將從現在開(kāi)始一直持續到 2020 年。屆時(shí)，整個(gè) Twitter 的技術(shù)棧都會(huì )運行在以 Kubernetes 為基礎的容器化基礎設施之上，并且呈現“內部 K8s 集群 + 公有云 K8s 服務(wù)”的多集群組合形態(tài)。
David 最后對Twitter的未來(lái)進(jìn)行總結時(shí)強調：在 2020 年，Twitter自己的軟件棧會(huì )以“一部分運行在自有 K8s 集群，另一部分運行在公共云上”的多集群形態(tài)進(jìn)行開(kāi)發(fā)和交付。
顯然，在思考“如何通過(guò)云來(lái)讓自身的基礎設施能力價(jià)值最大化，然后讓公司專(zhuān)注于更具價(jià)值的核心業(yè)務(wù)”這件事情上，Twitter 已經(jīng)得到一個(gè)相對清晰而富有遠見(jiàn)的答案。更重要的是，這個(gè)選擇，很可能會(huì )使公司與得以擁抱 Kubernetes 的 Twitter 工程師們實(shí)現真正意義上的共贏(yíng)。
世界級互聯(lián)網(wǎng)公司加持的規模化云原生技術(shù)
不難看到，Twitter 公司這次走向 Kubernetes Native背后的技術(shù)本質(zhì)，其實(shí)是在最大程度的利用 Kubernetes 項目本身的核心概念與可擴展能力取得規模化定制性需求與社區標準之間的平衡。
這同樣也是阿里巴巴正在社區倡導的一條關(guān)鍵途徑。從 2018 年開(kāi)始，阿里巴巴聯(lián)合 Google， Facebook，Twitter，LinkedIn，Uber，Netflix，Pinterest 等一大批頂級互聯(lián)網(wǎng)公司，在美國硅谷開(kāi)展起了月度 Web-Scale Meetup，以分享自身實(shí)際落地實(shí)踐的方式，為更多互聯(lián)網(wǎng)場(chǎng)景中的社區“觀(guān)望者”樹(shù)立信心。
本次發(fā)布會(huì )上，Twitter 公司也邀請了來(lái)自阿里云容器平臺團隊的工程師李響、張磊、何劍等作為專(zhuān)題演講嘉賓。同時(shí)應邀出席發(fā)布會(huì )的嘉賓還有 Google 公司 Kubernetes 團隊工程技術(shù)經(jīng)理 Jago Macleod 。
阿里云容器平臺團隊即將開(kāi)源 Kubernetes 高級作業(yè)管理集合
發(fā)布會(huì )上，阿里云容器平臺團隊透露下個(gè)月即將開(kāi)源內部錘煉已久的 Kubernetes 高級作業(yè)管理集合（Kubernetes Workloads Advanced。Kubernetes 高級作業(yè)管理集合會(huì )充分利用 Kubernetes 的“聲明式 API” 和“控制器模型”，為用戶(hù)提供互聯(lián)網(wǎng)場(chǎng)景下“賴(lài)以生存”的容器化應用“原地升級”能力，以及更加精細化的業(yè)務(wù)發(fā)布策略。Twitter、Pinterest 以及 Netflix 等世界級團隊，都會(huì )加入到這個(gè)創(chuàng )新性的“云原生作業(yè)管理”項目的合作當中。
除此之外，Kubernetes 本身在規模化與性能提升上的不斷演進(jìn)，也是能夠讓 Twitter 公司最終從“觀(guān)望者”變成“實(shí)踐者”的另一個(gè)技術(shù)因素。對此，Google Kubernetes 項目工程技術(shù)經(jīng)理 Jago Macleod 在演講中專(zhuān)門(mén)介紹了 Google 公司與阿里巴巴在這個(gè)領(lǐng)域上正在進(jìn)行的攻關(guān)與合作。
在最近一次嘗試中，雙方工程師正在一起為 K8s 里海量的 WATCH 操作添加“書(shū)簽（Bookmark）”，這將使得這些 WATCH 操作的建立者在重啟之后只需要對“書(shū)簽”之外的少數歷史變化進(jìn)行追溯。在特定情況下，K8s APIServer 的性能會(huì )被提高 40 倍以上。
Kubernetes，以應用為中心的“高速公路”
除了技術(shù)和架構演進(jìn)上的考量之外，這次Twitter 公司向 Kubernetes 的“華麗轉身”，還有一個(gè)至關(guān)重要的非技術(shù)因素。
Twitter 公司的快速成長(cháng)，催生出了其標桿式的基礎軟件團隊，但也反映出一個(gè)不得不引起重視的問(wèn)題：隨著(zhù)互聯(lián)網(wǎng)業(yè)務(wù)的快速發(fā)展，公司的基礎軟件團隊很快就開(kāi)始超過(guò)應有的規模邊界，而相應的投入產(chǎn)出比卻停滯不前。
所以，正如 David 在一開(kāi)始提到的那樣，過(guò)去互聯(lián)網(wǎng)企業(yè)中“自研（In-house）”為主的基礎軟件開(kāi)發(fā)和架構思路，正在伴隨著(zhù)云計算和云原生理念的普及發(fā)生微妙變化。憑借像 Kubernetes 這樣的平臺級項目標準，互聯(lián)網(wǎng)公司已經(jīng)能夠以較小的代價(jià)將自身的基礎設施向云遷移。
更重要的是，由于 Kubernetes 這個(gè)標準層的存在，這種“遷移”本身并不會(huì )像 Netflix 與 AWS 那樣形成根深蒂固的廠(chǎng)商鎖定關(guān)系，反而會(huì )在保留大部分“自研”好處的同時(shí)徹底發(fā)揮出“云”本身的價(jià)值和多集群管理能力。這種變革帶來(lái)的優(yōu)勢，會(huì )在一個(gè)互聯(lián)網(wǎng)公司里的 “AWS 工程師”都變成“K8s 工程師”之后變得尤為凸顯。
不難看到，Kubernetes 項目正在以應用為中心，連通“云”、“應用開(kāi)發(fā)者”與“基礎軟件團隊”。這種“高速公路”般的溝通、連接與交付能力，也正是像 Twitter 這樣快速迭代的互聯(lián)網(wǎng)公司思考自己基礎設施架構未來(lái)演進(jìn)方向的重要參考。而這種轉變，也使得 Twitter 這樣一個(gè)業(yè)務(wù)迅速增長(cháng)的商業(yè)組織始終維持一個(gè)數十人的基礎軟件團隊成為現實(shí)。
寫(xiě)在最后
從最早 Mesos “代言人”到如今的全面轉向 “Kubernetes Native”，Twitter 的舉動(dòng)再一次佐證了“Kuberentes 已經(jīng)成為容器編排事實(shí)標準”這一斷言。更為重要的是，Twitter 這次全面擁抱云原生，也有望能夠為業(yè)界大規模生產(chǎn)級云原生技術(shù)落地提供經(jīng)典學(xué)習范本。
阿里巴巴從去年開(kāi)始在云原生生態(tài)中投入了大量技術(shù)力量，正在逐步成為Facebook、Twitter、LinkedIn、Uber、Netflix、Pinterest 等眾多世界級互聯(lián)網(wǎng)公司眼中規模化云原生技術(shù)落地的一位重要引領(lǐng)者。
伴隨著(zhù)云計算的進(jìn)一步普及，傳統互聯(lián)網(wǎng)基礎技術(shù)架構暴露出很多前所未有的問(wèn)題，以及像 Kubernetes 這樣以“云”為核心的容器化基礎設施項目的迅速崛起，都在促使越來(lái)越多的世界級企業(yè)開(kāi)始思考如何借助“云”以及云原生技術(shù)來(lái)?yè)肀ч_(kāi)源生態(tài)和開(kāi)放的技術(shù)標準，準備迎接一個(gè)具備強勁的迭代能力的、面向“云”的數字未來(lái)。新聞來(lái)源阿里巴巴云原生公眾號
