QingStor 對象存儲產(chǎn)品核心價(jià)值
QingStor 對象存儲的使命是解決非結構化數據的存儲，它具有以下幾個(gè)特點(diǎn)：
- 海量。一方面是指數量的海量，另一方面是指容量的海量。
- 通用。QingStor 對象存儲是一個(gè)通用的非結構化存儲，作為 Public Service 提供給用戶(hù)，它可以不用考慮用戶(hù)的業(yè)務(wù)場(chǎng)景具體是什么，會(huì )產(chǎn)生什么類(lèi)型的數據。
- 平臺。一方面是從狹義的角度來(lái)理解，QingStor 對象存儲會(huì )提供給用戶(hù) API 及 SDK。從廣義的角度來(lái)理解的話(huà)，QingStor 對象存儲會(huì )構建很多工具在其本身及相關(guān)周邊之上，以此走向用戶(hù)的具體業(yè)務(wù)。
QingStor 對象存儲全局架構
QingStor 對象存儲是多區域架構，由 Global 管控 Zone （區域），Zone 可以任意多個(gè)，在每個(gè) Zone 下面有任意多個(gè) Bucket （存儲空間），在 Bucket 之下有 Object，Object 的類(lèi)型各種各樣。整個(gè)存儲對象分為四級，從架構上來(lái)看趨于一個(gè)扁平的結構。從全局的角度來(lái)說(shuō)，對象存儲可以作為一個(gè)容量無(wú)限擴展的系統，因為可以有無(wú)限個(gè) Zone。
QingStor 對象存儲高度可擴展的區域架構
區域架構包含以下幾個(gè)子系統：
- 第一個(gè)是接入子系統，它負責直接面對來(lái)自用戶(hù)的請求，它是無(wú)狀態(tài)的，因此可無(wú)限水平擴展。
- 第二個(gè)是索引子系統，在對象存儲系統的設計里，索引層次非常重要，因為其存儲的是海量數據，因此會(huì )產(chǎn)生海量的索引數據，比如，每一個(gè)文件都有其元數據信息，每一個(gè)文件的存儲，都會(huì )涉及到存放位置的記錄。
為此，QingStor 對象存儲做了一個(gè)類(lèi)似分布式關(guān)系型數據庫的系統，該數據庫和真正的分布式數據庫唯一的區別是不支持分布式事務(wù)。因為在對象存儲的場(chǎng)景下，沒(méi)有必要支持分布式事務(wù)，但整個(gè)索引子系統可以做到無(wú)限的水平擴展。
- 第三個(gè)是存儲子系統。QingStor 對象存儲做了多集群調度的方案，其目的是為了讓存儲容量能夠無(wú)限地擴展，因為分布式系統，尤其是分布式存儲中，當一個(gè)集群增長(cháng)到一定程度時(shí)，集群的運維程度或者說(shuō)可維護性都會(huì )降低。
同時(shí)，在多集群調度的架構設計下，底層的存儲集群可以很容易做異構，比如說(shuō)，用戶(hù)有一些業(yè)務(wù)場(chǎng)景是存取非常頻繁，還有一些是訪(fǎng)問(wèn)比較低頻，甚至有一些是數據接近于冷存儲，而這些場(chǎng)景在多集群調度的架構設計下，很容易實(shí)現。
- 第四個(gè)是調度子系統，負責調度多個(gè)集群，其對每一個(gè)存儲集群進(jìn)行各種維度的實(shí)時(shí)地監控，監控數據被用來(lái)做調度的決策因子，在用戶(hù)上傳文件時(shí)，由調度子系統來(lái)決策它應該存儲到哪里。
接入子系統、索引子系統、及存儲子系統都可以無(wú)限水平地擴展，調度子系統本身無(wú)擴展性需求。因此，通過(guò)這樣的架構，QingStor 對象存儲的每一個(gè)區域可以達到容量無(wú)限可擴展及文件數量無(wú)限的目的。
QingStor 對象存儲應用場(chǎng)景
對象存儲作為應用數據的持久化存儲
上圖為對象存儲作為應用數據的持久化存儲架構圖，包括負載均衡、應用服務(wù)器，遇到結構化的數據庫存儲到關(guān)系型數據庫，非結構化的數據往對象存儲里存。該場(chǎng)景的結構非常簡(jiǎn)單，但卻非常通用，可同時(shí)應用到一些青云之外的場(chǎng)景，比如在私有場(chǎng)景下部署了 QingStor 對象存儲，但是沒(méi)有部署 QingCloud IaaS，這種使用方式仍然適用。
企業(yè)各類(lèi)數據的備份和歸檔
QingStor 對象存儲兼容 AWS S3 接口，在這種場(chǎng)景下很多企業(yè)級備份軟件，例如 CommVault、英方 i2dot，都可以通過(guò) QingStor 對象存儲 AWS S3 兼容的通道，將數據備份到 QingStor 對象存儲上。
QingStor 對象存儲為了幫助用戶(hù)完成實(shí)時(shí)數據增量的備份，開(kāi)源了 qsctl 這樣的工具。今年QingStor 對象存儲會(huì )進(jìn)一步通過(guò)渠道、合作伙伴來(lái)對接更多家做數據備份和歸檔的廠(chǎng)商。
企業(yè)網(wǎng)盤(pán)和文檔管理的存儲后端
對象存儲解決的是底層系統的問(wèn)題，它面向的是開(kāi)發(fā)者，而企業(yè)網(wǎng)盤(pán)解決了很多上層邏輯的問(wèn)題。也就是說(shuō)，企業(yè)網(wǎng)盤(pán)是面向人的，企業(yè)網(wǎng)盤(pán)中做文件的共享、協(xié)作、打標簽、收藏等等這樣的功能對象存儲不會(huì )提供。對象存儲，一個(gè)空間中往往用戶(hù)可能會(huì )放十億、二十億、上百億的文件，這些文件如果人類(lèi)去管控的話(huà)，幾乎不可能。
隨著(zhù) AppCenter 的發(fā)布，QingStor 對象存儲推出了一款基于開(kāi)源的網(wǎng)盤(pán)系統 NextCloud 制作而成的 APP，用戶(hù)可以借助這個(gè) APP 很快地部署一個(gè)企業(yè)級網(wǎng)盤(pán)應用。
對象存儲和 CDN 加速服務(wù)的整合
從對象存儲這個(gè)行業(yè)發(fā)展的趨勢來(lái)看，對象存儲的未來(lái)一定是外延的，這個(gè)外延是指向用戶(hù)去延伸。對象存儲本身是集中的系統，雖然它有多區域的部署模型，但是本質(zhì)上是一個(gè)集中式的存儲系統。而對象存儲向外延伸的第一站便是 CDN。
去年，青云QingCloud 開(kāi)發(fā)了融合的 CDN，所謂的融合 CDN 是我們要將接入到系統中的各家第三方的 CDN 廠(chǎng)商統一地調度。融合 CDN 的好處是：
- 第一，地域覆蓋更廣。每一家 CDN 覆蓋的線(xiàn)路、地域、運營(yíng)商都不同，但是如果說(shuō)把它們統一地調度起來(lái)，我們的覆蓋率會(huì )很高。
- 第二，通過(guò)智能的調度算法，提供更低價(jià)格的 CDN 服務(wù)，幫助用戶(hù)在延時(shí)上獲得更好的體驗，此兩點(diǎn)為融合 CDN 的核心使命。
同時(shí)青云QingCloud 還在做自建的 CDN，它分為兩方面：一是公有云上會(huì )投入運營(yíng)，二是在私有云場(chǎng)景下也有用戶(hù)有 CDN 的需求。比如客戶(hù)在私有云的場(chǎng)景下用了我們的對象存儲，它的辦公室可能遍布全國，它想盡可能地節省流量。也就是說(shuō)，在私有云的場(chǎng)景下，青云QingCloud 會(huì )把 CDN 逐漸地產(chǎn)品化，推向市場(chǎng)。
靜態(tài)網(wǎng)站托管
青云QingCloud 鼓勵用戶(hù)在青云之上做這種動(dòng)靜分離的部署，靜態(tài)的數據放在對象存儲里，通過(guò)靜態(tài)網(wǎng)站托管的方式和外掛 CDN 的方式做加速；剩下的動(dòng)態(tài)資源，可以以結構化數據的形式，在關(guān)系型數據庫如： MongoDB、MySQL 上存儲，并且可以和大數據分析業(yè)務(wù)進(jìn)行集成。
視頻存儲和處理
該案例基于一個(gè)私有云客戶(hù)，它的原理很簡(jiǎn)單，客戶(hù)的業(yè)務(wù)場(chǎng)景里有很多攝像頭，實(shí)時(shí)地進(jìn)行視頻監控。監控攝像頭每天產(chǎn)生的數據量非常大，如果用戶(hù)在本地存下來(lái)，然后再上傳，本地存儲的成本就會(huì )很高。所以，首先要解決的一個(gè)問(wèn)題是視頻流的實(shí)時(shí)傳輸。上圖中視頻服務(wù)器，它首先是接視頻流，然后做一些相應的處理（如轉碼），最終把數據存在 QingStor 對象存儲中。
對象存儲和大數據平臺無(wú)縫集成
QingStor 對象存儲和青云QingCloud 的大數據平臺，例如 Hadoop、Spark、Elasticsarch、Hive，全都可以進(jìn)行無(wú)縫地集成，它集成的方式也是通過(guò) AWS S3 的兼容。同時(shí)，我們也在為大數據平臺開(kāi)發(fā)插件，以將 QingStor 對象存儲的 Bucket 作為大數據平臺的原生存儲。
對象存儲數據遷移方案
數據遷移方案其實(shí)也是很多用戶(hù)關(guān)心的一個(gè)問(wèn)題，針對存儲在其他對象存儲平臺上和存在自己的數據中心里面的數據，QingStor 對象存儲提供了以下兩種遷移方式：
- 一是被動(dòng)遷移，在 QingStor 對象存儲上創(chuàng )建了一個(gè) Bucket，可以給這個(gè) Bucket 設置一個(gè)屬性，指向一個(gè)外部的源站。當訪(fǎng)問(wèn) QingStor 對象存儲 Bucket 里的數據時(shí)，如果它不存在，就會(huì )源站去拉取并存儲到 QingStor 對象存儲 Bucket 中，該功能稱(chēng)作“外部鏡像”。
- 二是主動(dòng)遷移，以命令行工具 qscamel 完成，qscamel 可主動(dòng)地將數據從指定的 URL 拉取到 QingStor 對象存儲的 Bucket 中。被動(dòng)遷移和主動(dòng)遷移可配合使用，以對源站數據完成全部遷移。
對象存儲作為輿情系統的海量數據保存場(chǎng)所
該案例是 QingStor 對象存儲作為輿情系統的海量數據存儲的實(shí)際應用，首先通過(guò)爬蟲(chóng)爬取網(wǎng)頁(yè)，將關(guān)系型的數據存在 QingCloud 的 RDB 里，將非結構化的數據存在 QingStor 對象存儲里，同時(shí)用 Spark 對非結構化數據進(jìn)行分析。分析完產(chǎn)生的數據可以回填，如果是結構化的數據，繼續回填到青云的結構化數據服務(wù)里，產(chǎn)生的非結構化數據，回填至 QingStor 對象存儲。最終，在展示層通過(guò) CDN 加速做分發(fā)。
SDK
QingStor 對象存儲覆蓋了七種語(yǔ)言的 SDK（注：截至目前，QingStor 對象存儲新增 .Net SDK、Scala SDK）
QingStor 對象存儲產(chǎn)品體系
1、點(diǎn)播/直播
視頻、短視頻作為人們溝通的新型媒介，它會(huì )很長(cháng)一段時(shí)間持續地存在，整個(gè)直播行業(yè)最終會(huì )趨于理性化。
2、Event Bus
舉例來(lái)講，假設我是一個(gè)用戶(hù)，上傳一個(gè)圖片到對象 Bucket 中。我想完成一個(gè)需求是，凡是以 .JPG 為后綴的文件均打一個(gè)水印，這個(gè)需求看起來(lái)簡(jiǎn)單，其實(shí)會(huì )涉及到規則的匹配、事件的觸發(fā)、事件入隊列、事件訂閱、時(shí)間處理等環(huán)節。QingStor 對象存儲支持官方的數據服務(wù) （音視頻的處理、圖形圖像的處理）、第三方的數據處理、及用戶(hù)自定義的數據處理。
其中用戶(hù)自定義的數據處理存在一個(gè)特征，和操作系統里的進(jìn)程類(lèi)似，進(jìn)程可分為兩類(lèi)：一類(lèi)是長(cháng)時(shí)間運行的進(jìn)程，另一類(lèi)是生命周期比較短的進(jìn)程。用戶(hù)自定義數據處理中的特征生命周期就比較短，因此需要一個(gè)彈性的運行時(shí)環(huán)境。
3、大數據
大數據分為兩個(gè)階段：
- 第一個(gè)階段通過(guò) AWS S3 的方式完成第一步的集成；
- 第二步把對象存儲做成大數據平臺的 NativeStorage。
4、Open Source
QingStor 對象存儲產(chǎn)品從去年開(kāi)始為一些開(kāi)源項目或者工具添加我們的插件，這樣做的目的有兩個(gè)：
- 一是推行對象存儲的接口，這個(gè)接口是一個(gè)廣義上的說(shuō)法，包括我們 API、SDK；
- 二是 QingStor 對象存儲產(chǎn)品會(huì )在 Open Source 領(lǐng)域持續不斷地構建生態(tài)。
5、Portal
Portal 的產(chǎn)品定位是幫助用戶(hù)做對象存儲的日志系統、監控系統、用戶(hù)管理系統、對象存儲里的常用監控指標（Object 信息等）、告警系統，把這些系統集成進(jìn)來(lái)，以圖形化的方式交付給用戶(hù)，尤其是私有云用戶(hù)，會(huì )非常關(guān)心。
6、存儲網(wǎng)關(guān)
存儲網(wǎng)關(guān)的一個(gè)非常重要的產(chǎn)品使命是存儲分層，用戶(hù)看到的是一個(gè)本地 NAS 設備，但較冷的數據會(huì )被異步地往遠端的 QingStor 對象存儲里備份，近而達到冷熱數據分層的目的。也因此，存儲網(wǎng)關(guān)在讓用戶(hù)在幾乎無(wú)性能影響感知的情況下，將基于文件系統接口的應用所產(chǎn)生的數據源源不斷的存儲到 QingStor 對象存儲中來(lái)。
獲取更多對象存儲的應用實(shí)例、解決企業(yè)中數據同步的問(wèn)題、探尋對象存儲如何與大數據分析業(yè)務(wù)無(wú)縫集成、和 QingStor 對象存儲研發(fā)工程師直接交流。
這一切，盡在 QingCloud Insight 2017
QingCloud Insight 2017 云計算峰會(huì )將于 2017 年 7 月 28 日 - 29 日在北京國際飯店會(huì )議中心盛大舉行。屆時(shí)，青云QingCloud 將發(fā)布一系列重要產(chǎn)品和功能，承接企業(yè)核心生產(chǎn)系統，并攜手人工智能、IoT 及區塊鏈領(lǐng)域的前沿技術(shù)所有者與領(lǐng)先的應用提供商共同發(fā)布「云+ 應用」的聯(lián)合解決方案，重新詮釋「云之基石」的全新定義，助您的業(yè)務(wù)加速進(jìn)入智能與數據時(shí)代。
QingCloud Insight 2017 云計算峰會(huì )將于 2017 年 7 月 28 日 - 29 日在北京國際飯店會(huì )議中心盛大舉行。屆時(shí)，青云QingCloud 將發(fā)布一系列重要產(chǎn)品和功能，承接企業(yè)核心生產(chǎn)系統，并攜手人工智能、IoT 及區塊鏈領(lǐng)域的前沿技術(shù)所有者與領(lǐng)先的應用提供商共同發(fā)布「云+ 應用」的聯(lián)合解決方案，重新詮釋「云之基石」的全新定義，助您的業(yè)務(wù)加速進(jìn)入智能與數據時(shí)代。
7 月 28 - 29 日，讓我們相約北京國際飯店 - 建國國際會(huì )議中心 ，點(diǎn)擊“閱讀原文”立即報名，一起洞見(jiàn)未來(lái)！
