自誕生以來，分布式存儲就被視為存儲的未來，被萬眾期待。然而分布式存儲起步于寒門，早應(yīng)用于互聯(lián)網(wǎng)日志、企業(yè)備份歸檔、開發(fā)測試等場景，追求極zhi成本，性能和可靠性卻不敢恭維。但它還算爭氣，憑借多年的打怪練級，越來越多地開始承載自動駕駛研發(fā)、超高清編輯、運營商5G網(wǎng)絡(luò)云等企業(yè)的關(guān)鍵業(yè)務(wù)，走上變成高富帥、贏取白富美的道路。正所謂人紅是非多，存儲領(lǐng)域也是一樣，坊間一直流傳著關(guān)于分布式存儲的各種流言蜚語。好事的筆者現(xiàn)今就來探尋一番，揭開謊言背后的真相。 布式存儲解決如何將數(shù)據(jù)存到多臺機器上，并且提供可用性，可靠性和一致性等問題。浙江視頻分布式存儲架構(gòu)實戰(zhàn)
分布式存儲系統(tǒng)需要使用多臺服務(wù)器共同存儲數(shù)據(jù)，而隨著服務(wù)器數(shù)量的增加，服務(wù)器出現(xiàn)故障的概率也在不斷增加。為了保證在有服務(wù)器出現(xiàn)故障的情況下系統(tǒng)仍然可用。一般做法是把一個數(shù)據(jù)分成多份存儲在不同的服務(wù)器中。但是由于故障和并行存儲等情況的存在，同一個數(shù)據(jù)的多個副本之間可能存在不一致的情況。這里稱保證多個副本的數(shù)據(jù)完全一致的性質(zhì)為一致性。分布式存儲系統(tǒng)需要多臺服務(wù)器同時工作。當(dāng)服務(wù)器數(shù)量增多時，其中的一些服務(wù)器出現(xiàn)故障是在所難免的。我們希望這樣的情況不會對整個系統(tǒng)造成太大的影響。在系統(tǒng)中的一部分節(jié)點出現(xiàn)故障之后，系統(tǒng)的整體不影響客服端的讀/寫請求稱為可用性。 江蘇魏晉元興分布式存儲數(shù)據(jù)庫分布式存儲系統(tǒng)需要多臺服務(wù)器同時工作。
與傳統(tǒng)的存儲架構(gòu)使用RAID模式來保證數(shù)據(jù)的可靠性不同，分布式存儲采用了多副本備份機制。在存儲數(shù)據(jù)之前，分布式存儲對數(shù)據(jù)進行了分片，分片后的數(shù)據(jù)按照一定的規(guī)則保存在集群節(jié)點上。為了保證多個數(shù)據(jù)副本之間的一致性，分布式存儲通常采用的是一個副本寫入，多個副本讀取的強一致性技術(shù)，使用鏡像、條帶、分布式校驗等方式滿足租戶對于可靠性不同的需求。在讀取數(shù)據(jù)失敗的時候，系統(tǒng)可以通過從其他副本讀取數(shù)據(jù)，重新寫入該副本進行恢復(fù)，從而保證副本的總數(shù)固定。當(dāng)數(shù)據(jù)長時間處于不一致狀態(tài)時，系統(tǒng)會自動數(shù)據(jù)重建恢復(fù)，同時租戶可設(shè)定數(shù)據(jù)恢復(fù)的帶寬規(guī)則，小化對業(yè)務(wù)的影響。
得益于合理的分布式架構(gòu)，分布式存儲可預(yù)估并且彈性擴展計算、存儲容量和性能。分布式存儲的水平擴展有以下幾個特性：1)節(jié)點擴展后，舊數(shù)據(jù)會自動遷移到新節(jié)點，實現(xiàn)負載均衡，避點過熱的情況出現(xiàn);2)水平擴展只需要將新節(jié)點和原有集群連接到同一網(wǎng)絡(luò)，整個過程不會對業(yè)務(wù)造成影響;3)當(dāng)節(jié)點被添加到集群，集群系統(tǒng)的整體容量和性能也隨之線性擴展，此后新節(jié)點的資源就會被管理平臺接管，被用于分配或者回收。隨著分布式存儲的發(fā)展，存儲行業(yè)的標(biāo)準化進程也不斷推進，分布式存儲優(yōu)先采用行業(yè)標(biāo)準接口進行存儲接入。在平臺層面，通過將異構(gòu)存儲資源進行抽象化，將傳統(tǒng)的存儲設(shè)備級的操作封裝成面向存儲資源的操作，從而簡化異構(gòu)存儲基礎(chǔ)架構(gòu)的操作，以實現(xiàn)存儲資源的集中管理，并能夠自動執(zhí)行創(chuàng)建、變更、回收等整個存儲生命周期流程，從而降低了存儲采購和管理成本。 可以從兩方面來理解分布式存儲：用戶側(cè)和實現(xiàn)側(cè)。
分布式存儲分為文件存儲、對象存儲和塊存儲，但它們?nèi)N存儲方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)（MDS）服務(wù)器和數(shù)據(jù)節(jié)點服務(wù)器?？蛻舳撕驮獢?shù)據(jù)服務(wù)器之間交互是“信令交互”，而客戶端到數(shù)據(jù)節(jié)點是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過數(shù)據(jù)節(jié)點服務(wù)器獲取各節(jié)點服務(wù)器的基本配置情況和狀態(tài)信息。比如，客戶端需要讀取某一個文件的信息，客戶端會將相應(yīng)的要求發(fā)給元數(shù)據(jù)服務(wù)器：“喂！我需要XXX，存在哪里了”，元數(shù)據(jù)服務(wù)器查詢后回答“你到xxx服務(wù)器的xxx地址+xxx服務(wù)器的xxx地址取”?？蛻舳四玫竭@個指示后，向這2臺服務(wù)器發(fā)出指令，數(shù)據(jù)節(jié)點獲得指令后，將相應(yīng)的數(shù)據(jù)返回給客戶端。 對于保證分布式存儲系統(tǒng)的高可靠和高可用，數(shù)據(jù)在系統(tǒng)中一般存儲多個副本。蕪湖大數(shù)據(jù)分布式存儲系統(tǒng)原理解析
分布式存儲系統(tǒng)通過統(tǒng)一硬件資源池，同時提供塊、文件、對象三種存儲服務(wù)。浙江視頻分布式存儲架構(gòu)實戰(zhàn)
分布式存儲包含的種類繁多，除了傳統(tǒng)意義上的分布式文件系統(tǒng)、分布式塊存儲和分布式對象存儲外，還包括分布式數(shù)據(jù)庫和分布式緩存等，但其中架構(gòu)無外乎于三種；以Ceph為代biao的架構(gòu)是其典型的代biao。在該架構(gòu)中與HDFS不同的地方在于該架構(gòu)中沒有中心節(jié)點?？蛻舳耸峭ㄟ^一個設(shè)備映射關(guān)系計算出來其寫入數(shù)據(jù)的位置，這樣客戶端可以直接與存儲節(jié)點通信，從而避免中心節(jié)點的性能瓶頸。以Ceph為代biao的架構(gòu)是其典型的代biao。在該架構(gòu)中與HDFS不同的地方在于該架構(gòu)中沒有中心節(jié)點?？蛻舳耸峭ㄟ^一個設(shè)備映射關(guān)系計算出來其寫入數(shù)據(jù)的位置，這樣客戶端可以直接與存儲節(jié)點通信，從而避免中心節(jié)點的性能瓶頸。 浙江視頻分布式存儲架構(gòu)實戰(zhàn)
江蘇魏晉元興智能科技有限公司致力于數(shù)碼、電腦，以科技創(chuàng)新實現(xiàn)***管理的追求。魏晉元興智能作為智能技術(shù)、計算機技術(shù)研發(fā)、技術(shù)咨詢，技術(shù)轉(zhuǎn)讓:軟件開 發(fā)、銷售;信息系統(tǒng)集成服務(wù):機電產(chǎn)品、計算機及配件、 電線電纜、儀器儀表、電子元器件、機械設(shè)備、機電設(shè)備 節(jié)能設(shè)備、辦公用品、攝影器材、文化用品、通訊設(shè)備、體 育器材、消防器材銷售;綜合布線工程、水電工程、園林綠 化工程、室內(nèi)裝飾工程、土石方工程設(shè)計、施工，提供勞務(wù) 服務(wù);企業(yè)形象策劃:企業(yè)管理咨詢:家用電器銷售、維 修;文化藝術(shù)交流活動組織、 策劃。( 依法須經(jīng)批準的項 目，經(jīng)相關(guān)部門批準后方可開展經(jīng)營活動)的企業(yè)之一，為客戶提供良好的網(wǎng)絡(luò)安全，VR,MR，VR，AI，視頻監(jiān)控安防，出入口門禁失控制。魏晉元興智能不斷開拓創(chuàng)新，追求出色，以技術(shù)為先導(dǎo)，以產(chǎn)品為平臺，以應(yīng)用為重點，以服務(wù)為保證，不斷為客戶創(chuàng)造更高價值，提供更優(yōu)服務(wù)。魏晉元興智能創(chuàng)始人譚國江，始終關(guān)注客戶，創(chuàng)新科技，竭誠為客戶提供良好的服務(wù)。