自誕生以來，分布式存儲(chǔ)就被視為存儲(chǔ)的未來，被萬眾期待。然而分布式存儲(chǔ)起步于寒門，早應(yīng)用于互聯(lián)網(wǎng)日志、企業(yè)備份歸檔、開發(fā)測試等場景，追求極zhi成本，性能和可靠性卻不敢恭維。但它還算爭氣，憑借多年的打怪練級(jí)，越來越多地開始承載自動(dòng)駕駛研發(fā)、超高清編輯、運(yùn)營商5G網(wǎng)絡(luò)云等企業(yè)的關(guān)鍵業(yè)務(wù)，走上變成高富帥、贏取白富美的道路。正所謂人紅是非多，存儲(chǔ)領(lǐng)域也是一樣，坊間一直流傳著關(guān)于分布式存儲(chǔ)的各種流言蜚語。好事的筆者現(xiàn)今就來探尋一番，揭開謊言背后的真相。 分布式存儲(chǔ)系統(tǒng)中的多臺(tái)服務(wù)器通過網(wǎng)絡(luò)進(jìn)行連接。杭州大數(shù)據(jù)分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)
目測分布式存儲(chǔ)領(lǐng)域有兩個(gè)派系，一派是SDS（軟件定義存儲(chǔ)），一派是軟硬一體。前者以vSAN、Ceph為代biao，以軟件廠商為主在推廣。分布式存儲(chǔ)軟件+通用服務(wù)器組合，打著重定義存儲(chǔ)市場的旗幟，頗有“有王侯將相寧有種乎”的氣勢；另一派是存儲(chǔ)老牌存儲(chǔ)玩家的產(chǎn)品，他們以軟硬一體為主，如Isilon、HCP等。誰主沉浮很難判斷，不過我們不妨從產(chǎn)業(yè)動(dòng)態(tài)窺見一斑。雖然用過的客戶都詬病分布式存儲(chǔ)軟件+服務(wù)器的方式存在各種兼容性、可靠性、可維護(hù)性的問題，但筆者認(rèn)為SDS這種模式會(huì)長期存在，尤其是在傳統(tǒng)的低端領(lǐng)域，如備份歸檔、開發(fā)測試環(huán)境。而越往高duan走，軟硬一體越是占據(jù)主流。業(yè)界主流廠商也在持續(xù)推出軟硬一體的產(chǎn)品： 衢州數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)原理萬萬沒想到,分布式存儲(chǔ)系統(tǒng)的一致性是......！
分布式存儲(chǔ)系統(tǒng)具有如下特性：數(shù)據(jù)分為多個(gè)分片存儲(chǔ)在多臺(tái)服務(wù)節(jié)點(diǎn)上。每個(gè)分片有多個(gè)副本，存儲(chǔ)在不同的服務(wù)節(jié)點(diǎn)上。許多客戶端并發(fā)訪問系統(tǒng)，執(zhí)行讀寫操作，每個(gè)讀寫操作在系統(tǒng)中需要花費(fèi)不等的時(shí)間。除非下文中特別注明和討論，讀寫操作是原子的。與數(shù)據(jù)庫事務(wù)一致性的區(qū)別：數(shù)據(jù)庫事務(wù)的ACID的中也有一個(gè)一致性（consistency），但彼一致性非此一致性。ACID中的一致性是指，數(shù)據(jù)庫的事務(wù)的執(zhí)行，或者說事務(wù)觀察到的數(shù)據(jù)，總是要滿足某些全局的一致性約束條件，如性約束，外鍵約束等。這個(gè)概念和數(shù)據(jù)庫的數(shù)據(jù)是否多副本沒關(guān)系。而本文的一致性在多副本的語境下才有意義。所以，數(shù)據(jù)庫事務(wù)的一致性，是指數(shù)據(jù)項(xiàng)之間總是滿足某些約束條件，或者說整個(gè)數(shù)據(jù)庫在滿足約束條件的意義上是正確的。
分布式存儲(chǔ)包含的種類繁多，除了傳統(tǒng)意義上的分布式文件系統(tǒng)、分布式塊存儲(chǔ)和分布式對(duì)象存儲(chǔ)外，還包括分布式數(shù)據(jù)庫和分布式緩存等，但其中架構(gòu)無外乎于三種；以Ceph為代biao的架構(gòu)是其典型的代biao。在該架構(gòu)中與HDFS不同的地方在于該架構(gòu)中沒有中心節(jié)點(diǎn)?？蛻舳耸峭ㄟ^一個(gè)設(shè)備映射關(guān)系計(jì)算出來其寫入數(shù)據(jù)的位置，這樣客戶端可以直接與存儲(chǔ)節(jié)點(diǎn)通信，從而避免中心節(jié)點(diǎn)的性能瓶頸。以Ceph為代biao的架構(gòu)是其典型的代biao。在該架構(gòu)中與HDFS不同的地方在于該架構(gòu)中沒有中心節(jié)點(diǎn)?？蛻舳耸峭ㄟ^一個(gè)設(shè)備映射關(guān)系計(jì)算出來其寫入數(shù)據(jù)的位置，這樣客戶端可以直接與存儲(chǔ)節(jié)點(diǎn)通信，從而避免中心節(jié)點(diǎn)的性能瓶頸。 布式存儲(chǔ)幫助企業(yè)打造智能化的數(shù)據(jù)治理平臺(tái)。
分布式存儲(chǔ)系統(tǒng)需要使用多臺(tái)服務(wù)器共同存儲(chǔ)數(shù)據(jù)，而隨著服務(wù)器數(shù)量的增加，服務(wù)器出現(xiàn)故障的概率也在不斷增加。為了保證在有服務(wù)器出現(xiàn)故障的情況下系統(tǒng)仍然可用。一般做法是把一個(gè)數(shù)據(jù)分成多份存儲(chǔ)在不同的服務(wù)器中。但是由于故障和并行存儲(chǔ)等情況的存在，同一個(gè)數(shù)據(jù)的多個(gè)副本之間可能存在不一致的情況。這里稱保證多個(gè)副本的數(shù)據(jù)完全一致的性質(zhì)為一致性。分布式存儲(chǔ)系統(tǒng)需要多臺(tái)服務(wù)器同時(shí)工作。當(dāng)服務(wù)器數(shù)量增多時(shí)，其中的一些服務(wù)器出現(xiàn)故障是在所難免的。我們希望這樣的情況不會(huì)對(duì)整個(gè)系統(tǒng)造成太大的影響。在系統(tǒng)中的一部分節(jié)點(diǎn)出現(xiàn)故障之后，系統(tǒng)的整體不影響客服端的讀/寫請(qǐng)求稱為可用性。 分布式存儲(chǔ)是未來數(shù)字產(chǎn)業(yè)生態(tài)系統(tǒng)構(gòu)建與新基建的重要引擎。安徽大規(guī)模分布式存儲(chǔ)
相較于傳統(tǒng)存儲(chǔ)黑盒子的管理方式，分布式存儲(chǔ)實(shí)現(xiàn)了標(biāo)準(zhǔn)硬件的交付，標(biāo)準(zhǔn)硬件服務(wù)器的運(yùn)維管理會(huì)更簡單。杭州大數(shù)據(jù)分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)
分布式存儲(chǔ)的重要性：從單機(jī)單用戶到單機(jī)多用戶，再到現(xiàn)在的網(wǎng)絡(luò)時(shí)代，應(yīng)用系統(tǒng)發(fā)生了很多的變化。而分布式系統(tǒng)依然是目前很熱門的討論話題，那么，分布式系統(tǒng)給我們帶來了什么，或者說是為什么要有分布式系統(tǒng)呢？（1）升級(jí)單機(jī)處理能力的性價(jià)比越來越低；企業(yè)發(fā)現(xiàn)通過更換硬件做垂直擴(kuò)展的方式來提升性能會(huì)越來越不劃算；（2）單機(jī)處理能力存在瓶頸；某個(gè)固定時(shí)間點(diǎn)，單顆處理器有自己的性能瓶頸，也就說即使愿意花更多的錢去買計(jì)算能力也買不到了；（3）出于穩(wěn)定性和可用性的考慮如果采用單擊系統(tǒng)，那么在這臺(tái)機(jī)器正常的時(shí)候一切OK，一旦出問題，那么系統(tǒng)就完全不能用了。當(dāng)然，可以考慮做容災(zāi)備份等方案，而這些方案就會(huì)讓系統(tǒng)演變?yōu)榉植际较到y(tǒng)了。 杭州大數(shù)據(jù)分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)
江蘇魏晉元興智能科技有限公司致力于數(shù)碼、電腦，以科技創(chuàng)新實(shí)現(xiàn)***管理的追求。魏晉元興智能作為智能技術(shù)、計(jì)算機(jī)技術(shù)研發(fā)、技術(shù)咨詢，技術(shù)轉(zhuǎn)讓:軟件開 發(fā)、銷售;信息系統(tǒng)集成服務(wù):機(jī)電產(chǎn)品、計(jì)算機(jī)及配件、 電線電纜、儀器儀表、電子元器件、機(jī)械設(shè)備、機(jī)電設(shè)備 節(jié)能設(shè)備、辦公用品、攝影器材、文化用品、通訊設(shè)備、體 育器材、消防器材銷售;綜合布線工程、水電工程、園林綠 化工程、室內(nèi)裝飾工程、土石方工程設(shè)計(jì)、施工，提供勞務(wù) 服務(wù);企業(yè)形象策劃:企業(yè)管理咨詢:家用電器銷售、維 修;文化藝術(shù)交流活動(dòng)組織、 策劃。( 依法須經(jīng)批準(zhǔn)的項(xiàng) 目，經(jīng)相關(guān)部門批準(zhǔn)后方可開展經(jīng)營活動(dòng))的企業(yè)之一，為客戶提供良好的網(wǎng)絡(luò)安全，VR,MR，VR，AI，視頻監(jiān)控安防，出入口門禁失控制。魏晉元興智能繼續(xù)堅(jiān)定不移地走高質(zhì)量發(fā)展道路，既要實(shí)現(xiàn)基本面穩(wěn)定增長，又要聚焦關(guān)鍵領(lǐng)域，實(shí)現(xiàn)轉(zhuǎn)型再突破。魏晉元興智能始終關(guān)注數(shù)碼、電腦行業(yè)。滿足市場需求，提高產(chǎn)品價(jià)值，是我們前行的力量。