與傳統(tǒng)的存儲架構(gòu)使用RAID模式來保證數(shù)據(jù)的可靠性不同,分布式存儲采用了多副本備份機(jī)制。在存儲數(shù)據(jù)之前,分布式存儲對數(shù)據(jù)進(jìn)行了分片,分片后的數(shù)據(jù)按照一定的規(guī)則保存在集群節(jié)點(diǎn)上。為了保證多個數(shù)據(jù)副本之間的一致性,分布式存儲通常采用的是一個副本寫入,多個副本讀取的強(qiáng)一致性技術(shù),使用鏡像、條帶、分布式校驗(yàn)等方式滿足租戶對于可靠性不同的需求。在讀取數(shù)據(jù)失敗的時候,系統(tǒng)可以通過從其他副本讀取數(shù)據(jù),重新寫入該副本進(jìn)行恢復(fù),從而保證副本的總數(shù)固定。當(dāng)數(shù)據(jù)長時間處于不一致狀態(tài)時,系統(tǒng)會自動數(shù)據(jù)重建恢復(fù),同時租戶可設(shè)定數(shù)據(jù)恢復(fù)的帶寬規(guī)則,小化對業(yè)務(wù)的影響。 分布式存儲會一統(tǒng)存儲市場嗎?湖州大道云行分布式存儲架構(gòu)實(shí)戰(zhàn)
在整個結(jié)構(gòu)中,機(jī)頭中是整個分布式存儲系統(tǒng)的核xin部件,整個存儲系統(tǒng)的高級功能都在其中實(shí)現(xiàn)??刂破髦械能浖?shí)現(xiàn)對磁盤的管理,將磁盤抽象化為存儲資源池,然后劃分為LUN提供給服務(wù)器使用。這里的LUN其實(shí)就是在服務(wù)器上看到的磁盤。當(dāng)然,一些集中式存儲本身也是文件服務(wù)器,可以提供共享文件服務(wù)。無論如何,從上面我們可以看出集中式存儲比較大的特點(diǎn)是有一個統(tǒng)一的入口,所有數(shù)據(jù)都要經(jīng)過這個入口,這個入口就是存儲系統(tǒng)的機(jī)頭。這也就是集中式存儲區(qū)別于分布式存儲明顯的特點(diǎn)。 常州魏晉元興分布式存儲企業(yè)分布式存儲不得不要了解的幾大特點(diǎn)。
一般分布式存儲的MDC采用的是數(shù)據(jù)庫或內(nèi)存儲數(shù)據(jù)庫來記錄數(shù)據(jù)塊和物理位置關(guān)系??蛻舳讼騇DC發(fā)出詢問位置的請求,MDC查詢數(shù)據(jù)庫后返回請求數(shù)據(jù)的存儲位置。這種方法存儲訪問的速度較慢,而且MDC作為交通的“樞紐”,是整個存儲的核xin,當(dāng)MDC發(fā)生故障,會導(dǎo)致整個存儲都不能使用。但是采取這個方式,也有好處,比如可以根據(jù)不同需求設(shè)置不同的副本策略等。對象存儲對象存儲是在同樣容量下提供的存儲性能比文件存儲更好,又能像文件存儲一樣有很好的共享性。實(shí)際使用中,性能不是對象存儲關(guān)注的問題,需要高性能可以用塊存儲,容量才是對象存儲關(guān)注的問題。所以對象存儲的持久化層的硬盤數(shù)量更多,單盤的容量也更大。對象存儲的數(shù)據(jù)的安全性保障也各式各樣,可以是單機(jī)raid或網(wǎng)絡(luò)raid,也可以副本。Ceph和google基于GFS的存儲就是典型的對象存儲。
分布式存儲的種類和比較:分布式存儲包含的種類繁多,除了傳統(tǒng)意義上的分布式文件系統(tǒng)、分布式塊存儲和分布式對象存儲外,還包括分布式數(shù)據(jù)庫和分布式緩存等,但其中架構(gòu)無外乎于三種;以HDFS(HadoopDistributionFileSystem)為代biao的架構(gòu)是典型的代biao。在這種架構(gòu)中,一部分節(jié)點(diǎn)NameNode是存放管理數(shù)據(jù)(元數(shù)據(jù)),另一部分節(jié)點(diǎn)DataNode存放業(yè)務(wù)數(shù)據(jù),這種類型的服務(wù)器負(fù)責(zé)管理具體數(shù)據(jù)。這種架構(gòu)就像公司的層次組織架構(gòu),namenode就如同老板,只管理下屬的經(jīng)理(datanode),而下屬的經(jīng)理,而經(jīng)理們來管理節(jié)點(diǎn)下本地盤上的數(shù)據(jù)。 五大主流分布式存儲技術(shù)對比分析,你 pick 哪一種?
分布式存儲系統(tǒng)中還可能使用基于寫多個存儲節(jié)點(diǎn)的復(fù)制協(xié)議(Replicated-writeprotocol)。比如Dynamo系統(tǒng)中的NWR復(fù)制協(xié)議,其中,N為副本數(shù)量,W為寫操作的副本數(shù),R為讀操作的副本數(shù)。NWR協(xié)議中多個副本不再區(qū)分主和備,客戶端根據(jù)一定的策略往其中的W個副本寫入數(shù)據(jù),讀取其中的R個副本。只要W+R>N,可以保證讀到的副本中至少有一個包含了的更新。然而,這種協(xié)議的問題在于不同副本的操作順序可能不一致,從多個副本讀取時可能出現(xiàn)。這種方式在實(shí)際系統(tǒng)中比較少見,不建議使用。 可以從兩方面來理解分布式存儲:用戶側(cè)和實(shí)現(xiàn)側(cè)。湖州分布式存儲架構(gòu)實(shí)戰(zhàn)
分布式存儲的小知識,你值得擁有!湖州大道云行分布式存儲架構(gòu)實(shí)戰(zhàn)
無論如何波折,分布式存儲未來可期:正所謂不管白貓、黑貓,抓到老鼠的就是好貓。我們相信在較長一段時間內(nèi),分布式存儲軟硬件一體和軟硬件解耦會長期共存??傮w而言,筆者認(rèn)為隨著數(shù)據(jù)價值的增高,場景對數(shù)據(jù)可靠性的要求隨之會越來越嚴(yán)苛,市場的天平就會更多偏向軟硬件一體;與此相反,場景對數(shù)據(jù)可靠性的敏感度越低、短期成本敏感度越高,市場的天平就會更多的偏向軟硬件解耦。分布式存儲的發(fā)展歷程無論如何波折,我們更愿意相信它終會是部正劇,在整個存儲市場中占據(jù)海量數(shù)據(jù)承載的主力軍位置,鏗鏘而立,并給人以無窮回味!湖州大道云行分布式存儲架構(gòu)實(shí)戰(zhàn)
江蘇魏晉元興智能科技有限公司致力于數(shù)碼、電腦,以科技創(chuàng)新實(shí)現(xiàn)***管理的追求。魏晉元興智能擁有一支經(jīng)驗(yàn)豐富、技術(shù)創(chuàng)新的專業(yè)研發(fā)團(tuán)隊(duì),以高度的專注和執(zhí)著為客戶提供網(wǎng)絡(luò)安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制。魏晉元興智能不斷開拓創(chuàng)新,追求出色,以技術(shù)為先導(dǎo),以產(chǎn)品為平臺,以應(yīng)用為重點(diǎn),以服務(wù)為保證,不斷為客戶創(chuàng)造更高價值,提供更優(yōu)服務(wù)。魏晉元興智能創(chuàng)始人譚國江,始終關(guān)注客戶,創(chuàng)新科技,竭誠為客戶提供良好的服務(wù)。