與傳統(tǒng)的存儲架構使用RAID模式來保證數據的可靠性不同,分布式存儲采用了多副本備份機制。在存儲數據之前,分布式存儲對數據進行了分片,分片后的數據按照一定的規(guī)則保存在集群節(jié)點上。為了保證多個數據副本之間的一致性,分布式存儲通常采用的是一個副本寫入,多個副本讀取的強一致性技術,使用鏡像、條帶、分布式校驗等方式滿足租戶對于可靠性不同的需求。在讀取數據失敗的時候,系統(tǒng)可以通過從其他副本讀取數據,重新寫入該副本進行恢復,從而保證副本的總數固定。當數據長時間處于不一致狀態(tài)時,系統(tǒng)會自動數據重建恢復,同時租戶可設定數據恢復的帶寬規(guī)則,小化對業(yè)務的影響。 分布式存儲會一統(tǒng)存儲市場嗎?湖州大道云行分布式存儲架構實戰(zhàn)
在整個結構中,機頭中是整個分布式存儲系統(tǒng)的核xin部件,整個存儲系統(tǒng)的高級功能都在其中實現??刂破髦械能浖崿F對磁盤的管理,將磁盤抽象化為存儲資源池,然后劃分為LUN提供給服務器使用。這里的LUN其實就是在服務器上看到的磁盤。當然,一些集中式存儲本身也是文件服務器,可以提供共享文件服務。無論如何,從上面我們可以看出集中式存儲比較大的特點是有一個統(tǒng)一的入口,所有數據都要經過這個入口,這個入口就是存儲系統(tǒng)的機頭。這也就是集中式存儲區(qū)別于分布式存儲明顯的特點。 常州魏晉元興分布式存儲企業(yè)分布式存儲不得不要了解的幾大特點。
一般分布式存儲的MDC采用的是數據庫或內存儲數據庫來記錄數據塊和物理位置關系??蛻舳讼騇DC發(fā)出詢問位置的請求,MDC查詢數據庫后返回請求數據的存儲位置。這種方法存儲訪問的速度較慢,而且MDC作為交通的“樞紐”,是整個存儲的核xin,當MDC發(fā)生故障,會導致整個存儲都不能使用。但是采取這個方式,也有好處,比如可以根據不同需求設置不同的副本策略等。對象存儲對象存儲是在同樣容量下提供的存儲性能比文件存儲更好,又能像文件存儲一樣有很好的共享性。實際使用中,性能不是對象存儲關注的問題,需要高性能可以用塊存儲,容量才是對象存儲關注的問題。所以對象存儲的持久化層的硬盤數量更多,單盤的容量也更大。對象存儲的數據的安全性保障也各式各樣,可以是單機raid或網絡raid,也可以副本。Ceph和google基于GFS的存儲就是典型的對象存儲。
分布式存儲的種類和比較:分布式存儲包含的種類繁多,除了傳統(tǒng)意義上的分布式文件系統(tǒng)、分布式塊存儲和分布式對象存儲外,還包括分布式數據庫和分布式緩存等,但其中架構無外乎于三種;以HDFS(HadoopDistributionFileSystem)為代biao的架構是典型的代biao。在這種架構中,一部分節(jié)點NameNode是存放管理數據(元數據),另一部分節(jié)點DataNode存放業(yè)務數據,這種類型的服務器負責管理具體數據。這種架構就像公司的層次組織架構,namenode就如同老板,只管理下屬的經理(datanode),而下屬的經理,而經理們來管理節(jié)點下本地盤上的數據。 五大主流分布式存儲技術對比分析,你 pick 哪一種?
分布式存儲系統(tǒng)中還可能使用基于寫多個存儲節(jié)點的復制協(xié)議(Replicated-writeprotocol)。比如Dynamo系統(tǒng)中的NWR復制協(xié)議,其中,N為副本數量,W為寫操作的副本數,R為讀操作的副本數。NWR協(xié)議中多個副本不再區(qū)分主和備,客戶端根據一定的策略往其中的W個副本寫入數據,讀取其中的R個副本。只要W+R>N,可以保證讀到的副本中至少有一個包含了的更新。然而,這種協(xié)議的問題在于不同副本的操作順序可能不一致,從多個副本讀取時可能出現。這種方式在實際系統(tǒng)中比較少見,不建議使用。 可以從兩方面來理解分布式存儲:用戶側和實現側。湖州分布式存儲架構實戰(zhàn)
分布式存儲的小知識,你值得擁有!湖州大道云行分布式存儲架構實戰(zhàn)
無論如何波折,分布式存儲未來可期:正所謂不管白貓、黑貓,抓到老鼠的就是好貓。我們相信在較長一段時間內,分布式存儲軟硬件一體和軟硬件解耦會長期共存。總體而言,筆者認為隨著數據價值的增高,場景對數據可靠性的要求隨之會越來越嚴苛,市場的天平就會更多偏向軟硬件一體;與此相反,場景對數據可靠性的敏感度越低、短期成本敏感度越高,市場的天平就會更多的偏向軟硬件解耦。分布式存儲的發(fā)展歷程無論如何波折,我們更愿意相信它終會是部正劇,在整個存儲市場中占據海量數據承載的主力軍位置,鏗鏘而立,并給人以無窮回味!湖州大道云行分布式存儲架構實戰(zhàn)
江蘇魏晉元興智能科技有限公司致力于數碼、電腦,以科技創(chuàng)新實現***管理的追求。魏晉元興智能擁有一支經驗豐富、技術創(chuàng)新的專業(yè)研發(fā)團隊,以高度的專注和執(zhí)著為客戶提供網絡安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制。魏晉元興智能不斷開拓創(chuàng)新,追求出色,以技術為先導,以產品為平臺,以應用為重點,以服務為保證,不斷為客戶創(chuàng)造更高價值,提供更優(yōu)服務。魏晉元興智能創(chuàng)始人譚國江,始終關注客戶,創(chuàng)新科技,竭誠為客戶提供良好的服務。