淮安集中式分布式存儲原理

來源: 發(fā)布時間:2022-02-15

說起分布式存儲,大家可能都會覺得這是一個老生常談的問題,雖然分布式存儲并不是一個年輕的技術(shù),許多開發(fā)者也對分布式存儲耳熟能詳,但分布式存儲卻并不是像想象中的那種簡單的技術(shù),它是一個涉及到文件系統(tǒng)、存儲系統(tǒng)、網(wǎng)絡(luò)、算法、管理等多方面技術(shù)的匯聚,因此,要想真正的掌握分布式存儲技術(shù),絕不是一件輕松的事。但對于開發(fā)者來說,如果不了解分布式存儲技術(shù),實際上對他們的開發(fā)工作還是會有很大的影響,特別是現(xiàn)在基于互聯(lián)網(wǎng)的開發(fā)更是離不開對分布式存儲技術(shù)的深入了解。 對于保證分布式存儲系統(tǒng)的高可靠和高可用,數(shù)據(jù)在系統(tǒng)中一般存儲多個副本?;窗布惺椒植际酱鎯υ?/p>

分布式存儲系統(tǒng)中還可能使用基于寫多個存儲節(jié)點的復制協(xié)議(Replicated-writeprotocol)。比如Dynamo系統(tǒng)中的NWR復制協(xié)議,其中,N為副本數(shù)量,W為寫操作的副本數(shù),R為讀操作的副本數(shù)。NWR協(xié)議中多個副本不再區(qū)分主和備,客戶端根據(jù)一定的策略往其中的W個副本寫入數(shù)據(jù),讀取其中的R個副本。只要W+R>N,可以保證讀到的副本中至少有一個包含了的更新。然而,這種協(xié)議的問題在于不同副本的操作順序可能不一致,從多個副本讀取時可能出現(xiàn)。這種方式在實際系統(tǒng)中比較少見,不建議使用。 金華集中式分布式存儲系統(tǒng)原理布式存儲系統(tǒng),采用Scale-out擴展架構(gòu),可實現(xiàn)超大集群規(guī)模的部署。

分布式存儲系統(tǒng)中的多臺服務器通過網(wǎng)絡(luò)進行連接。但是我們無法保證網(wǎng)絡(luò)是一直通暢的,分布式系統(tǒng)需要具有一定的容錯性來處理網(wǎng)絡(luò)故障帶來的問題。一個令人滿意的情況是,當一個網(wǎng)絡(luò)因為故障而分解為多個部分的時候,分布式存儲系統(tǒng)仍然能夠工作。分布式存儲系統(tǒng)需要使用多臺服務器共同存儲數(shù)據(jù),而隨著服務器數(shù)量的增加,服務器出現(xiàn)故障的概率也在不斷增加。為了保證在有服務器出現(xiàn)故障的情況下系統(tǒng)仍然可用。一般做法是把一個數(shù)據(jù)分成多份存儲在不同的服務器中。但是由于故障和并行存儲等情況的存在,同一個數(shù)據(jù)的多個副本之間可能存在不一致的情況。這里稱保證多個副本的數(shù)據(jù)完全一致的性質(zhì)為一致性。

    得益于合理的分布式架構(gòu),分布式存儲可預估并且彈性擴展計算、存儲容量和性能。分布式存儲的水平擴展有以下幾個特性:1)節(jié)點擴展后,舊數(shù)據(jù)會自動遷移到新節(jié)點,實現(xiàn)負載均衡,避點過熱的情況出現(xiàn);2)水平擴展只需要將新節(jié)點和原有集群連接到同一網(wǎng)絡(luò),整個過程不會對業(yè)務造成影響;3)當節(jié)點被添加到集群,集群系統(tǒng)的整體容量和性能也隨之線性擴展,此后新節(jié)點的資源就會被管理平臺接管,被用于分配或者回收。隨著分布式存儲的發(fā)展,存儲行業(yè)的標準化進程也不斷推進,分布式存儲優(yōu)先采用行業(yè)標準接口進行存儲接入。在平臺層面,通過將異構(gòu)存儲資源進行抽象化,將傳統(tǒng)的存儲設(shè)備級的操作封裝成面向存儲資源的操作,從而簡化異構(gòu)存儲基礎(chǔ)架構(gòu)的操作,以實現(xiàn)存儲資源的集中管理,并能夠自動執(zhí)行創(chuàng)建、變更、回收等整個存儲生命周期流程,從而降低了存儲采購和管理成本。 分布式存儲在企業(yè)數(shù)據(jù)治理體系中,無疑扮演著重要角色。

分布式存儲早是由谷歌提出的,其目的是通過廉價的服務器來提供使用與大規(guī)模,高并發(fā)場景下的Web訪問問題。它采用可擴展的系統(tǒng)結(jié)構(gòu),利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展。分布式存儲的興起與互聯(lián)網(wǎng)的發(fā)展密不可分,互聯(lián)網(wǎng)公司由于其數(shù)據(jù)量大而資本積累少,而通常都使用大規(guī)模分布式存儲系統(tǒng)。與傳統(tǒng)的高duan服務器、高duan存儲器和高duan處理器不同的是,互聯(lián)網(wǎng)公司的分布式存儲系統(tǒng)由數(shù)量眾多的、低成本和高性價比的普通PC服務器通過網(wǎng)絡(luò)連接而成。 分布式存儲“避坑”指南。溫州什么是分布式存儲系統(tǒng)架構(gòu)

相較于傳統(tǒng)存儲黑盒子的管理方式,分布式存儲實現(xiàn)了標準硬件的交付,標準硬件服務器的運維管理會更簡單?;窗布惺椒植际酱鎯υ?/p>

說到分布式存儲,我們先來看一下傳統(tǒng)的存儲是怎么個樣子。傳統(tǒng)的存儲也稱為集中式存儲,從概念上可以看出來是具有集中性的,也就是整個存儲是集中在一個系統(tǒng)中的,但集中式存儲并不是一個單獨的設(shè)備,是集中在一套系統(tǒng)當中的多個設(shè)備,比如下圖中的EMC存儲就需要幾個機柜來存放。在這個存儲系統(tǒng)中包含很多組件,除了核xin的機頭(控制器)、磁盤陣列和交換機等設(shè)備外,還有管理設(shè)備等輔助設(shè)備。結(jié)構(gòu)中包含一個機頭,這個是存儲系統(tǒng)中為核xin的部件。通常在機頭中有包含兩個控制器,互為備用,避免硬件故障導致整個存儲系統(tǒng)的不可用。 淮安集中式分布式存儲原理

江蘇魏晉元興智能科技有限公司致力于數(shù)碼、電腦,是一家貿(mào)易型的公司。公司自成立以來,以質(zhì)量為發(fā)展,讓匠心彌散在每個細節(jié),公司旗下網(wǎng)絡(luò)安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制深受客戶的喜愛。公司從事數(shù)碼、電腦多年,有著創(chuàng)新的設(shè)計、強大的技術(shù),還有一批**的專業(yè)化的隊伍,確保為客戶提供良好的產(chǎn)品及服務。魏晉元興智能立足于全國市場,依托強大的研發(fā)實力,融合前沿的技術(shù)理念,飛快響應客戶的變化需求。