淮安大規(guī)模分布式存儲(chǔ)系統(tǒng)架構(gòu)

來(lái)源: 發(fā)布時(shí)間:2022-02-14

分布式存儲(chǔ)系統(tǒng)中還可能使用基于寫(xiě)多個(gè)存儲(chǔ)節(jié)點(diǎn)的復(fù)制協(xié)議(Replicated-writeprotocol)。比如Dynamo系統(tǒng)中的NWR復(fù)制協(xié)議,其中,N為副本數(shù)量,W為寫(xiě)操作的副本數(shù),R為讀操作的副本數(shù)。NWR協(xié)議中多個(gè)副本不再區(qū)分主和備,客戶端根據(jù)一定的策略往其中的W個(gè)副本寫(xiě)入數(shù)據(jù),讀取其中的R個(gè)副本。只要W+R>N,可以保證讀到的副本中至少有一個(gè)包含了的更新。然而,這種協(xié)議的問(wèn)題在于不同副本的操作順序可能不一致,從多個(gè)副本讀取時(shí)可能出現(xiàn)。這種方式在實(shí)際系統(tǒng)中比較少見(jiàn),不建議使用。 分布式存儲(chǔ)系統(tǒng)通過(guò)復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn),并確保多個(gè)副本之間的數(shù)據(jù)一致性?;窗泊笠?guī)模分布式存儲(chǔ)系統(tǒng)架構(gòu)

分布式存儲(chǔ)架構(gòu)由三個(gè)部分組成:客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器。客戶端負(fù)責(zé)發(fā)送讀寫(xiě)請(qǐng)求,緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請(qǐng)求,是整個(gè)系統(tǒng)的核xin組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù),保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)拓展,系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。分布式存儲(chǔ)分為文件存儲(chǔ)、對(duì)象存儲(chǔ)和塊存儲(chǔ),但它們?nèi)N存儲(chǔ)方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)(MDS)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器??蛻舳撕驮獢?shù)據(jù)服務(wù)器之間交互是“信令交互”,而客戶端到數(shù)據(jù)節(jié)點(diǎn)是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過(guò)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器獲取各節(jié)點(diǎn)服務(wù)器的基本配置情況和狀態(tài)信息。 溫州四大開(kāi)源分布式存儲(chǔ)設(shè)備超大規(guī)模時(shí)空數(shù)據(jù)的分布式存儲(chǔ)與應(yīng)用。

分布式存儲(chǔ)通過(guò)將熱點(diǎn)區(qū)域內(nèi)數(shù)據(jù)映射到高速存儲(chǔ)中,來(lái)提高系統(tǒng)響應(yīng)速度。一旦這些區(qū)域不再是熱點(diǎn),那么存儲(chǔ)系統(tǒng)會(huì)將它們移出高速存儲(chǔ)。而寫(xiě)緩存技術(shù)則可使配合高速存儲(chǔ)來(lái)明顯改變整體存儲(chǔ)的性能,按照一定的策略,先將數(shù)據(jù)寫(xiě)入高速存儲(chǔ),再在適當(dāng)?shù)臅r(shí)間進(jìn)行同步落盤(pán)。由于通過(guò)網(wǎng)絡(luò)進(jìn)行松耦合鏈接,分布式存儲(chǔ)允許高速存儲(chǔ)和低速存儲(chǔ)分開(kāi)部署,或者任意比例混布。在不可預(yù)測(cè)的業(yè)務(wù)環(huán)境或者敏捷應(yīng)用情況下,分層存儲(chǔ)的優(yōu)勢(shì)可以發(fā)揮到比較好。解決了目前緩存分層存儲(chǔ)比較大的問(wèn)題是當(dāng)性能池讀不命中后,從冷池提取數(shù)據(jù)的粒度太大,導(dǎo)致延遲高,從而給造成整體的性能的抖動(dòng)的問(wèn)題。

    得益于合理的分布式架構(gòu),分布式存儲(chǔ)可預(yù)估并且彈性擴(kuò)展計(jì)算、存儲(chǔ)容量和性能。分布式存儲(chǔ)的水平擴(kuò)展有以下幾個(gè)特性:1)節(jié)點(diǎn)擴(kuò)展后,舊數(shù)據(jù)會(huì)自動(dòng)遷移到新節(jié)點(diǎn),實(shí)現(xiàn)負(fù)載均衡,避點(diǎn)過(guò)熱的情況出現(xiàn);2)水平擴(kuò)展只需要將新節(jié)點(diǎn)和原有集群連接到同一網(wǎng)絡(luò),整個(gè)過(guò)程不會(huì)對(duì)業(yè)務(wù)造成影響;3)當(dāng)節(jié)點(diǎn)被添加到集群,集群系統(tǒng)的整體容量和性能也隨之線性擴(kuò)展,此后新節(jié)點(diǎn)的資源就會(huì)被管理平臺(tái)接管,被用于分配或者回收。隨著分布式存儲(chǔ)的發(fā)展,存儲(chǔ)行業(yè)的標(biāo)準(zhǔn)化進(jìn)程也不斷推進(jìn),分布式存儲(chǔ)優(yōu)先采用行業(yè)標(biāo)準(zhǔn)接口進(jìn)行存儲(chǔ)接入。在平臺(tái)層面,通過(guò)將異構(gòu)存儲(chǔ)資源進(jìn)行抽象化,將傳統(tǒng)的存儲(chǔ)設(shè)備級(jí)的操作封裝成面向存儲(chǔ)資源的操作,從而簡(jiǎn)化異構(gòu)存儲(chǔ)基礎(chǔ)架構(gòu)的操作,以實(shí)現(xiàn)存儲(chǔ)資源的集中管理,并能夠自動(dòng)執(zhí)行創(chuàng)建、變更、回收等整個(gè)存儲(chǔ)生命周期流程,從而降低了存儲(chǔ)采購(gòu)和管理成本。 分布式存儲(chǔ)的由來(lái)、發(fā)展及未來(lái)市場(chǎng)前景。

分布式存儲(chǔ)早是由谷歌提出的,其目的是通過(guò)廉價(jià)的服務(wù)器來(lái)提供使用與大規(guī)模,高并發(fā)場(chǎng)景下的Web訪問(wèn)問(wèn)題。它采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。分布式存儲(chǔ)的興起與互聯(lián)網(wǎng)的發(fā)展密不可分,互聯(lián)網(wǎng)公司由于其數(shù)據(jù)量大而資本積累少,而通常都使用大規(guī)模分布式存儲(chǔ)系統(tǒng)。與傳統(tǒng)的高duan服務(wù)器、高duan存儲(chǔ)器和高duan處理器不同的是,互聯(lián)網(wǎng)公司的分布式存儲(chǔ)系統(tǒng)由數(shù)量眾多的、低成本和高性?xún)r(jià)比的普通PC服務(wù)器通過(guò)網(wǎng)絡(luò)連接而成。 集中式存儲(chǔ)和分布式存儲(chǔ)的區(qū)別在哪里?鹽城大數(shù)據(jù)分布式存儲(chǔ)

分布式存儲(chǔ)將如何挑戰(zhàn)互聯(lián)網(wǎng)巨頭?淮安大規(guī)模分布式存儲(chǔ)系統(tǒng)架構(gòu)

    那么現(xiàn)在問(wèn)題來(lái)了,如果我們要選擇分布式存儲(chǔ),選擇哪種好呢?其實(shí)它們各有各的優(yōu)勢(shì)和使用場(chǎng)景,具體要看需求。(1)HDFS:主要用于大數(shù)據(jù)的存儲(chǔ)場(chǎng)景,是Hadoop大數(shù)據(jù)架構(gòu)中的存儲(chǔ)組件。HDFS在開(kāi)始設(shè)計(jì)的時(shí)候,就已經(jīng)明確的它的應(yīng)用場(chǎng)景,就是大數(shù)據(jù)服務(wù)。(2)Ceph:目前應(yīng)用廣的開(kāi)源分布式存儲(chǔ)系統(tǒng),已得到眾多廠商的支持,許多超融合系統(tǒng)的分布式存儲(chǔ)都是基于Ceph深度定制。而且Ceph已經(jīng)成為L(zhǎng)INUX系統(tǒng)和OpenStack的“標(biāo)配”,用于支持各自的存儲(chǔ)系統(tǒng)。Ceph可以提供對(duì)象存儲(chǔ)、塊設(shè)備存儲(chǔ)和文件系統(tǒng)存儲(chǔ)服務(wù)。同時(shí)支持三種不同類(lèi)型的存儲(chǔ)服務(wù)的特性,在分布式存儲(chǔ)系統(tǒng)中,是很少見(jiàn)的。(3)Swift:主要面向的是對(duì)象存儲(chǔ)。和Ceph提供的對(duì)象存儲(chǔ)服務(wù)類(lèi)似。主要用于解決非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)問(wèn)題。它和Ceph的對(duì)象存儲(chǔ)服務(wù)的主要區(qū)別是。 淮安大規(guī)模分布式存儲(chǔ)系統(tǒng)架構(gòu)

江蘇魏晉元興智能科技有限公司致力于數(shù)碼、電腦,是一家貿(mào)易型公司。公司業(yè)務(wù)分為網(wǎng)絡(luò)安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門(mén)禁失控制等,目前不斷進(jìn)行創(chuàng)新和服務(wù)改進(jìn),為客戶提供良好的產(chǎn)品和服務(wù)。公司將不斷增強(qiáng)企業(yè)重點(diǎn)競(jìng)爭(zhēng)力,努力學(xué)習(xí)行業(yè)知識(shí),遵守行業(yè)規(guī)范,植根于數(shù)碼、電腦行業(yè)的發(fā)展。魏晉元興智能憑借創(chuàng)新的產(chǎn)品、專(zhuān)業(yè)的服務(wù)、眾多的成功案例積累起來(lái)的聲譽(yù)和口碑,讓企業(yè)發(fā)展再上新高。