分布式存儲(chǔ)系統(tǒng)中還可能使用基于寫多個(gè)存儲(chǔ)節(jié)點(diǎn)的復(fù)制協(xié)議(Replicated-writeprotocol)。比如Dynamo系統(tǒng)中的NWR復(fù)制協(xié)議,其中,N為副本數(shù)量,W為寫操作的副本數(shù),R為讀操作的副本數(shù)。NWR協(xié)議中多個(gè)副本不再區(qū)分主和備,客戶端根據(jù)一定的策略往其中的W個(gè)副本寫入數(shù)據(jù),讀取其中的R個(gè)副本。只要W+R>N,可以保證讀到的副本中至少有一個(gè)包含了的更新。然而,這種協(xié)議的問(wèn)題在于不同副本的操作順序可能不一致,從多個(gè)副本讀取時(shí)可能出現(xiàn)。這種方式在實(shí)際系統(tǒng)中比較少見(jiàn),不建議使用。 小編帶你了解分布式存儲(chǔ)的好處。鹽城集中式分布式存儲(chǔ)系統(tǒng)架構(gòu)
如何保證分布式存儲(chǔ)的高性能與高可用?大家可能想到的是,除了傳統(tǒng)架構(gòu)里面的備份、HotStandby、雙活、多活這種架構(gòu)之外,對(duì)于保證分布式存儲(chǔ)系統(tǒng)的高可靠和高可用,數(shù)據(jù)在系統(tǒng)中一般存儲(chǔ)多個(gè)副本。當(dāng)某個(gè)存儲(chǔ)節(jié)點(diǎn)出故障時(shí),系統(tǒng)能夠自動(dòng)將服務(wù)切換到其他的副本,從而實(shí)現(xiàn)自動(dòng)容錯(cuò)。分布式存儲(chǔ)系統(tǒng)通過(guò)復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn),并確保多個(gè)副本之間的數(shù)據(jù)一致性。同一份數(shù)據(jù)有多個(gè)副本,只有一個(gè)為主副本Primary,其他的副本為備份副本Backup,數(shù)據(jù)從主副本復(fù)制到備份副本,采用終一致性來(lái)保證數(shù)據(jù)和事物的完整。 臺(tái)州魏晉元興分布式存儲(chǔ)系統(tǒng)原理分布式存儲(chǔ)將如何挑戰(zhàn)互聯(lián)網(wǎng)巨頭?
分布式存儲(chǔ)的種類和比較:分布式存儲(chǔ)包含的種類繁多,除了傳統(tǒng)意義上的分布式文件系統(tǒng)、分布式塊存儲(chǔ)和分布式對(duì)象存儲(chǔ)外,還包括分布式數(shù)據(jù)庫(kù)和分布式緩存等,但其中架構(gòu)無(wú)外乎于三種;以HDFS(HadoopDistributionFileSystem)為代biao的架構(gòu)是典型的代biao。在這種架構(gòu)中,一部分節(jié)點(diǎn)NameNode是存放管理數(shù)據(jù)(元數(shù)據(jù)),另一部分節(jié)點(diǎn)DataNode存放業(yè)務(wù)數(shù)據(jù),這種類型的服務(wù)器負(fù)責(zé)管理具體數(shù)據(jù)。這種架構(gòu)就像公司的層次組織架構(gòu),namenode就如同老板,只管理下屬的經(jīng)理(datanode),而下屬的經(jīng)理,而經(jīng)理們來(lái)管理節(jié)點(diǎn)下本地盤上的數(shù)據(jù)。
分布式存儲(chǔ)架構(gòu)由三個(gè)部分組成:客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器。客戶端負(fù)責(zé)發(fā)送讀寫請(qǐng)求,緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請(qǐng)求,是整個(gè)系統(tǒng)的核xin組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù),保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)拓展,系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。分布式存儲(chǔ)分為文件存儲(chǔ)、對(duì)象存儲(chǔ)和塊存儲(chǔ),但它們?nèi)N存儲(chǔ)方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)(MDS)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器。客戶端和元數(shù)據(jù)服務(wù)器之間交互是“信令交互”,而客戶端到數(shù)據(jù)節(jié)點(diǎn)是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過(guò)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器獲取各節(jié)點(diǎn)服務(wù)器的基本配置情況和狀態(tài)信息。 相較于傳統(tǒng)存儲(chǔ)黑盒子的管理方式,分布式存儲(chǔ)實(shí)現(xiàn)了標(biāo)準(zhǔn)硬件的交付,標(biāo)準(zhǔn)硬件服務(wù)器的運(yùn)維管理會(huì)更簡(jiǎn)單。
Ceph:目前應(yīng)用廣的開(kāi)源分布式存儲(chǔ)系統(tǒng),已得到眾多廠商的支持,許多超融合系統(tǒng)的分布式存儲(chǔ)都是基于Ceph深度定制。而且Ceph已經(jīng)成為L(zhǎng)INUX系統(tǒng)和OpenStack的“標(biāo)配”,用于支持各自的存儲(chǔ)系統(tǒng)。Ceph可以提供對(duì)象存儲(chǔ)、塊設(shè)備存儲(chǔ)和文件系統(tǒng)存儲(chǔ)服務(wù)。同時(shí)支持三種不同類型的存儲(chǔ)服務(wù)的特性,在分布式存儲(chǔ)系統(tǒng)中,是很少見(jiàn)的。a、Ceph沒(méi)有采用HDFS的元數(shù)據(jù)尋址的方案,而且采用CRUSH算法,數(shù)據(jù)分布均衡,并行度高。而且在支持塊存儲(chǔ)特性上,數(shù)據(jù)可以具有強(qiáng)一致性,可以獲得傳統(tǒng)集中式存儲(chǔ)的使用體驗(yàn)。b、對(duì)象存儲(chǔ)服務(wù),Ceph支持Swift和S3的API接口。在塊存儲(chǔ)方面,支持精簡(jiǎn)配置、快照、克隆。在文件系統(tǒng)存儲(chǔ)服務(wù)方面,支持Posix接口,支持快照。但是目前Ceph支持文件的性能相當(dāng)其他分布式存儲(chǔ)系統(tǒng),部署稍顯復(fù)雜,性能也稍弱,一般都將Ceph應(yīng)用于塊和對(duì)象存儲(chǔ)。c、Ceph是去中心化的分布式解決方案,需要提前做好規(guī)劃設(shè)計(jì),對(duì)技術(shù)團(tuán)隊(duì)的要求能力比較高。特別是在Ceph擴(kuò)容時(shí),由于其數(shù)據(jù)分布均衡的特性。 。一個(gè)令人滿意的情況是,當(dāng)一個(gè)網(wǎng)絡(luò)因?yàn)楣收隙纸鉃槎鄠€(gè)部分的時(shí)候,分布式存儲(chǔ)系統(tǒng)仍然能夠工作。鹽城集中式分布式存儲(chǔ)系統(tǒng)架構(gòu)
布式存儲(chǔ)系統(tǒng),采用Scale-out擴(kuò)展架構(gòu),可實(shí)現(xiàn)超大集群規(guī)模的部署。鹽城集中式分布式存儲(chǔ)系統(tǒng)架構(gòu)
分布式存儲(chǔ)早期主要用于互聯(lián)網(wǎng)日志、企業(yè)備份歸檔、開(kāi)發(fā)測(cè)試等場(chǎng)景,這些場(chǎng)景無(wú)疑是低價(jià)值場(chǎng)景,成本是第yi訴求甚至訴求。然此一時(shí)彼一時(shí),士別三日也當(dāng)刮目相看。首先是分布式存儲(chǔ)產(chǎn)品能力已今非昔比,逐漸具備了承載企業(yè)高價(jià)值業(yè)務(wù)的關(guān)鍵能力,例如毫秒級(jí)時(shí)延、TB/s級(jí)帶寬、雙活/3DC業(yè)務(wù)級(jí)容災(zāi)、端到端DIF等,無(wú)論是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)的承載,功能完備性的比較大短板早已補(bǔ)齊。其次,分布式存儲(chǔ)已走入眾多高價(jià)值關(guān)鍵業(yè)務(wù),如運(yùn)營(yíng)商BOM業(yè)務(wù)、金融渠道類業(yè)務(wù)以及超算、油藏探測(cè)HPC等高價(jià)值業(yè)務(wù),通過(guò)大規(guī)模應(yīng)用實(shí)踐來(lái)檢驗(yàn)成色。(小道消息,某些高價(jià)值場(chǎng)景全閃出貨價(jià)達(dá)到1000美金/TB以上啦)看完當(dāng)下還要看看未來(lái),筆者認(rèn)為未來(lái)高價(jià)值的非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景,分布式存儲(chǔ)的版圖還會(huì)持續(xù)擴(kuò)展。如自動(dòng)駕駛訓(xùn)練、4K/8K超高清、5G日志留存等場(chǎng)景,對(duì)多協(xié)議訪問(wèn)、極zhi帶寬、擴(kuò)展性訴求強(qiáng)烈,分布式存儲(chǔ)已然成為這些未來(lái)業(yè)務(wù)的優(yōu)先架構(gòu)。 鹽城集中式分布式存儲(chǔ)系統(tǒng)架構(gòu)
江蘇魏晉元興智能科技有限公司致力于數(shù)碼、電腦,是一家貿(mào)易型公司。公司業(yè)務(wù)涵蓋網(wǎng)絡(luò)安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制等,價(jià)格合理,品質(zhì)有保證。公司秉持誠(chéng)信為本的經(jīng)營(yíng)理念,在數(shù)碼、電腦深耕多年,以技術(shù)為先導(dǎo),以自主產(chǎn)品為重點(diǎn),發(fā)揮人才優(yōu)勢(shì),打造數(shù)碼、電腦良好品牌。魏晉元興智能憑借創(chuàng)新的產(chǎn)品、專業(yè)的服務(wù)、眾多的成功案例積累起來(lái)的聲譽(yù)和口碑,讓企業(yè)發(fā)展再上新高。