分布式存儲架構由三個部分組成:客戶端、元數(shù)據服務器和數(shù)據服務器??蛻舳素撠煱l(fā)送讀寫請求,緩存文件元數(shù)據和文件數(shù)據。元數(shù)據服務器負責管理元數(shù)據和處理客戶端的請求,是整個系統(tǒng)的核xin組件。數(shù)據服務器負責存放文件數(shù)據,保證數(shù)據的可用性和完整性。該架構的好處是性能和容量能夠同時拓展,系統(tǒng)規(guī)模具有很強的伸縮性。分布式存儲分為文件存儲、對象存儲和塊存儲,但它們三種存儲方式的基本架構都是大同小異的。即客戶端或應用端、元數(shù)據(MDS)服務器和數(shù)據節(jié)點服務器??蛻舳撕驮獢?shù)據服務器之間交互是“信令交互”,而客戶端到數(shù)據節(jié)點是“媒體交互”。元數(shù)據服務器或通過數(shù)據節(jié)點服務器獲取各節(jié)點服務器的基本配置情況和狀態(tài)信息。 分布式存儲提供豐富的API,根據業(yè)務應用要求,自動按需部署存儲資源,實現(xiàn)基于存儲策略的自動化管理目標。嘉興魏晉元興分布式存儲系統(tǒng)架構
分布式存儲通過將熱點區(qū)域內數(shù)據映射到高速存儲中,來提高系統(tǒng)響應速度。一旦這些區(qū)域不再是熱點,那么存儲系統(tǒng)會將它們移出高速存儲。而寫緩存技術則可使配合高速存儲來明顯改變整體存儲的性能,按照一定的策略,先將數(shù)據寫入高速存儲,再在適當?shù)臅r間進行同步落盤。由于通過網絡進行松耦合鏈接,分布式存儲允許高速存儲和低速存儲分開部署,或者任意比例混布。在不可預測的業(yè)務環(huán)境或者敏捷應用情況下,分層存儲的優(yōu)勢可以發(fā)揮到比較好。解決了目前緩存分層存儲比較大的問題是當性能池讀不命中后,從冷池提取數(shù)據的粒度太大,導致延遲高,從而給造成整體的性能的抖動的問題。 舟山什么是分布式存儲系統(tǒng)架構布式存儲系統(tǒng),采用Scale-out擴展架構,可實現(xiàn)超大集群規(guī)模的部署。
分布式存儲分為文件存儲、對象存儲和塊存儲,但它們三種存儲方式的基本架構都是大同小異的。即客戶端或應用端、元數(shù)據(MDS)服務器和數(shù)據節(jié)點服務器。客戶端和元數(shù)據服務器之間交互是“信令交互”,而客戶端到數(shù)據節(jié)點是“媒體交互”。元數(shù)據服務器或通過數(shù)據節(jié)點服務器獲取各節(jié)點服務器的基本配置情況和狀態(tài)信息。比如,客戶端需要讀取某一個文件的信息,客戶端會將相應的要求發(fā)給元數(shù)據服務器:“喂!我需要XXX,存在哪里了”,元數(shù)據服務器查詢后回答“你到xxx服務器的xxx地址+xxx服務器的xxx地址取”。客戶端拿到這個指示后,向這2臺服務器發(fā)出指令,數(shù)據節(jié)點獲得指令后,將相應的數(shù)據返回給客戶端。
隨著企業(yè)數(shù)字化轉型的深入,分布式存儲由初的開發(fā)測試、桌面云等非關鍵應用,逐步走向生產應用。生產應用除了上述可靠性SLA要求之外,對分布式存儲的性能,尤其是數(shù)據訪問的穩(wěn)定低時延提出了更嚴苛的要求。軟硬件解耦的分布式存儲在性能設計上存在兩大天然缺陷:標準服務器不具備機房突然斷電時保護內存數(shù)據的電池(BBU),所以只能用SSD卡/盤來做數(shù)據緩存。SSD的時延遠高于內存,導致業(yè)界絕大多數(shù)的軟硬解耦的分布式存儲時延無法和生產存儲媲美。單獨采購的分布式存儲軟件無法和第三方服務器的SSD盤緊密配合,從而無法像業(yè)界先進的全閃存存儲一樣實現(xiàn)全局垃圾回收,控制數(shù)量眾多的SSD盤各自的垃圾回收導致的生產應用時延波動。 可以從兩方面來理解分布式存儲:用戶側和實現(xiàn)側。
什么是分布式存儲呢?如果一個存儲系統(tǒng),不管是對象、塊、文件、kv、log、olap、oltp,只要對所管理的數(shù)據做了Partitioning&Replication,不管姿勢對不對,其實都可以歸納于分布式存儲。分布式存儲就是:Partitioning以多機scale,Replication以災備容錯。復制是解決可用性,可擴展性和高性能的關鍵。為了災備,數(shù)據需要冗余存儲;為了高可用,服務需要hotstandby。缺乏災備的系統(tǒng)難以在生產環(huán)境使用。元數(shù)據和數(shù)據的維護均離不開復制,復制可轉移而不可消除。復制引出了多副本一致性問題,而一致性保證需要考慮各種軟件和硬件故障,以及誤操作。 分布式存儲系統(tǒng)中的多臺服務器通過網絡進行連接。嘉興魏晉元興分布式存儲系統(tǒng)架構
布式存儲解決如何將數(shù)據存到多臺機器上,并且提供可用性,可靠性和一致性等問題。嘉興魏晉元興分布式存儲系統(tǒng)架構
目測分布式存儲領域有兩個派系,一派是SDS(軟件定義存儲),一派是軟硬一體。前者以vSAN、Ceph為代biao,以軟件廠商為主在推廣。分布式存儲軟件+通用服務器組合,打著重定義存儲市場的旗幟,頗有“有王侯將相寧有種乎”的氣勢;另一派是存儲老牌存儲玩家的產品,他們以軟硬一體為主,如Isilon、HCP等。誰主沉浮很難判斷,不過我們不妨從產業(yè)動態(tài)窺見一斑。雖然用過的客戶都詬病分布式存儲軟件+服務器的方式存在各種兼容性、可靠性、可維護性的問題,但筆者認為SDS這種模式會長期存在,尤其是在傳統(tǒng)的低端領域,如備份歸檔、開發(fā)測試環(huán)境。而越往高duan走,軟硬一體越是占據主流。業(yè)界主流廠商也在持續(xù)推出軟硬一體的產品: 嘉興魏晉元興分布式存儲系統(tǒng)架構
江蘇魏晉元興智能科技有限公司主要經營范圍是數(shù)碼、電腦,擁有一支專業(yè)技術團隊和良好的市場口碑。魏晉元興智能致力于為客戶提供良好的網絡安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制,一切以用戶需求為中心,深受廣大客戶的歡迎。公司秉持誠信為本的經營理念,在數(shù)碼、電腦深耕多年,以技術為先導,以自主產品為重點,發(fā)揮人才優(yōu)勢,打造數(shù)碼、電腦良好品牌。在社會各界的鼎力支持下,持續(xù)創(chuàng)新,不斷鑄造***服務體驗,為客戶成功提供堅實有力的支持。