分布式存儲早期主要用于互聯(lián)網(wǎng)日志、企業(yè)備份歸檔、開發(fā)測試等場景,這些場景無疑是低價值場景,成本是第yi訴求甚至訴求。然此一時彼一時,士別三日也當刮目相看。首先是分布式存儲產品能力已今非昔比,逐漸具備了承載企業(yè)高價值業(yè)務的關鍵能力,例如毫秒級時延、TB/s級帶寬、雙活/3DC業(yè)務級容災、端到端DIF等,無論是結構化數(shù)據(jù)還是非結構化數(shù)據(jù)的承載,功能完備性的比較大短板早已補齊。其次,分布式存儲已走入眾多高價值關鍵業(yè)務,如運營商BOM業(yè)務、金融渠道類業(yè)務以及超算、油藏探測HPC等高價值業(yè)務,通過大規(guī)模應用實踐來檢驗成色。(小道消息,某些高價值場景全閃出貨價達到1000美金/TB以上啦)看完當下還要看看未來,筆者認為未來高價值的非結構化數(shù)據(jù)場景,分布式存儲的版圖還會持續(xù)擴展。如自動駕駛訓練、4K/8K超高清、5G日志留存等場景,對多協(xié)議訪問、極zhi帶寬、擴展性訴求強烈,分布式存儲已然成為這些未來業(yè)務的優(yōu)先架構。 分布式存儲的基本理論。合肥分布式存儲架構實戰(zhàn)
軟硬件解耦的分布式存儲在性能設計上存在兩大天然缺陷:標準服務器不具備機房突然斷電時保護內存數(shù)據(jù)的電池(BBU),所以只能用SSD卡/盤來做數(shù)據(jù)緩存。SSD的時延遠高于內存,導致業(yè)界絕大多數(shù)的軟硬解耦的分布式存儲時延無法和生產存儲媲美。單獨采購的分布式存儲軟件無法和第三方服務器的SSD盤緊密配合,從而無法像業(yè)界先進的全閃存存儲一樣實現(xiàn)全局垃圾回收,控制數(shù)量眾多的SSD盤各自的垃圾回收導致的生產應用時延波動。軟硬件一體的分布式存儲有機會克服如上兩大缺陷。我們看到業(yè)界先進的分布式存儲產品,采用了類似于全閃存存儲的電池保護(BBU)、系統(tǒng)級全局垃圾回收,達到了媲美傳統(tǒng)生產存儲的高并發(fā)壓力下的1ms穩(wěn)定時延,從而為分布式存儲進入企業(yè)生產應用提供了性能的SLA保障。 寧波聯(lián)想分布式存儲架構實戰(zhàn)分布式存儲會一統(tǒng)存儲市場嗎?
Ceph:目前應用廣的開源分布式存儲系統(tǒng),已得到眾多廠商的支持,許多超融合系統(tǒng)的分布式存儲都是基于Ceph深度定制。而且Ceph已經成為LINUX系統(tǒng)和OpenStack的“標配”,用于支持各自的存儲系統(tǒng)。Ceph可以提供對象存儲、塊設備存儲和文件系統(tǒng)存儲服務。同時支持三種不同類型的存儲服務的特性,在分布式存儲系統(tǒng)中,是很少見的。a、Ceph沒有采用HDFS的元數(shù)據(jù)尋址的方案,而且采用CRUSH算法,數(shù)據(jù)分布均衡,并行度高。而且在支持塊存儲特性上,數(shù)據(jù)可以具有強一致性,可以獲得傳統(tǒng)集中式存儲的使用體驗。b、對象存儲服務,Ceph支持Swift和S3的API接口。在塊存儲方面,支持精簡配置、快照、克隆。在文件系統(tǒng)存儲服務方面,支持Posix接口,支持快照。但是目前Ceph支持文件的性能相當其他分布式存儲系統(tǒng),部署稍顯復雜,性能也稍弱,一般都將Ceph應用于塊和對象存儲。c、Ceph是去中心化的分布式解決方案,需要提前做好規(guī)劃設計,對技術團隊的要求能力比較高。特別是在Ceph擴容時,由于其數(shù)據(jù)分布均衡的特性。
分布式存儲構建存儲系統(tǒng)時.需要基于成本和性能來考慮,因此存儲系統(tǒng)通常采用多層不同性價比的存儲器件組成存儲層次結構。大數(shù)據(jù)的規(guī)模大,因此構建高效合理的存儲層次結構,可以在保證系統(tǒng)性能的前提下,降低系統(tǒng)能耗和構建成本,利用數(shù)據(jù)訪問局部性原理.可以從兩個方面對存儲層次結構進行優(yōu)化。從提高性能的角度,可以通過分析應用特征,識別熱點數(shù)據(jù)并對其進行緩存或預取,通過高效的緩存預取算法和合理的緩存容量配比,以提高訪問性能。從降低成本的角度,采用信息生命周期管理方法,將訪問頻率低的冷數(shù)據(jù)遷移到低速廉價存儲設備上,可以在小幅犧sheng系統(tǒng)整體性能的基礎上,大幅降低系統(tǒng)的構建成本和能耗。 分布式存儲系統(tǒng)需要使用多臺服務器共同存儲數(shù)據(jù),隨著服務器數(shù)量的增加,出現(xiàn)故障的概率也在不斷增加。
分布式存儲采用分布式的系統(tǒng)結構,將數(shù)據(jù)以切片式或粉碎式分散在多個du立存儲服務器。它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展,將通用硬件引入的不穩(wěn)定因素降到比較低。優(yōu)點如下:1、高性能。2、支持分級存儲。3、多副本的一致性。4、容災與備份。5、彈性擴展。6、存儲系統(tǒng)標準化。隨著分布式存儲的發(fā)展,存儲行業(yè)的標準化進程也不斷推進,分布式存儲優(yōu)先采用行業(yè)標準接口進行存儲接入。在平臺層面,通過將異構存儲資源進行抽象化,將傳統(tǒng)的存儲設備級的操作封裝成面向存儲資源的操作,從而簡化異構存儲基礎架構的操作,以實現(xiàn)存儲資源的集中管理,并能夠自動執(zhí)行創(chuàng)建、變更、回收等整個存儲生命周期流程,從而降低了存儲采購和管理成本。 干貨:一文看懂分布式存儲架構。溫州聯(lián)想分布式存儲設備
常見的幾種分布式存儲以及應用場景。合肥分布式存儲架構實戰(zhàn)
分布式存儲早是由谷歌提出的,其目的是通過廉價的服務器來提供使用與大規(guī)模,高并發(fā)場景下的Web訪問問題。它采用可擴展的系統(tǒng)結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展。分布式存儲的興起與互聯(lián)網(wǎng)的發(fā)展密不可分,互聯(lián)網(wǎng)公司由于其數(shù)據(jù)量大而資本積累少,而通常都使用大規(guī)模分布式存儲系統(tǒng)。與傳統(tǒng)的高duan服務器、高duan存儲器和高duan處理器不同的是,互聯(lián)網(wǎng)公司的分布式存儲系統(tǒng)由數(shù)量眾多的、低成本和高性價比的普通PC服務器通過網(wǎng)絡連接而成。 合肥分布式存儲架構實戰(zhàn)
江蘇魏晉元興智能科技有限公司位于南京市雨花臺區(qū)大周路32號D2幢北樓3樓-024。公司業(yè)務涵蓋網(wǎng)絡安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制等,價格合理,品質有保證。公司秉持誠信為本的經營理念,在數(shù)碼、電腦深耕多年,以技術為先導,以自主產品為重點,發(fā)揮人才優(yōu)勢,打造數(shù)碼、電腦良好品牌。魏晉元興智能憑借創(chuàng)新的產品、專業(yè)的服務、眾多的成功案例積累起來的聲譽和口碑,讓企業(yè)發(fā)展再上新高。