隨著網(wǎng)絡帶寬的高速增長，在軟件上的消耗已成為網(wǎng)絡性能的瓶頸，而通過繞過CPU實現(xiàn)高性能傳輸?shù)腞DMA網(wǎng)絡成為分布式存儲不錯的選擇。RDMA（RemoteDirectMemoryAccess），可以簡單理解為網(wǎng)卡完全繞過CPU實現(xiàn)兩個服務器之間的內存數(shù)據(jù)交換。其作為一種硬件實現(xiàn)的網(wǎng)絡傳輸技術，可以大幅提升網(wǎng)絡傳輸效率，幫助網(wǎng)絡IO密集的業(yè)務（比如分布式存儲、分布式數(shù)據(jù)庫等）獲得更低的時延以及更高的吞吐。初的RDMA是實現(xiàn)在IB（Infiniband）上，由于其新的硬件技術棧成本比較高，主要用于HPC（高性能計算）等少數(shù)場景。而新的技術發(fā)展下，能夠實現(xiàn)在以太網(wǎng)上使用RDMA。 分布式存儲是未來趨勢。大規(guī)模分布式存儲架構實戰(zhàn)
分布式存儲包含的種類繁多，除了傳統(tǒng)意義上的分布式文件系統(tǒng)、分布式塊存儲和分布式對象存儲外，還包括分布式數(shù)據(jù)庫和分布式緩存等，但其中架構無外乎于三種；以Ceph為代biao的架構是其典型的代biao。在該架構中與HDFS不同的地方在于該架構中沒有中心節(jié)點?？蛻舳耸峭ㄟ^一個設備映射關系計算出來其寫入數(shù)據(jù)的位置，這樣客戶端可以直接與存儲節(jié)點通信，從而避免中心節(jié)點的性能瓶頸。以Ceph為代biao的架構是其典型的代biao。在該架構中與HDFS不同的地方在于該架構中沒有中心節(jié)點。客戶端是通過一個設備映射關系計算出來其寫入數(shù)據(jù)的位置，這樣客戶端可以直接與存儲節(jié)點通信，從而避免中心節(jié)點的性能瓶頸。 淮安大道云行分布式存儲數(shù)據(jù)庫分布式存儲在數(shù)據(jù)治理過程中的優(yōu)勢。
分布式存儲系統(tǒng)中還可能使用基于寫多個存儲節(jié)點的復制協(xié)議（Replicated-writeprotocol）。比如Dynamo系統(tǒng)中的NWR復制協(xié)議，其中，N為副本數(shù)量，W為寫操作的副本數(shù)，R為讀操作的副本數(shù)。NWR協(xié)議中多個副本不再區(qū)分主和備，客戶端根據(jù)一定的策略往其中的W個副本寫入數(shù)據(jù)，讀取其中的R個副本。只要W+R＞N，可以保證讀到的副本中至少有一個包含了的更新。然而，這種協(xié)議的問題在于不同副本的操作順序可能不一致，從多個副本讀取時可能出現(xiàn)。這種方式在實際系統(tǒng)中比較少見，不建議使用。
分布式存儲的重要性：云存儲和大數(shù)據(jù)是構建在分布式存儲之上的應用。移動終端的計算能力和存儲空間有限，而且有在多個設備之間共享資源的強烈的需求，這就使得網(wǎng)盤、相冊等云存儲應用很快流行起來。然而，萬變不離其宗，云存儲的核xin還是后端的大規(guī)模分布式存儲系統(tǒng)。大數(shù)據(jù)則更近一步，不僅需要存儲海量數(shù)據(jù)，還需要通過合適的計算框架或者工具對這些數(shù)據(jù)進行分析，抽取其中有價值的部分。如果沒有分布式存儲，便談不上對大數(shù)據(jù)進行分析。仔細分析還會發(fā)現(xiàn)，分布式存儲技術是互聯(lián)網(wǎng)后端架構的神器，掌握了這項技能，以后理解其他技術的本質會變得非常容易。 如何保證分布式存儲系統(tǒng)的高性能與高可用性呢？
分布式存儲的種類和比較：分布式存儲包含的種類繁多，除了傳統(tǒng)意義上的分布式文件系統(tǒng)、分布式塊存儲和分布式對象存儲外，還包括分布式數(shù)據(jù)庫和分布式緩存等，但其中架構無外乎于三種；以HDFS（HadoopDistributionFileSystem）為代biao的架構是典型的代biao。在這種架構中，一部分節(jié)點NameNode是存放管理數(shù)據(jù)（元數(shù)據(jù)），另一部分節(jié)點DataNode存放業(yè)務數(shù)據(jù)，這種類型的服務器負責管理具體數(shù)據(jù)。這種架構就像公司的層次組織架構，namenode就如同老板，只管理下屬的經(jīng)理（datanode），而下屬的經(jīng)理，而經(jīng)理們來管理節(jié)點下本地盤上的數(shù)據(jù)。 對于保證分布式存儲系統(tǒng)的高可靠和高可用，數(shù)據(jù)在系統(tǒng)中一般存儲多個副本。大規(guī)模分布式存儲架構實戰(zhàn)
分布式存儲在數(shù)據(jù)治理場景中的價值定位及優(yōu)勢解讀。大規(guī)模分布式存儲架構實戰(zhàn)
正所謂長江后浪推前浪，分布式存儲快速增長是不可否認的，這從各大廠商的業(yè)績報告和分析師報告就能看出來，但想要把企業(yè)外置存儲這個前浪拍死在沙灘上還是步子邁太大，不現(xiàn)實。企業(yè)外置存儲在相當長的一段時間內，仍然是主流。它主要面向企業(yè)傳統(tǒng)應用如ERP/CRM/HIS等，數(shù)據(jù)量不大但對可靠性、性能有極zhi要求，如銀行Core-Banking，從可靠性、生態(tài)層面，分布式存儲都不是比較好選擇。分布式存儲主要面向海量數(shù)據(jù)、新興業(yè)務場景，如HPC/EDA、大數(shù)據(jù)，這類場景以二進制文件、視頻、圖片等非結構化數(shù)據(jù)為主，數(shù)據(jù)量極大。所以從場景來看，二者場景是有明確區(qū)隔的，按場景并存是比較好的選擇。 大規(guī)模分布式存儲架構實戰(zhàn)
江蘇魏晉元興智能科技有限公司位于南京市雨花臺區(qū)大周路32號D2幢北樓3樓-024。公司自成立以來，以質量為發(fā)展，讓匠心彌散在每個細節(jié)，公司旗下網(wǎng)絡安全，VR,MR，VR，AI，視頻監(jiān)控安防，出入口門禁失控制深受客戶的喜愛。公司注重以質量為中心，以服務為理念，秉持誠信為本的理念，打造數(shù)碼、電腦良好品牌。魏晉元興智能立足于全國市場，依托強大的研發(fā)實力，融合前沿的技術理念，飛快響應客戶的變化需求。