在分布式存儲(chǔ)系統(tǒng)（包括OceanBase這樣的分布式數(shù)據(jù)庫(kù)）的使用中，我們經(jīng)常會(huì)提到“一致性”這個(gè)詞，但是這個(gè)術(shù)語(yǔ)在不同的系統(tǒng)、不同人的心目中有不同的內(nèi)涵，很容易造成混淆。想象一個(gè)簡(jiǎn)單的存儲(chǔ)系統(tǒng)，只有一個(gè)客戶(hù)端（單進(jìn)程）和一個(gè)服務(wù)端（單進(jìn)程服務(wù)）。客戶(hù)端順序發(fā)起讀寫(xiě)操作，服務(wù)端也順序處理每個(gè)請(qǐng)求，那么無(wú)論從服務(wù)器視角還是從客戶(hù)端視角，后一個(gè)操作都可以看到前一個(gè)操作的結(jié)果。然后，系統(tǒng)變的復(fù)雜一些，系統(tǒng)還是單個(gè)服務(wù)進(jìn)程（單副本），但是有多個(gè)客戶(hù)端并發(fā)進(jìn)行操作。這個(gè)模型下，多個(gè)客戶(hù)端的操作會(huì)互相影響，比如一個(gè)客戶(hù)端會(huì)讀到不是自己寫(xiě)的數(shù)據(jù)（另一個(gè)客戶(hù)端寫(xiě)入的）。一般單機(jī)并發(fā)程序就是這樣的模型，比如多個(gè)線(xiàn)程共享內(nèi)存的程序中。 分布式存儲(chǔ)不得不要了解的幾大特點(diǎn)。江蘇聯(lián)想分布式存儲(chǔ)系統(tǒng)架構(gòu)
分布式存儲(chǔ)傳統(tǒng)數(shù)據(jù)存儲(chǔ)模型需要支持盡可能多的應(yīng)用，因此需要具備較好的通用性。大數(shù)據(jù)具有大規(guī)模、高動(dòng)態(tài)及快速處理等特性，通用的數(shù)據(jù)存儲(chǔ)模型通常并不是能提高應(yīng)用性能的模型．而大數(shù)據(jù)存儲(chǔ)系統(tǒng)對(duì)上層應(yīng)用性能的關(guān)注遠(yuǎn)遠(yuǎn)超過(guò)對(duì)通用性的追求。針對(duì)應(yīng)用和負(fù)載來(lái)優(yōu)化存儲(chǔ)，就是將數(shù)據(jù)存儲(chǔ)與應(yīng)用耦合。簡(jiǎn)化或擴(kuò)展分布式文件系統(tǒng)的功能，根據(jù)特定應(yīng)用、特定負(fù)載、特定的計(jì)算模型對(duì)文件系統(tǒng)進(jìn)行定制和深度優(yōu)化，使應(yīng)用達(dá)到比較好性能。這類(lèi)優(yōu)化技術(shù)在谷歌、Facebook等互聯(lián)網(wǎng)公司的內(nèi)部存儲(chǔ)系統(tǒng)上，管理超過(guò)千萬(wàn)億字節(jié)級(jí)別的大數(shù)據(jù)，能夠達(dá)到非常高的性能。 蘇州分布式存儲(chǔ)系統(tǒng)原理解析常見(jiàn)的幾種分布式存儲(chǔ)以及應(yīng)用場(chǎng)景。
什么是分布式存儲(chǔ)呢？如果一個(gè)存儲(chǔ)系統(tǒng)，不管是對(duì)象、塊、文件、kv、log、olap、oltp，只要對(duì)所管理的數(shù)據(jù)做了Partitioning&Replication，不管姿勢(shì)對(duì)不對(duì)，其實(shí)都可以歸納于分布式存儲(chǔ)。分布式存儲(chǔ)就是：Partitioning以多機(jī)scale，Replication以災(zāi)備容錯(cuò)。復(fù)制是解決可用性，可擴(kuò)展性和高性能的關(guān)鍵。為了災(zāi)備，數(shù)據(jù)需要冗余存儲(chǔ)；為了高可用，服務(wù)需要hotstandby。缺乏災(zāi)備的系統(tǒng)難以在生產(chǎn)環(huán)境使用。元數(shù)據(jù)和數(shù)據(jù)的維護(hù)均離不開(kāi)復(fù)制，復(fù)制可轉(zhuǎn)移而不可消除。復(fù)制引出了多副本一致性問(wèn)題，而一致性保證需要考慮各種軟件和硬件故障，以及誤操作。
與傳統(tǒng)的存儲(chǔ)架構(gòu)使用RAID模式來(lái)保證數(shù)據(jù)的可靠性不同，分布式存儲(chǔ)采用了多副本備份機(jī)制。在存儲(chǔ)數(shù)據(jù)之前，分布式存儲(chǔ)對(duì)數(shù)據(jù)進(jìn)行了分片，分片后的數(shù)據(jù)按照一定的規(guī)則保存在集群節(jié)點(diǎn)上。為了保證多個(gè)數(shù)據(jù)副本之間的一致性，分布式存儲(chǔ)通常采用的是一個(gè)副本寫(xiě)入，多個(gè)副本讀取的強(qiáng)一致性技術(shù)，使用鏡像、條帶、分布式校驗(yàn)等方式滿(mǎn)足租戶(hù)對(duì)于可靠性不同的需求。在讀取數(shù)據(jù)失敗的時(shí)候，系統(tǒng)可以通過(guò)從其他副本讀取數(shù)據(jù)，重新寫(xiě)入該副本進(jìn)行恢復(fù)，從而保證副本的總數(shù)固定。當(dāng)數(shù)據(jù)長(zhǎng)時(shí)間處于不一致?tīng)顟B(tài)時(shí)，系統(tǒng)會(huì)自動(dòng)數(shù)據(jù)重建恢復(fù)，同時(shí)租戶(hù)可設(shè)定數(shù)據(jù)恢復(fù)的帶寬規(guī)則，小化對(duì)業(yè)務(wù)的影響。 分布式存儲(chǔ)與數(shù)據(jù)庫(kù)選型**整理分享。
從技術(shù)的角度，分布式存儲(chǔ)的發(fā)力點(diǎn)在大規(guī)模的擴(kuò)展性，基于此逐步優(yōu)化性能、可靠性，讓海量數(shù)據(jù)存得下、用得起；集中式存儲(chǔ)的技術(shù)方向在于保持穩(wěn)定性的基礎(chǔ)上，利用更快的介質(zhì)、更低時(shí)延的網(wǎng)絡(luò)為核xin業(yè)務(wù)提供加速，讓業(yè)務(wù)更穩(wěn)、效率更高。因此，從技術(shù)方向上來(lái)看，二者也是各有側(cè)重的。云和分布式存儲(chǔ)一樣，這些年正在大行其道、炙手可熱。CloudFirst、AllinCloud、CloudNative等概念風(fēng)靡業(yè)界，CIO見(jiàn)面不提云貌似都不好意思打招呼。早期人們也習(xí)慣把分布式存儲(chǔ)叫做“云存儲(chǔ)”，那么分布式存儲(chǔ)和云是什么關(guān)系？筆者認(rèn)為，分布式存儲(chǔ)是一種技術(shù)架構(gòu)，而云是一種商業(yè)模式。分布式存儲(chǔ)可以被用作各種云的數(shù)據(jù)底座，也可以單獨(dú)成為數(shù)據(jù)底座，是配合的關(guān)系，而非替換和包含關(guān)系。 分布式存儲(chǔ)的由來(lái)、發(fā)展及未來(lái)市場(chǎng)前景。安徽大道云行分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)
難言之隱,分布式存儲(chǔ)軟硬件解耦究竟難在哪里?江蘇聯(lián)想分布式存儲(chǔ)系統(tǒng)架構(gòu)
開(kāi)源分布式存儲(chǔ)軟件的出現(xiàn)，一定程度上降低了存儲(chǔ)的門(mén)檻，小公司可快速包裝出存儲(chǔ)產(chǎn)品，帶動(dòng)服務(wù)器銷(xiāo)售。但產(chǎn)品同質(zhì)化問(wèn)題是所有開(kāi)源不得不面臨的問(wèn)題，由于架構(gòu)限制，很難在不動(dòng)架構(gòu)的情況下，真正做出差異化競(jìng)爭(zhēng)力?；ヂ?lián)網(wǎng)類(lèi)公司、部分科研機(jī)構(gòu)，以及有技術(shù)情結(jié)和充足資金投入的客戶(hù)可能選擇開(kāi)源，而對(duì)于金融、電信運(yùn)營(yíng)商、大企業(yè)商用HPC、有關(guān)部門(mén)等對(duì)可靠性、性能、安全合規(guī)有要求的企業(yè)，開(kāi)源從來(lái)不是第yi選擇，因?yàn)閿?shù)據(jù)太重要了。（聽(tīng)說(shuō)，國(guó)內(nèi)某知ming銀行曾經(jīng)投入500人基于開(kāi)源軟件搭建分布式存儲(chǔ)，投入巨大且無(wú)法達(dá)銀行業(yè)務(wù)對(duì)性能、可靠性、易運(yùn)維訴求，終于2年后放棄。） 江蘇聯(lián)想分布式存儲(chǔ)系統(tǒng)架構(gòu)
江蘇魏晉元興智能科技有限公司主要經(jīng)營(yíng)范圍是數(shù)碼、電腦，擁有一支專(zhuān)業(yè)技術(shù)團(tuán)隊(duì)和良好的市場(chǎng)口碑。公司業(yè)務(wù)分為網(wǎng)絡(luò)安全，VR,MR，VR，AI，視頻監(jiān)控安防，出入口門(mén)禁失控制等，目前不斷進(jìn)行創(chuàng)新和服務(wù)改進(jìn)，為客戶(hù)提供良好的產(chǎn)品和服務(wù)。公司注重以質(zhì)量為中心，以服務(wù)為理念，秉持誠(chéng)信為本的理念，打造數(shù)碼、電腦良好品牌。魏晉元興智能憑借創(chuàng)新的產(chǎn)品、專(zhuān)業(yè)的服務(wù)、眾多的成功案例積累起來(lái)的聲譽(yù)和口碑，讓企業(yè)發(fā)展再上新高。