9月3日，2019開放數(shù)據(jù)中心峰會在北京國際會議中心隆重開幕。西部數(shù)據(jù)公司產(chǎn)品市場部副總裁朱海翔在會上帶來了主題為《ZB時代的數(shù)據(jù)存儲核心架構(gòu) - 機(jī)遇，挑戰(zhàn)和階段》演講。

　　西部數(shù)據(jù)公司產(chǎn)品市場部副總裁朱海翔

　　各位領(lǐng)導(dǎo)，各位來賓，大家下午好，我叫朱海翔，大家也可以叫我Michael, 在西部數(shù)據(jù)公司負(fù)責(zé)產(chǎn)品營銷和市場運(yùn)營。

　　一年前來到ODCC，非常榮幸今年又有機(jī)會和大家分享我們在過去一年里取得的一些新的進(jìn)展。這一次的分享和上次有所不同，上次我們主要談到在HDD方面在容量的擴(kuò)展上取得的一些進(jìn)步。但是這次更重要的是面臨即將到來的ZB級的數(shù)據(jù)時代，怎么重新審視存儲的核心架構(gòu)。作為一個專注存儲的公司，我們遇到什么樣的機(jī)遇和挑戰(zhàn)，在這些挑戰(zhàn)面前，怎么和業(yè)界的各位共同攜手，通過技術(shù)創(chuàng)新的方式，把數(shù)據(jù)中心存儲推向一個新的時代。

　　首先來看一下閃存市場，為什么先要談閃存市場，因為數(shù)據(jù)中心中從存儲的角度，基于閃存的SSD產(chǎn)品是年復(fù)合增長率是最高的，達(dá)到每年44%，但是這個行業(yè)也有它獨特的特性，大家可以看到它的周期性非常明顯，2008年、2012年我們都經(jīng)歷了我們在過去的一到兩年中所經(jīng)歷的這個市場周期性的振蕩。但是最近公布的眾多分析師的市場預(yù)期是在今年年底到明年年初，這個市場又會很快的回升。

　　有市場供求關(guān)系的原因，但是非常重要的一點是我們已經(jīng)到了數(shù)據(jù)大爆炸的新興的邊緣，我們數(shù)據(jù)的產(chǎn)生，隨著5G、人工智能、機(jī)器學(xué)習(xí)、萬物互聯(lián)，我們的數(shù)據(jù)量從2018年的32個ZB會大踏步地跨入到2023年的超過100個ZB。

　　在這些數(shù)據(jù)產(chǎn)生中，可以看到數(shù)據(jù)基本上已經(jīng)形成三個不同的層面。一個是在末端數(shù)據(jù)的產(chǎn)生，在邊緣數(shù)據(jù)得到初步的集成和分析，以及到大型云核心的數(shù)據(jù)中心，我們對數(shù)據(jù)進(jìn)行計算分析，發(fā)掘出所有數(shù)據(jù)最大的價值。但是我們必須要看到數(shù)據(jù)的產(chǎn)生發(fā)生了一個翻天覆地的變化，在今天，我們可以看到很多的數(shù)據(jù)還是人為產(chǎn)生的，微信上從文字、圖片、視頻，到現(xiàn)在非常流行的抖音、快手的小視頻的迅速普及，但是從2023年可以看到，全世界超過90%的數(shù)據(jù)都會由機(jī)器產(chǎn)生，而不是由人產(chǎn)生，這些數(shù)據(jù)具有非常強(qiáng)烈的順序性的流媒體數(shù)據(jù)的特性。

　　針對這些爆炸性的數(shù)據(jù)我們就有必要重新審視當(dāng)今的存儲能不能滿足數(shù)據(jù)中心、數(shù)據(jù)爆炸的發(fā)展需求。從數(shù)據(jù)中心的存儲量上可以看到，在去年全球總共留存下來的數(shù)據(jù)5個ZB，到2023年快速增長到12個ZB，但是我們的問題是，真正產(chǎn)生的數(shù)據(jù)在2023年超過100個ZB的數(shù)據(jù)，也就是說大多數(shù)我們已經(jīng)產(chǎn)生的數(shù)據(jù)在數(shù)據(jù)產(chǎn)生之后因為種種原因沒有被留存下來。我們目前的存儲架構(gòu)、存儲介質(zhì)和存儲密度存在巨大的挑戰(zhàn)，無法把所有這些產(chǎn)生的數(shù)據(jù)留存下來，因為我們知道數(shù)據(jù)本身當(dāng)它產(chǎn)生的時候，我們往往還不能意識到它的價值，留存之后進(jìn)行再次的分析，我們才能更好的發(fā)掘出數(shù)據(jù)的價值。

　　看一下數(shù)據(jù)中心中各個不同的存儲介質(zhì)，剛剛提到SSD的增長速率最快，但是可能很多人沒有意識到，在以后的3-5年，企業(yè)級的HDD在數(shù)據(jù)中心中也會保持超過30%的高速增長，到2023年，絕大多數(shù)數(shù)據(jù)中心中我們的數(shù)據(jù)還是會存儲于HDD當(dāng)中。至于其他的存儲方式，因為它的增長速率較慢，我們也可以把它看作存儲介質(zhì)中的達(dá)爾文主義，通過自然選擇，可以看到2023年它在整個數(shù)據(jù)中心中所占的比例對比今天會大幅度減少。

　　剛剛何所長提到一個很有意思的概念，我們的數(shù)據(jù)中心更像是IT業(yè)的房地產(chǎn)，我覺得閃存行業(yè)更有一點這樣的味道。我把這個叫做摩爾定律和貝聿銘的結(jié)合，貝聿銘是個華人，被譽(yù)為現(xiàn)代建筑藝術(shù)最后的大師，他有很多著名的建筑。作為西部數(shù)據(jù)公司既有閃存也有HDD的技術(shù)，從24層到48層到64層到96層的3D MAND之后到100多層，每隔15個月我們就實現(xiàn)一次迭代。

　　但是我想要指出的是，這就像所有的魔術(shù)師在變魔術(shù)一樣，表面上讓大家看到的并不是他真正的Magic所在的地方，說白了是一個線性的增長，并沒有從根本上改變我們存儲的密度。打一個比方，就像你想要存儲更多的比特，但是你使用更多的晶元，使用更多晶元來增加存儲比特的數(shù)量不是真正的擴(kuò)展。再舉一個例子，這是在舊金山市中心的salesforce大樓，總共有61層，和我們的64層3D NAND做比較，每一層的建造成本，salesforce大樓每平方米大概是8000美金，和我們建造64層的3D NAND是相似的，每層的增加是需要成本的，線性增加和成本的增加是成正比的，所以必須重新回到X、Y這個橫向的層面，探尋如何真正增加存儲的密度，也就是閃存孔的密度。

　　過去幾年從48到64到96層，增加了大約10%，這看起來可能是一個比較小的數(shù)字，在這個X軸上基本上看不見。但是如果我們在X、Y軸微小的增加，疊加上縱向的64層、96層的維度，就實現(xiàn)了真正比較可觀的存儲密度的增加。這時候我們再考慮第三個維度，所謂的“三駕馬車”，就是在數(shù)字邏輯的維度，從SLC、MLC，增加到每單元3比特的TLC，我們就實現(xiàn)了相當(dāng)可觀的存儲的擴(kuò)展。實現(xiàn)每單元4比特，同樣用高樓大廈的例子，當(dāng)電梯上來的時候不是走進(jìn)來3個人，而是4個人，所以QLC實現(xiàn)了更深度的存儲密度的擴(kuò)展，但是給我們也帶來了挑戰(zhàn)，要在每個單元能夠感知16個電平位，這對我們在寫入和寫壽命上有很大的挑戰(zhàn)。

　　最終我們實現(xiàn)在QLC邏輯擴(kuò)展的新的前沿，可以看到通過橫向、縱向和邏輯三個維度，我們可以在每一個垂直的存儲孔可以達(dá)到每單元422個比特，這才是魔術(shù)師真正的Magic，這是為什么閃存產(chǎn)品能夠在數(shù)據(jù)中心中保持最高速的發(fā)展，就是這種三層疊加多維度的擴(kuò)展。

　　但是我們也可以看到，QLC的推廣是需要一段時間的，現(xiàn)在可能只能在市場上看到一些低端的QLC，因為它存在自己的局限性。盡管如此，通過我們在技術(shù)上的創(chuàng)新，我們預(yù)計，大概在2025年，在全球數(shù)據(jù)中心中存放在SSD的介質(zhì)會有50%的數(shù)據(jù)會存放在基于QLC的SSD當(dāng)中，而它接受的程度和當(dāng)今的TLC是不一樣的，TLC最先接受和推廣的重要行業(yè)是手機(jī)行業(yè)，最后是企業(yè)級的數(shù)據(jù)中心市場，QLC會完全不一樣，首先采用的就會是數(shù)據(jù)中心市場，這是為什么我們在ODCC這樣重要的會議上要重點提出QLC的重要性，和我們怎么能夠攜手通過一些技術(shù)創(chuàng)新，加速Q(mào)LC在數(shù)據(jù)中心中的規(guī)模部署。

　　QLC在這個邏輯擴(kuò)展的邊緣，作為每一個閃存產(chǎn)品的廠商，我們都會碰到設(shè)計過程中不同參數(shù)的平衡，我們要增加plane數(shù)量，增加數(shù)量的同時，Die就會增加，而封裝尺寸會控制Die大小的增加；隨著層數(shù)增加功耗也會增加，如果把所有數(shù)據(jù)中心的存儲加在一起，功耗的增加也會是非?？捎^的。這個時候如果仍然要保持我們希望的頁面大小，4kb，隨著邏輯的擴(kuò)展，寫入帶寬的限制就會變得越來越顯著，這是我們作為這個行業(yè)需要快速解決的問題。

　　總結(jié)一下，QLC我們找到了在邏輯維度，第三個維度的最新的一個擴(kuò)展方向，我們可以有效的降低成本，提高TCO的收益，我們有非常好的訪問和讀取的性能，但是在寫入方面受到限制，這是我們無法實現(xiàn)QLC規(guī)模擴(kuò)展的一個重要原因。

　　而這一點作為西部數(shù)據(jù)公司，這個問題對于我們來說似曾相識，因為我們在HDD的領(lǐng)域推出了所謂的SMR HDD疊瓦式磁記錄，它在擴(kuò)展、收益、讀取性能和寫入限制上有著非常類似的場景。可能在座有一些對于我們HDD的技術(shù)并不是非常了解，SMR HDD，翻譯成中文就是疊瓦式磁記錄，允許我講一下我們硬盤的技術(shù)，硬盤在一個牒片上會疊加很多的同心圓，就是所謂的磁道，每個磁道上存儲著數(shù)據(jù)。

　　如果磁片上同心圓越多，也就是磁道越多，可以存儲的數(shù)據(jù)越多。HDD經(jīng)歷了很多年，在多個個不同方面都在推動物理科學(xué)的邊界，在這里我們找到了一個新的方法，就是通過疊瓦式的方法在同樣面積的磁盤上擺放更多的磁道。

　　疊瓦式是個非常形象的比喻，在一個樓房上，一層一層疊放的瓦片，通過堆疊的方式，可以在同樣的磁片上容納更多的存儲，實現(xiàn)將近15-20%的數(shù)據(jù)容量的增加。這對于數(shù)據(jù)中心大規(guī)模數(shù)據(jù)的存放是非?？捎^的，但是它存在一個限制。我們想象一下，在這些層層相疊的瓦片中，如果我們要去更換其中的一個瓦片是不容易的。這正是SMR中寫入和改變的限制。但是通過在過去五年SMR HDD和業(yè)界共同的推廣，我們找到了這個分區(qū)存儲的方法，我們相信按照現(xiàn)在的速率，到2023年全球數(shù)據(jù)中心中的HDD會有超過50%是基于SMR技術(shù)的。

　　談到分區(qū)存儲技術(shù)之前，看一下數(shù)據(jù)中心的演進(jìn)，尤其是從計算的角度，隨著數(shù)據(jù)量的增加，隨著負(fù)載應(yīng)用變得更有特征化，我們可以看到通用計算實際上已經(jīng)不是一個理所當(dāng)然的最佳選擇，這是為什么我們涌現(xiàn)出很多新興的計算技術(shù)廣泛應(yīng)用到超大型的數(shù)據(jù)中心當(dāng)中。與此相比，我們的存儲技術(shù)，當(dāng)然我們改變了一些接口，我們增加了一些速度，替換了一些老的協(xié)議，但是真正我們存儲的架構(gòu)仍然是一個通用型的存儲架構(gòu)，針對于數(shù)據(jù)中心，針對于這些新興的海量數(shù)據(jù)，我們并沒有重新考慮從整個存儲架構(gòu)的角度如何與我們的系統(tǒng)相配合，推出一個專用的架構(gòu)，這是我們重新思考的一個新的方向。

　　如果我們把數(shù)據(jù)中心看成一桿稱，我們要稱起ZB數(shù)據(jù)時代，我們需要更好的存儲密度的擴(kuò)展，我們認(rèn)為我可以把分區(qū)存儲技術(shù)看作這個非常重要的砝碼。在下一代的數(shù)據(jù)中心當(dāng)中，我們需要重新審視和搭建一種全新的存儲數(shù)據(jù)架構(gòu)，我們需要能夠適應(yīng)新型的計算技術(shù)，需要能夠滿足虛擬機(jī)、多租戶、順序化數(shù)據(jù)等等，而且在考慮這種新技術(shù)的時候，我們遵循和ODCC一樣的準(zhǔn)則，更好地?fù)肀ч_源，更好地?fù)肀?biāo)準(zhǔn)化，和生態(tài)系統(tǒng)一起合作，推出全新的技術(shù)。

　　在SMR HDD在過去五年商用化的過程中我們積累了很多經(jīng)驗，和業(yè)界共同合作，實現(xiàn)了SMR HDD通過一些系統(tǒng)的優(yōu)化，在我們的數(shù)據(jù)中心中更多的應(yīng)用場景的推廣。我們實際上沿用了分區(qū)存儲的技術(shù)，和NVMe標(biāo)準(zhǔn)化組織合作，我們推出了Zone Name Space, 分區(qū)命名空間，這沿用了同樣的分區(qū)存儲技術(shù)，這樣我們無論是在數(shù)據(jù)中心中的HDD還是SSD，都可以使用同樣的分區(qū)存儲技術(shù)，從而得到效益最大化。

　　那么ZNS對SSD帶來了什么樣的好處呢？首先是效能和成本上的降低，同比標(biāo)準(zhǔn)的NVMe SSD， DRAM減少8倍， OP (Over Provisioning)減少高達(dá)十倍！其次從功能的角度，可以實現(xiàn)與與下一代數(shù)據(jù)中心計算資源更好的匹配，每一個VM在每一個分區(qū)命名空間的每一個小區(qū)域內(nèi)可以建立一對一和一對多的對應(yīng)。原來我們所存在的寫入的限制，通過分區(qū)存儲技術(shù)，在HDD和SSD的推廣，ZNS和SMR HDD，把寫入限制變成寫入管理，推出更加可靠可控的數(shù)據(jù)協(xié)同。

　　在下一代的數(shù)據(jù)中心中我們有可能會碰到的三個比較主要的負(fù)載應(yīng)用。傳感器數(shù)據(jù)收集90%都是機(jī)器產(chǎn)生的數(shù)據(jù)，它存在海量數(shù)據(jù)量的特點，而且是順序化寫入，對于分區(qū)存儲是沒有任何問題的。

　　人工智能、機(jī)器學(xué)習(xí)同樣需要海量的數(shù)據(jù)量，而且需要有超高的讀入性能的要求，對于分區(qū)存儲也沒有問題。隨著從數(shù)據(jù)中心中的VM到container到目前的serverless, 微服務(wù)架構(gòu)，同樣也是需要我們對于計算資源進(jìn)行更細(xì)顆粒化的分配，分區(qū)存儲提供了一個更細(xì)致的一對一的分區(qū)進(jìn)行匹配對應(yīng)的全新的方式。

　　為了能夠配合行業(yè)中各個對于分區(qū)存儲技術(shù)感興趣，希望在系統(tǒng)端開始做一些工作，我們推出了ZNS NVMe SSD平臺，歡迎大家和我們共同努力推動它在數(shù)據(jù)中心中更廣泛地應(yīng)用。作為西部數(shù)據(jù)公司，去年我們推出了更新更大容量的HDD，今年我們會全面推出NVMe SSD的產(chǎn)品，更好滿足數(shù)據(jù)中心的需求。在這里很高興和大家分享，明年我們還會推出20TB全球最大容量的SMR HDD。

　　最后，非常重要的是我們推出了zonestorage.io的開源社區(qū)網(wǎng)站，在這里你可以看到開發(fā)工具，軟件編碼案例，以及架構(gòu)實踐等等，更方便于大家更好的開始了解，使用和推廣分區(qū)存儲技術(shù)。

　　今天非常高興能和大家一起分享我們在存儲核心技術(shù)上的創(chuàng)新，是一個擁抱開源、擁抱標(biāo)準(zhǔn)的創(chuàng)新，ODCC為此提供了一個非常好的平臺，讓我們來分享這項技術(shù)。相信我們通過延展我們在SMR HDD上成功的經(jīng)驗，能夠涵蓋在數(shù)據(jù)中心中所有的規(guī)模存儲介質(zhì)的需求，能夠和大家一起共同推動數(shù)據(jù)中心的發(fā)展和技術(shù)創(chuàng)新，謝謝。