滴普科技數(shù)據(jù)平臺(tái)技術(shù)專家獲2021海納獎(jiǎng)——分布式數(shù)據(jù)庫十大先鋒人物

1月6日，由中國電子技術(shù)標(biāo)準(zhǔn)化研究院指導(dǎo)、 CSDN主辦的2021DC分布式數(shù)據(jù)庫開發(fā)者大會(huì)，舉行了“2021年度海納獎(jiǎng)”頒獎(jiǎng)典禮。

滴普科技數(shù)據(jù)平臺(tái)技術(shù)專家吳小前獲“2021年度海納獎(jiǎng)——分布式數(shù)據(jù)庫十大先鋒人物”獎(jiǎng)。榜單由CSDN聯(lián)合極客邦、思否、開源中國、木蘭開源社區(qū)共同評(píng)選，從技術(shù)創(chuàng)新、行業(yè)實(shí)踐、學(xué)術(shù)研究、生態(tài)拓展等維度對(duì)參評(píng)人進(jìn)行考評(píng)。

國產(chǎn)化替代趨勢(shì)突出，分布式數(shù)據(jù)庫將成為核心

近年來，隨著數(shù)據(jù)量爆發(fā)性增長，導(dǎo)致數(shù)據(jù)負(fù)載隨之?dāng)U大，對(duì)數(shù)據(jù)庫擴(kuò)容的需求愈加迫切。但面對(duì)大規(guī)模數(shù)據(jù)處理，集中式數(shù)據(jù)庫的局限性問題日益凸顯。

吳小前認(rèn)為，國內(nèi)的數(shù)據(jù)庫發(fā)展起步較晚，自2010年開始經(jīng)歷了傳統(tǒng)數(shù)據(jù)庫、云數(shù)據(jù)庫、分布式數(shù)據(jù)庫三個(gè)階段。尤其是伴隨云計(jì)算的發(fā)展，企業(yè)面臨更多的是半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，因而NoSQL、NewSQL、HTAP、多模等分布式架構(gòu)的數(shù)據(jù)庫開發(fā)規(guī)模逐漸擴(kuò)大。

在他看來，分布式數(shù)據(jù)庫以高可用、可擴(kuò)展、多地域、多部署形態(tài)、混合負(fù)載以及透明兼容性等諸多特性，正成為企業(yè)核心系統(tǒng)升級(jí)的首選?？梢灶A(yù)見的是，隨著業(yè)務(wù)對(duì)大數(shù)據(jù)技術(shù)需求的不斷演變，分布式數(shù)據(jù)庫的地位愈加重要，必將成為未來大數(shù)據(jù)技術(shù)發(fā)展的核心。

采用云原生架構(gòu)，滴普科技構(gòu)建技術(shù)開源生態(tài)

作為大數(shù)據(jù)發(fā)展的核心技術(shù)，分布式數(shù)據(jù)庫主要解決分布式事務(wù)處理與查詢優(yōu)化智能數(shù)據(jù)分布技術(shù)、智能運(yùn)維調(diào)優(yōu)技術(shù)等?；诖?，吳小前和滴普科技研發(fā)團(tuán)隊(duì)，首次引入領(lǐng)先的MDS架構(gòu)，規(guī)劃并設(shè)計(jì)了國內(nèi)首個(gè)低成本、高性能、易使用的云原生數(shù)據(jù)智能平臺(tái)FastData，服務(wù)于企業(yè)建立流批一體和湖倉一體的新一代數(shù)據(jù)存儲(chǔ)計(jì)算平臺(tái)和數(shù)據(jù)科學(xué)分析平臺(tái)。

面對(duì)大規(guī)模的數(shù)據(jù)存儲(chǔ)，F(xiàn)astData采用存算分離架構(gòu)，彈性擴(kuò)展、高并發(fā)、低延時(shí)，支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，實(shí)現(xiàn)EB級(jí)的大規(guī)模存儲(chǔ)部署；并內(nèi)置包括S3/OSS/HDFS/OBS的多模態(tài)的存儲(chǔ)引擎與分級(jí)存儲(chǔ)，深度整合各類云數(shù)據(jù)存儲(chǔ)。

同時(shí)，滴普科技還引入Apache iceberg表存儲(chǔ)引擎，支持公有云和私有云部署、支持多級(jí)分區(qū)、動(dòng)態(tài)擴(kuò)容、彈性調(diào)度，以及并發(fā)控制的ACID事務(wù)，確保了多方并發(fā)讀寫數(shù)據(jù)的一致性。

在實(shí)際部署中，F(xiàn)astData則采用獨(dú)立的存儲(chǔ)和計(jì)算集群，能獨(dú)立擴(kuò)展支持更大的用戶并發(fā)和數(shù)據(jù)量，使得資源按需使用，進(jìn)一步降低成本。

目前，F(xiàn)astData 已經(jīng)賦能于先進(jìn)制造、生物醫(yī)藥、能源出行、政務(wù)雙碳、金融科技、消費(fèi)流通等領(lǐng)域，取得了一定的實(shí)踐成果。

以國內(nèi)某鞋服零售集團(tuán)為例，之前該集團(tuán)的數(shù)據(jù)分布在CDH/DB2/MySQL/Oracle等OLAP數(shù)據(jù)庫中，滴普科技為其完成核心大數(shù)據(jù)組件升級(jí)，從原來的 Hive、Spark、離線計(jì)算等技術(shù)，升級(jí)為 FastData-DLink、FastData-DCT、FastData-DataFacts，將原有7個(gè)數(shù)倉平臺(tái)整合形成湖倉一體實(shí)時(shí)架構(gòu)。統(tǒng)一數(shù)倉之后，實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)分析，節(jié)約了大量傳統(tǒng)數(shù)倉的技術(shù)運(yùn)維成本。

為了將創(chuàng)新技術(shù)賦能于更多業(yè)務(wù)場(chǎng)景，滴普科技致力于打造DEEPNOVA開發(fā)者社區(qū)，希望可以憑借其開放、共享等特性，在更短的時(shí)間內(nèi)快速完成產(chǎn)品迭代、生態(tài)構(gòu)建、品牌滲透，提高數(shù)據(jù)技術(shù)產(chǎn)品的創(chuàng)新效率。

未來，隨著企業(yè)數(shù)字化進(jìn)程的加速，不同的業(yè)務(wù)場(chǎng)景需要不同的數(shù)據(jù)模型、負(fù)載類型，滴普科技將繼續(xù)堅(jiān)持云中立理念，采用分布式架構(gòu)，并支持越來越多的新數(shù)據(jù)管理和數(shù)據(jù)處理服務(wù)場(chǎng)景，滿足當(dāng)前以及未來數(shù)字產(chǎn)業(yè)發(fā)展的需求，引領(lǐng)數(shù)據(jù)智能技術(shù)的革新發(fā)展。