在DT時(shí)代的今天，各行各業(yè)時(shí)時(shí)刻刻都在產(chǎn)生海量的結(jié)構(gòu)多樣的數(shù)據(jù)，企業(yè)數(shù)據(jù)規(guī)模不斷增長(zhǎng)，數(shù)據(jù)類型也變得復(fù)雜多樣，傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)已無(wú)法滿足企業(yè)海量多樣化數(shù)據(jù)的有效存儲(chǔ)、快速讀取以及分析挖掘的需求，急需一套專業(yè)化的大數(shù)據(jù)解決方案來(lái)點(diǎn)石成金，H3C DataEngine大數(shù)據(jù)平臺(tái)在此背景下應(yīng)運(yùn)而生。
   H3C DataEngine 3.0大數(shù)據(jù)平臺(tái)基于開(kāi)源Hadoop3.0而優(yōu)于開(kāi)源Hadoop，提供一套完整的數(shù)據(jù)實(shí)時(shí)采集、數(shù)據(jù)存儲(chǔ)、計(jì)算、分析、管理與開(kāi)發(fā)于一體的大數(shù)據(jù)平臺(tái)方案。相比開(kāi)源Hadoop 3.0平臺(tái)，DataEngine大數(shù)據(jù)平臺(tái)在安全性、易用性、穩(wěn)定性與兼容性等多方面，進(jìn)行內(nèi)核級(jí)優(yōu)化與外圍加固，為用戶提供更貼心、更適合的大數(shù)據(jù)平臺(tái)方案。H3C DataEngine大數(shù)據(jù)平臺(tái)與H3C CloudOS深度融合，以云操作系統(tǒng)作為基礎(chǔ)底座，形成獨(dú)立的數(shù)據(jù)平臺(tái)云服務(wù)，利用云提供靈活的基礎(chǔ)設(shè)施資源管理，提供海量數(shù)據(jù)存儲(chǔ)以及高性能的查詢分析處理能力，助力企業(yè)用戶快速構(gòu)建海量數(shù)據(jù)處理系統(tǒng)，分析挖掘數(shù)據(jù)內(nèi)在價(jià)值，并用于指導(dǎo)企業(yè)經(jīng)營(yíng)決策， 完成業(yè)務(wù)驅(qū)動(dòng)到數(shù)據(jù)驅(qū)動(dòng)的轉(zhuǎn)型。


系統(tǒng)架構(gòu)

   H3C DataEngine大數(shù)據(jù)平臺(tái),整合基礎(chǔ)資源服務(wù)（IaaS）、平臺(tái)服務(wù)（PaaS）、數(shù)據(jù)服務(wù)（DaaS）一站式數(shù)據(jù)解決方案，支持物理機(jī)與虛擬機(jī)多種資源服務(wù)模式，深度定制大數(shù)據(jù)生態(tài)系統(tǒng)，打通數(shù)據(jù)全鏈路開(kāi)發(fā)處理流程和數(shù)據(jù)全域管理能力，助力企業(yè)業(yè)務(wù)快速創(chuàng)新，完成ICT轉(zhuǎn)型。

數(shù)據(jù)源：大數(shù)據(jù)平臺(tái)可對(duì)接各種類型的數(shù)據(jù)源，結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)化數(shù)據(jù)，包括但不限于關(guān)系型數(shù)據(jù)庫(kù)、日志、流量、物聯(lián)網(wǎng)數(shù)據(jù)、圖片等。支持接收上一個(gè)數(shù)據(jù)處理組件或數(shù)據(jù)接入階段的數(shù)據(jù)。支持自定義的數(shù)據(jù)處理操作，并可向下一個(gè)數(shù)據(jù)處理組件發(fā)送數(shù)據(jù)；支持多元化數(shù)據(jù)處理方式，包括支持Java、Python、SQL等開(kāi)發(fā)語(yǔ)言。
資源服務(wù)層：DataEngine大數(shù)據(jù)平臺(tái)依托H3C CloudOS云基礎(chǔ)平臺(tái)，提供數(shù)據(jù)平臺(tái)運(yùn)行的服務(wù)支撐能力，包括控制臺(tái)管理框架、統(tǒng)一用戶組織管理、工單流程管理、組件監(jiān)控告警、日志管理以及微服務(wù)治理、資源池管理等。數(shù)據(jù)平臺(tái)服務(wù)支持部署在物理機(jī)、裸金屬服務(wù)器和虛擬機(jī)，用戶可以根據(jù)實(shí)際業(yè)務(wù)場(chǎng)景需求靈活選擇。
平臺(tái)服務(wù)層：提供豐富的大數(shù)據(jù)組件即服務(wù)，包括但不限于分布式文件系統(tǒng)、NoSQL數(shù)據(jù)庫(kù)服務(wù)、內(nèi)存數(shù)據(jù)庫(kù)服務(wù)、離線計(jì)算、流式計(jì)算、內(nèi)存計(jì)算等服務(wù)，并通過(guò)自研統(tǒng)一SQL服務(wù)，兼容標(biāo)準(zhǔn)SQL，對(duì)外提供統(tǒng)一的數(shù)據(jù)查詢、分析服務(wù)，提升平臺(tái)的整體易用性。
分布式文件系統(tǒng)支持查詢存儲(chǔ)容量、存儲(chǔ)使用量等信息；支持根據(jù)數(shù)據(jù)價(jià)值的高低和存儲(chǔ)周期的長(zhǎng)短，定義數(shù)據(jù)的物理存儲(chǔ)節(jié)點(diǎn)，提高集群資料使用效率。根據(jù)數(shù)據(jù)價(jià)值高可以存儲(chǔ)配置在SSD盤(pán)或者SATA盤(pán)的節(jié)點(diǎn)上，同時(shí)提供gzip、或lzc、或snappy、或其它存儲(chǔ)壓縮算法。
數(shù)據(jù)服務(wù)層：在數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)服務(wù)之上，還提供數(shù)據(jù)工廠、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)資產(chǎn)以及數(shù)據(jù)質(zhì)量等增值服務(wù)，形成統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，真正形成數(shù)據(jù)資產(chǎn)化，滿足上層應(yīng)用的數(shù)據(jù)要求。
   H3C DataEngine 大數(shù)據(jù)平臺(tái)產(chǎn)品包括以下關(guān)鍵特性：
多數(shù)據(jù)源的快速采集：數(shù)據(jù)集成服務(wù)通過(guò)簡(jiǎn)易的工作流管理界面，可輕松將存儲(chǔ)在文件、關(guān)系型數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)流（如設(shè)備syslog信息）等各類數(shù)據(jù)源中的海量結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)采集至大數(shù)據(jù)集群中。
海量數(shù)據(jù)的存儲(chǔ)：對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)提供低成本存儲(chǔ)，通過(guò)的Ensure Code技術(shù)實(shí)現(xiàn)數(shù)據(jù)低冗余、高容錯(cuò)，并通過(guò)集群高可用和多副本機(jī)制，避免單節(jié)點(diǎn)故障，保證節(jié)點(diǎn)損壞時(shí)數(shù)據(jù)不丟失。此外平臺(tái)還具有高可擴(kuò)展性，用戶可以增加集群節(jié)點(diǎn)數(shù)量，橫向擴(kuò)展數(shù)據(jù)存儲(chǔ)和計(jì)算能力。
   支持對(duì)集群內(nèi)服務(wù)器硬盤(pán)故障自動(dòng)容錯(cuò)處理，支持硬盤(pán)熱插拔，故障硬盤(pán)的業(yè)務(wù)恢復(fù)時(shí)間＜ 2分鐘。
元數(shù)據(jù)庫(kù)支持快速切換容災(zāi)，故障時(shí)可在1分鐘內(nèi)完成服務(wù)恢復(fù)。
多計(jì)算框架融合：融合了穩(wěn)定的離線計(jì)算MapReduce、高效的內(nèi)存計(jì)算Spark以及實(shí)時(shí)的流計(jì)算Flink等多種計(jì)算框架，為客戶提供靈活的計(jì)算支持能力，全面支持各類計(jì)算業(yè)務(wù)場(chǎng)景，客戶無(wú)需切換平臺(tái)或架構(gòu)即可完成復(fù)雜多變的計(jì)算任務(wù)。在各類計(jì)算框架之上H3C DataEngine通過(guò)自研的統(tǒng)一SQL引擎，高度兼容標(biāo)準(zhǔn)SQL，智能選擇計(jì)算引擎，極大降低使用復(fù)雜度，為上層應(yīng)用程序提供標(biāo)準(zhǔn)的JDBC/ODBC/REST接口、多種語(yǔ)言的編程API和DaaS接口，輔以BI展示和可視化工具，通過(guò)即時(shí)報(bào)表、直方圖、柱狀圖等方式直觀呈現(xiàn)數(shù)據(jù)價(jià)值。
可視化數(shù)據(jù)工廠：提供一站式數(shù)據(jù)接入、可視化的數(shù)據(jù)開(kāi)發(fā)，全托管的數(shù)據(jù)處理流程調(diào)度，實(shí)現(xiàn)一整套全生命周期數(shù)據(jù)開(kāi)發(fā)服務(wù)，適用于數(shù)據(jù)建倉(cāng)、數(shù)據(jù)分析與探索、業(yè)務(wù)報(bào)表生成、實(shí)時(shí)數(shù)據(jù)預(yù)警等業(yè)務(wù)場(chǎng)景。
豐富的行業(yè)應(yīng)用： H3C DataEngine大數(shù)據(jù)平臺(tái)經(jīng)過(guò)不斷的產(chǎn)品優(yōu)化和架構(gòu)演進(jìn)，已經(jīng)成功在、醫(yī)療、電力、稅務(wù)、高校等多個(gè)行業(yè)落地實(shí)施，配合行業(yè)的應(yīng)用服務(wù)開(kāi)發(fā)商為客戶提供豐富的大數(shù)據(jù)應(yīng)用。
容災(zāi)備份：可對(duì)關(guān)鍵組件元數(shù)據(jù)、文件、表進(jìn)行備份和恢復(fù)；數(shù)據(jù)備份和數(shù)據(jù)恢復(fù)，支持全量或增量備份。數(shù)據(jù)中心間的數(shù)據(jù)集群備份，滿足多中心之間的數(shù)據(jù)互備需求，備份過(guò)程可視化管理。
多租戶支持：通過(guò)對(duì)物理或虛擬資源的分配實(shí)現(xiàn)多個(gè)租戶以及他們的計(jì)算和數(shù)據(jù)彼此隔離和不可訪問(wèn)。
隔離管理：支持多租戶并行執(zhí)行，租戶任務(wù)提交到不同的隊(duì)列執(zhí)行，租戶間資源隔離。
權(quán)限管理：支持各業(yè)務(wù)組件的租戶統(tǒng)一管理，實(shí)現(xiàn)租戶資源的動(dòng)態(tài)配置和管理，資源隔離，資源使用統(tǒng)計(jì)等功能，支持多級(jí)租戶的管理功能。
調(diào)度管理：支持多集群和多資源池的多租戶調(diào)度。

產(chǎn)品特點(diǎn)

易用的平臺(tái)管理界面

   H3C DataEngine提供可視化的集群安裝部署界面，方便快捷的進(jìn)行資源管理，主機(jī)分配等操作， 支持組件服務(wù)一鍵安裝、升級(jí)和圖形化運(yùn)維，實(shí)時(shí)監(jiān)測(cè)各項(xiàng)服務(wù)的健康狀態(tài)以及運(yùn)行指標(biāo)，超過(guò)一定配置閾值后進(jìn)行告警并郵件通知管理員，大幅提升運(yùn)維效率。并可支持滾動(dòng)升級(jí)與補(bǔ)丁能力，業(yè)務(wù)不中斷，一次升級(jí)少量節(jié)點(diǎn)，循環(huán)滾動(dòng)，直至集群所有節(jié)點(diǎn)升級(jí)到新版本。支持集群內(nèi)某個(gè)業(yè)務(wù)節(jié)點(diǎn)故障時(shí)，不影響整體服務(wù)實(shí)例運(yùn)行，并提供集群的自適應(yīng)性負(fù)載能力，在高并發(fā)、高負(fù)載請(qǐng)求場(chǎng)景下無(wú)需調(diào)整集群參數(shù)保證業(yè)務(wù)運(yùn)行。

超大規(guī)模集群能力

   H3C DataEngine 大數(shù)據(jù)平臺(tái)深度優(yōu)化集群擴(kuò)展能力，支持5000+節(jié)點(diǎn)以上超大規(guī)模集群的實(shí)施能力，具備豐富的大規(guī)模集群調(diào)優(yōu)能力，從規(guī)劃部署策略，反復(fù)驗(yàn)證以最少的資源實(shí)現(xiàn)資源合理利用、優(yōu)化部署架構(gòu)，實(shí)現(xiàn)分片并行、增加本地化安裝源避免流量洪峰、修改單線操作，合理提高并行度，提升組件管理和業(yè)務(wù)性能、增加緩存機(jī)制，減少調(diào)度延遲，保障頁(yè)面響應(yīng)快速，數(shù)據(jù)更新及時(shí)、反復(fù)優(yōu)化組件資源參數(shù)和系統(tǒng)參數(shù)，提升大集群穩(wěn)定性。采用大二層扁平網(wǎng)絡(luò)部署，可支持交換機(jī)線性擴(kuò)展，支持負(fù)載分擔(dān)，采用業(yè)務(wù)平面管理平面隔離。平臺(tái)支持自主可控CPU架構(gòu)部署。

高效的工作流調(diào)度引擎

通用數(shù)據(jù)服務(wù)接口

安全的數(shù)據(jù)管控中心

   H3C DataEngine基于安全協(xié)議Kerberos實(shí)現(xiàn)安全認(rèn)證，使用LDAP作為賬戶管理系統(tǒng)；同時(shí)利用Range提供統(tǒng)一的用戶和角色的管理體系，遵從RBAC(Role-Based Access Control)模型規(guī)范，通過(guò)角色綁定用戶進(jìn)行權(quán)限管理。此外DataEngine還支持用戶對(duì)各組件的審計(jì)日志及檢索能力，自動(dòng)存儲(chǔ)到服務(wù)器的目錄下（或?qū)尤罩痉?wù)，并可通過(guò)日志服務(wù)下載日志），便于長(zhǎng)期存儲(chǔ)、管理審計(jì)日志信息。全組件管理界面均支持單點(diǎn)登錄。
   采用多節(jié)點(diǎn)集群架構(gòu)，平臺(tái)內(nèi)各組件管理節(jié)點(diǎn)需實(shí)現(xiàn)高可用機(jī)制，運(yùn)維管理節(jié)點(diǎn)故障不影響業(yè)務(wù)正常運(yùn)行。使得平臺(tái)真正做到安全可靠。

智能數(shù)據(jù)分析挖掘

多形態(tài)部署模式

云數(shù)平臺(tái)深度融合

可視化安裝運(yùn)維管理

一站式開(kāi)發(fā)服務(wù)數(shù)據(jù)工廠

   數(shù)據(jù)工廠覆蓋數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、分析、開(kāi)發(fā)、調(diào)度等環(huán)節(jié)的大數(shù)據(jù)全鏈路處理能力，降低用戶使用大數(shù)據(jù)的門(mén)檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理體系。
   文件管理為用戶提供可視化的HDFS操作能力，免去了用戶依靠終端輸入命令行的方式進(jìn)行HDFS操作，支持可視化上傳、下載、共享等操作。
   數(shù)據(jù)開(kāi)發(fā)以拖拽方式構(gòu)建任務(wù)流，按照時(shí)間和依賴關(guān)系的對(duì)進(jìn)行任務(wù)調(diào)度管理，支持對(duì)Shell，Java，MapReduce，Spark，HDFS，Hive，SparkSQL等任務(wù)調(diào)度與編排。
   資源空間管理提供開(kāi)發(fā)依賴jar包，tar包，文件等資源的管理，支持在線分組分類，增刪改等操作。
   連接管理支持SSH協(xié)議主機(jī)連接和關(guān)系型數(shù)據(jù)庫(kù)、大數(shù)據(jù)存儲(chǔ)、消息隊(duì)列以及其他類型（FTP）數(shù)據(jù)源連接。

多樣化分布式計(jì)算框架

全面的全文檢索數(shù)據(jù)庫(kù)

自研統(tǒng)一SQL引擎

豐富的大數(shù)據(jù)服務(wù)組件

云化大數(shù)據(jù)服務(wù)

安全認(rèn)證和權(quán)限管理

   為保障用戶的數(shù)據(jù)信息安全，DataEngine集成了用戶身份認(rèn)證和權(quán)限管理功能，在創(chuàng)建大數(shù)據(jù)集群時(shí)根據(jù)實(shí)際需求進(jìn)行啟用安全管理即可。
   開(kāi)啟安全管理的集群統(tǒng)一使用Kerberos認(rèn)證協(xié)議進(jìn)行安全認(rèn)證，kerberos認(rèn)證支持密碼認(rèn)證和keytab認(rèn)證兩種模式，集群管理員可在用戶管理模塊為集群使用者分配用戶和設(shè)置認(rèn)證密碼，避免外部用戶登錄集群，提高集群安全性。
   由于集群每個(gè)特定用戶可能擁有集群資源的不同訪問(wèn)和使用權(quán)限，支持按照用戶需要對(duì)數(shù)據(jù)進(jìn)行加密。支持對(duì)所有數(shù)據(jù)進(jìn)行加密或部分關(guān)鍵數(shù)據(jù)進(jìn)行加密。支持SHA256、AES128等方式的數(shù)據(jù)加密。為保護(hù)不同業(yè)務(wù)數(shù)據(jù)的信息安全，安全集群利用Ranger進(jìn)行鑒權(quán)，確保認(rèn)證用戶擁有集群資源的訪問(wèn)權(quán)限。如果用戶權(quán)限不足，需要管理員為用戶授予對(duì)應(yīng)資源的權(quán)限后才能進(jìn)行訪問(wèn)。
   支持?jǐn)?shù)據(jù)訪問(wèn)權(quán)限管理，包括登錄權(quán)限、創(chuàng)建表權(quán)限、讀寫(xiě)權(quán)限、白名單控制權(quán)限等；支持管理權(quán)限控制，包括管理員分級(jí)等；提供集中統(tǒng)一的用戶權(quán)限管理功能，將系統(tǒng)中各組件零散的權(quán)限管理功能集中呈現(xiàn)和管理，對(duì)普通用戶屏蔽掉內(nèi)部的權(quán)限管理細(xì)節(jié)，對(duì)管理員簡(jiǎn)化權(quán)限管理的操作方法，提升權(quán)限管理的易用性和用戶體驗(yàn)。
   提供權(quán)限管理和細(xì)粒度用戶操作審計(jì)；具備完善的權(quán)限認(rèn)證與隔離機(jī)制，保障用戶數(shù)據(jù)的性；支持通過(guò)多租戶模式實(shí)現(xiàn)資源隔離。