金蝶管易云作為國內(nèi)頭部的電商ERP，一直保持著和電商平臺的密切合作，致力于讓最成熟高效的技術成為提高客戶生產(chǎn)力的能量源泉，目前，管易云底層的數(shù)據(jù)庫已升級成實時數(shù)倉技術DataWorks+Hologres+Flink，海量數(shù)據(jù)也可以做到穩(wěn)定可靠和秒級響應，讓訂單處理更加絲滑高效、讓數(shù)據(jù)分析更加實時智能、讓外部系統(tǒng)對接更加通暢穩(wěn)定。

管易云ERP系統(tǒng)的業(yè)務架構中，主要的業(yè)務流程包括：電商平臺對接（數(shù)據(jù)下載、存儲），基礎數(shù)據(jù)量龐大；訂單處理流程（數(shù)據(jù)的審核、打印、配貨、發(fā)貨），數(shù)據(jù)的調(diào)用頻率極高；報表分析匯總（商品、庫存、訂單、利潤等數(shù)據(jù)的分析匯總），數(shù)據(jù)的分析、計算能力都會面臨極大的挑戰(zhàn)；集成網(wǎng)關（奇門、API等接口數(shù)據(jù)處理），數(shù)據(jù)能夠進行精準的接口轉(zhuǎn)化處理；三方系統(tǒng)數(shù)據(jù)互通（金蝶、用友等財務系統(tǒng)、快遞系統(tǒng)等），三方數(shù)據(jù)互通極其容易造成數(shù)據(jù)漏抓取等問題。對于電商行業(yè)的客戶來說，數(shù)據(jù)的準確性和處理的高效性都是非常重要的，尤其是現(xiàn)在整個電商行業(yè)已經(jīng)進入業(yè)財稅時代，任何一筆訂單的數(shù)據(jù)錯誤、遺漏都會導致整個業(yè)財相關的部門花費大量的人力去復查。

由上圖可看出，管易云業(yè)務中需要數(shù)據(jù)的高效率分析、存儲和分析。原先底層架構使用的是RDS for MySQL和PolarDB for MySQL，PolarDB 主要是用于存儲交易類的數(shù)據(jù)分析，如訂單、會員、商品等分析；RDS 主要用于存儲讀寫相對不是很頻繁的數(shù)據(jù)，如：采購、調(diào)撥、調(diào)整、盤點等。但由于存量數(shù)據(jù)的不斷增長，這套技術方案面臨著很大挑戰(zhàn)，主要包括：

1、因為業(yè)務在增長，數(shù)據(jù)量也面臨著極速的增長，但是查詢效率卻越來越慢，無法快速滿足業(yè)務實時取數(shù)的需求，影響業(yè)務決策。

2、由于數(shù)據(jù)量龐大，即使是簡單的數(shù)據(jù)庫DDL操作都需要花費相當長的時間周期，這對管易和產(chǎn)研團隊來說都成了急需攻破的難關。

3、運維麻煩，業(yè)務穩(wěn)定性也帶來了極大的挑戰(zhàn)。

因此，管易云考慮采用更先進的技術來實現(xiàn)對海量數(shù)據(jù)的實時寫入、更新和實時查詢的方案。

為了解決這些挑戰(zhàn)，管易的技術團隊一直在積極評估和探索新的技術方案，包括阿里云XDB、TiDB、Hadoop等。然而，在探索的過程中，也并非一帆風順。一方面，試錯的成本過高，每次調(diào)整，都可能會對業(yè)務穩(wěn)定性和客戶使用體驗造成沖擊。另一方面，現(xiàn)存相關案例中也缺乏電商領域特性的示例，如海量數(shù)據(jù)處理、高并發(fā)和實時更新等。在經(jīng)過一番艱難的探索后，一次偶然的機會，管易看到了一個物流行業(yè)的案例分享，案例中使用了實時數(shù)倉Flink+Hologres來支撐物流訂單的實時查詢和實時監(jiān)控等。盡管物流行業(yè)與電商有相當大的區(qū)別，但物流作為電商領域中的重要一環(huán)，其技術特性與電商領域還是有很多相似之處。因此，管易選擇了阿里云Hologres作為解決方案。

為了確保Hologres技術方案的可行性，管易內(nèi)部多次拉通多個業(yè)務部門參與研討，以確定具體的應用場景，這樣做的目的是避免因數(shù)據(jù)庫切換而對用戶體驗造成影響。經(jīng)過多次討論后，最終決定以報表查詢場景作為驗證方案開始執(zhí)行。

選擇報表查詢場景是因為目前管易的報表存量數(shù)據(jù)巨大（約有上百TB），查詢場景非常復雜，客戶查詢幾十萬數(shù)據(jù)的響應往往要30秒以上，但該報表查詢對客戶使用來說又是使用非常頻繁，如：客戶的運營人員需要時時查詢某產(chǎn)品一定時間范圍內(nèi)的銷量以制定促銷計劃；客戶的財務人員需隨時查詢各類訂單、產(chǎn)品的銷量、利潤從而制定采購計劃等等，而這些查詢操作所產(chǎn)生的數(shù)據(jù)檢索都是相當大的，查詢速度過慢對于客戶來說體驗會相當差。

下圖確定驗證方案后，報表場景基于Hologres+Flink的數(shù)據(jù)流轉(zhuǎn)圖：

1、數(shù)據(jù)源存儲在RDS中，包括訂單、庫存、商品等數(shù)據(jù)。

2、通過DataWorks數(shù)據(jù)集成的整庫同步將RDS的數(shù)據(jù)同步到Hologres，包括全量數(shù)據(jù)離線同步、增量數(shù)據(jù)實時同步以及分庫分表合并成一張Hologres表等。

3、然后在Hologres中進行數(shù)倉分層，ODS-DWD-DWS，大多數(shù)是通過DataWorks的分鐘級調(diào)度來做，然后在Hologres提供近實時查詢。但有些場景對數(shù)據(jù)的實時性要求非常高，比如實時物流跟蹤，因此用Flink讀取Hologres Binlog進行數(shù)據(jù)處理，然后再寫入Hologres的方案，使得數(shù)據(jù)能夠?qū)崟r寫入實時查詢，滿足部分業(yè)務的實時查詢。

4、由Hologres提供統(tǒng)一的對外查詢應用，包括實時物流跟蹤、數(shù)據(jù)參謀、實時大屏、運營分析等，這樣不用把數(shù)據(jù)再寫一份到MySQL提供線上服務，減少開發(fā)操作。

為了將現(xiàn)有的報表數(shù)據(jù)整合到Hologres中，管易安排了4名開發(fā)人員（包括DBA和開發(fā)），共計投入了3個月的時間完成了從RDS到Hologres的報表數(shù)據(jù)遷移工作。在完成了數(shù)據(jù)和任務遷移之后，開始了逐步使用Hologres提供業(yè)務查詢，直到后面完全上生產(chǎn)。上完生產(chǎn)之后，發(fā)現(xiàn)帶來的好處有幾個方面：

1、延遲降低到秒級：之前通過MySQL的查詢至少是30s+，現(xiàn)在新系統(tǒng)的查詢基本都在10s內(nèi)，報表查詢的整體響應速度都有了質(zhì)的飛躍，同時，在物流管家模塊中，借助Hologres強大的實時分析聚合能力，成功解決了之前客戶普遍反映的數(shù)據(jù)統(tǒng)計延遲問題。

2、業(yè)務更加敏捷：現(xiàn)在新架構的主要產(chǎn)品就是DataWorks+Flink+Hologres，由Hologres提供統(tǒng)一的查詢應用，架構變得更加精簡，對于業(yè)務的一些臨時需求也能做到更快的響應，同時開發(fā)和運維也變得更加敏捷，減少了很多不必要的操作，報表查詢的穩(wěn)定性也得到提升。

鑒于Flink+Hologres+DataWorks這套新的架構在管易報表場景的有效驗證，后續(xù)也將會持續(xù)基于這套架構做更多的業(yè)務場景探索，搭建更大規(guī)模的數(shù)據(jù)中心平臺，通過整合和管理海量數(shù)據(jù)，提供更高效、可靠的數(shù)據(jù)服務，實現(xiàn)銷售渠道、業(yè)務中臺以及財務系統(tǒng)的全面關聯(lián)，打造一個更加智能的ERP平臺，讓數(shù)據(jù)賦能業(yè)務價值。