順豐科技林國(guó)強(qiáng):Sora在物流領(lǐng)域暫時(shí)不會(huì)有太大作用
3月6日消息,在InfoQ《超級(jí)連麥.數(shù)智大腦》2024年度首期直播中,順豐科技大數(shù)據(jù)總監(jiān)林國(guó)強(qiáng)對(duì)“1+1+n+x”的框架和機(jī)制進(jìn)行了介紹,并且分享了順豐內(nèi)部如何從戰(zhàn)略、組織、目標(biāo)、成果量化等維度入手嚴(yán)格執(zhí)行數(shù)據(jù)中臺(tái)戰(zhàn)略,使得涉及多環(huán)節(jié)、復(fù)雜流程的物流供應(yīng)鏈場(chǎng)景數(shù)據(jù)的標(biāo)準(zhǔn)得以統(tǒng)一,并確保數(shù)據(jù)質(zhì)量滿足業(yè)務(wù)需求,幫助順豐提升流轉(zhuǎn)效率。
在節(jié)目中,談及Sora時(shí),林國(guó)強(qiáng)認(rèn)為Sora對(duì)物理原理和因果關(guān)系的認(rèn)知相對(duì)較弱。目前來(lái)看,Sora可能對(duì)廣告媒體和游戲設(shè)計(jì)行業(yè)的影響會(huì)比較大,但是由于未能完善因果關(guān)系和時(shí)空關(guān)系,因此在物流領(lǐng)域可能暫時(shí)不會(huì)有太大作用。
據(jù)介紹,林國(guó)強(qiáng),現(xiàn)任順豐科技大數(shù)據(jù)總監(jiān)。負(fù)責(zé)順豐集團(tuán)大數(shù)據(jù)及區(qū)塊鏈科技融通、產(chǎn)業(yè)化賦能和生態(tài)建設(shè)。對(duì)供應(yīng)鏈科技、產(chǎn)教融合、城市物流及快消零售行業(yè)有深入研究和實(shí)踐,理解行業(yè)痛點(diǎn)和科技創(chuàng)新的鏈接點(diǎn),在行業(yè)中落地過(guò)多個(gè)頭部客戶數(shù)字化轉(zhuǎn)型案例,助力客戶實(shí)現(xiàn)主營(yíng)業(yè)務(wù)增收、供應(yīng)鏈成本優(yōu)化和管理數(shù)字化。
順豐科技大數(shù)據(jù)總監(jiān)林國(guó)強(qiáng) 圖源:InfoQ數(shù)字化經(jīng)緯
以下為對(duì)話內(nèi)容:
InfoQ:物流和供應(yīng)鏈行業(yè)的核心業(yè)務(wù)目標(biāo)之一就是把具體的任務(wù)和資源做匹配,盡可能提升流轉(zhuǎn)的效率。我們看到,過(guò)去順豐基于大數(shù)據(jù)、機(jī)器學(xué)習(xí)、運(yùn)籌優(yōu)化等技術(shù)打造了智能化的決策體系,是否可以請(qǐng)您先大致介紹一下這套體系的運(yùn)轉(zhuǎn)機(jī)制?
林國(guó)強(qiáng):數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)需要一套完整的框架和機(jī)制來(lái)維持運(yùn)作,涉及的技術(shù)包括大數(shù)據(jù)、機(jī)器學(xué)習(xí)、運(yùn)籌算法和人工智能等。
順豐內(nèi)部將這套架構(gòu)稱為“1+1+n+x”。順豐通過(guò)“1+1+n+x”的方式,確保數(shù)字化數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的整體運(yùn)作。
第一個(gè)“1”是指大數(shù)據(jù)底盤(pán),包括數(shù)據(jù)相關(guān)開(kāi)發(fā)工具,從采集到接入、到資產(chǎn)到質(zhì)量到服務(wù)全流程的工具,確保數(shù)據(jù)能夠順利、簡(jiǎn)單地進(jìn)入平臺(tái)。
第二個(gè)“1”是指數(shù)據(jù)治理體系,包括立法、司法、執(zhí)法、主數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)倉(cāng)標(biāo)準(zhǔn)等,確保數(shù)據(jù)質(zhì)量滿足業(yè)務(wù)需求。
“n”是指n個(gè)業(yè)務(wù)場(chǎng)景,包括運(yùn)營(yíng)、財(cái)務(wù)、市場(chǎng)等各個(gè)業(yè)務(wù)線,例如需求預(yù)測(cè)、業(yè)財(cái)一體、潛客挖掘等。
“x”是指順豐的智慧供應(yīng)鏈戰(zhàn)略,圍繞消費(fèi)供應(yīng)鏈、生產(chǎn)供應(yīng)鏈、制造供應(yīng)鏈等打造智慧供應(yīng)鏈模型能力,例如倉(cāng)網(wǎng)規(guī)劃、路徑規(guī)劃、裝箱規(guī)劃、智能調(diào)度等。
InfoQ:去年順豐發(fā)布了首個(gè)在物流領(lǐng)域大規(guī)模應(yīng)用的數(shù)字孿生實(shí)踐,目前具體在哪些業(yè)務(wù)場(chǎng)景落地?具體帶來(lái)了哪些商業(yè)增長(zhǎng)或者降本增效的成果?
林國(guó)強(qiáng):數(shù)字孿生的本質(zhì)是對(duì)現(xiàn)實(shí)世界的虛擬化,以1:1的比例還原,讓我們?cè)谔摂M世界中進(jìn)行試錯(cuò)和驗(yàn)證,以更高效的方式找到最佳解決方案。這一技術(shù)在各行各業(yè)都有廣泛應(yīng)用,對(duì)于順豐來(lái)說(shuō),主要利用數(shù)字孿生技術(shù)在點(diǎn)和面兩個(gè)方面進(jìn)行驗(yàn):
在“點(diǎn)”方面,順豐對(duì)中轉(zhuǎn)場(chǎng)進(jìn)行建模,包括人員、設(shè)備、貨物流程等,以驗(yàn)證整個(gè)分揀計(jì)劃和資源調(diào)度計(jì)劃的效率。通過(guò)這一技術(shù),順豐能夠大大提高風(fēng)險(xiǎn)計(jì)劃的驗(yàn)證效率,例如一天內(nèi)能驗(yàn)證超千次班次,比以往驗(yàn)證的效率高很多。此外,當(dāng)順豐需要關(guān)停某條分揀線或減少人員時(shí),該技術(shù)也能快速驗(yàn)證這些變化對(duì)整體分揀吞吐的影響,從而做出更優(yōu)化的決策。
在“面”方面,順豐計(jì)劃對(duì)站點(diǎn)、中轉(zhuǎn)場(chǎng)、道路、航線、車輛和人員進(jìn)行整體建模,形成整個(gè)數(shù)字孿生的物流網(wǎng)絡(luò)。這將有助于順豐進(jìn)行全網(wǎng)的暢網(wǎng)規(guī)劃和局部最優(yōu)調(diào)度,提高整體物流效率。經(jīng)過(guò)驗(yàn)證,這一技術(shù)可以幫助順豐節(jié)省城市運(yùn)營(yíng)線路,已經(jīng)在內(nèi)部得到推廣應(yīng)用。
InfoQ:另外一個(gè)關(guān)鍵問(wèn)題是,很多企業(yè)普遍認(rèn)為數(shù)字孿生技術(shù)的成本投入較大,因此存在投入產(chǎn)出的考量。順豐在這方面是如何考慮的?
林國(guó)強(qiáng):數(shù)字孿生的投入需要考慮場(chǎng)景本身的收益。投入不是問(wèn)題,關(guān)鍵在于投入后是否能覆蓋前期投入成本。對(duì)于我們來(lái)說(shuō),收益遠(yuǎn)遠(yuǎn)高于投入。
InfoQ:談到技術(shù)熱點(diǎn)和戰(zhàn)略投入,我相信很多人最近都關(guān)注到了Sora。林老師您對(duì)Sora的出現(xiàn)抱有什么樣的看法?在物流場(chǎng)景下,文生視頻技術(shù)可能有什么應(yīng)用?
林國(guó)強(qiáng):我主要基于自己的感受簡(jiǎn)單談?wù)劇?/p>
Sora本身非常驚艷,這點(diǎn)是無(wú)可否認(rèn)的。首先是它的輸出時(shí)長(zhǎng),可以達(dá)到60秒以上。這比目前最長(zhǎng)輸出時(shí)長(zhǎng)的Runway的16秒要長(zhǎng)得多。60秒意味著什么呢?就是在像抖音這樣的視頻平臺(tái)中,視頻最低要求是60秒,這意味著你可以用Sora做中視頻計(jì)劃并獲得收益。其次是它的畫(huà)面質(zhì)量,包括分辨率等都非常好。例如,在視頻中一些毛發(fā)、水波紋和紋理等都做得非常細(xì)致。在我看來(lái),目前來(lái)看,Sora在這兩個(gè)方面做得比較出色。
但Sora自身也存在一些不盡如人意的地方。例如,Sora本身對(duì)因果關(guān)系和物理原理的認(rèn)知比較弱。我記得很清楚,有一個(gè)文本叫做“老奶奶吹蠟燭火苗”,但是在Sora生成的視頻里,老奶奶吹的蠟燭火苗卻是靜止的。因此,它對(duì)物理原理和因果關(guān)系的認(rèn)知相對(duì)較弱。目前來(lái)看,它可能對(duì)廣告媒體和游戲設(shè)計(jì)行業(yè)的影響會(huì)比較大,但是由于未能完善因果關(guān)系和時(shí)空關(guān)系,因此在物流領(lǐng)域可能暫時(shí)不會(huì)有太大作用。
InfoQ:無(wú)論是智能決策體系還是數(shù)字孿生實(shí)踐,數(shù)據(jù)在其中都發(fā)揮著關(guān)鍵作用,在推動(dòng)這些技術(shù)創(chuàng)新的同時(shí),針對(duì)數(shù)據(jù),順豐內(nèi)部制定了什么樣的策略和目標(biāo)?
林國(guó)強(qiáng):我們?cè)趦?nèi)部嚴(yán)格執(zhí)行數(shù)據(jù)中臺(tái)戰(zhàn)略。這一戰(zhàn)略從建立數(shù)據(jù)委員會(huì)到構(gòu)建數(shù)據(jù)治理體系,包括主數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量和數(shù)據(jù)倉(cāng)庫(kù)標(biāo)準(zhǔn)等方面都有著嚴(yán)格的制定和執(zhí)行。我們制定了數(shù)據(jù)質(zhì)量劃分策略,確定了數(shù)據(jù)質(zhì)量的責(zé)任人和具體執(zhí)行流程,這些都是為了確保數(shù)據(jù)質(zhì)量。
InfoQ:物流場(chǎng)景中包含收、轉(zhuǎn)、運(yùn)、派等各個(gè)不同環(huán)節(jié),涉及角色和節(jié)點(diǎn)眾多,順豐是如何統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)的?又是如何確保這些標(biāo)準(zhǔn)順利落實(shí)的?
林國(guó)強(qiáng):事實(shí)上,數(shù)據(jù)標(biāo)準(zhǔn)的落地在整個(gè)數(shù)據(jù)中臺(tái)戰(zhàn)略中是至關(guān)重要的核心部分。我們將其分為三個(gè)方面。
首先是定戰(zhàn)略,因?yàn)閷?duì)于像順豐這樣涉及上千個(gè)業(yè)務(wù)系統(tǒng)和數(shù)百個(gè)BU的公司來(lái)說(shuō),要讓各組織達(dá)成一致,數(shù)據(jù)中臺(tái)對(duì)于集團(tuán)的重要性不言而喻,需要明確戰(zhàn)略的指引。在這一點(diǎn)上,我們需要將其提升至戰(zhàn)略層面,企業(yè)高層必須站出來(lái),對(duì)此負(fù)責(zé)并明確其意義。我們當(dāng)時(shí)定位整個(gè)數(shù)據(jù)中臺(tái)戰(zhàn)略的意義是高效連接數(shù)據(jù)的供給側(cè)和消費(fèi)側(cè),持續(xù)沉淀數(shù)據(jù)公共能力,實(shí)現(xiàn)數(shù)據(jù)按需安全共享,以助力集團(tuán)的經(jīng)營(yíng)增長(zhǎng)、客戶體驗(yàn)和風(fēng)險(xiǎn)控制。這一定義由公司高層出面背書(shū),以確保各組織對(duì)此有相同認(rèn)知。
其次是定組織。因?yàn)檫@是一項(xiàng)龐大的工程,不能單靠公司內(nèi)的某個(gè)IT部門(mén)或大數(shù)據(jù)中心來(lái)實(shí)現(xiàn)。我們需要各業(yè)務(wù)線和職能線共同參與,這就需要成立我們所謂的數(shù)據(jù)委員會(huì),包括立法、司法和執(zhí)法這三個(gè)關(guān)鍵角色。立法更多地是制定大框架的規(guī)則,而司法則由信息安全部門(mén)和數(shù)據(jù)架構(gòu)師來(lái)執(zhí)行監(jiān)管角色。執(zhí)法包括數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)、數(shù)據(jù)質(zhì)量團(tuán)隊(duì)和數(shù)據(jù)服務(wù)團(tuán)隊(duì),以確保整個(gè)數(shù)據(jù)治理的執(zhí)行。這三個(gè)角色確保了整個(gè)運(yùn)作機(jī)制的正常運(yùn)轉(zhuǎn)。我們還建立了相關(guān)的數(shù)據(jù)質(zhì)量臺(tái)賬,定期公示數(shù)據(jù)質(zhì)量,以確保各業(yè)務(wù)線能夠配合執(zhí)行。
第三個(gè)是定目標(biāo)。我們要明確告訴大家建立數(shù)據(jù)中臺(tái)或進(jìn)行數(shù)據(jù)治理的目標(biāo)絕不是簡(jiǎn)單地為了數(shù)據(jù)標(biāo)準(zhǔn)化。因?yàn)檫@個(gè)過(guò)程是一個(gè)持續(xù)的事業(yè),如果我們只是匯報(bào)數(shù)據(jù)標(biāo)準(zhǔn)化的結(jié)果,這遠(yuǎn)遠(yuǎn)不能滿足公司的期望。因此,確定目標(biāo)非常重要。目標(biāo)的意義在于將數(shù)據(jù)標(biāo)準(zhǔn)化過(guò)程、中臺(tái)戰(zhàn)略與公司業(yè)務(wù)增長(zhǎng)、成本降低和效率提升的關(guān)鍵指標(biāo)或事項(xiàng)相互關(guān)聯(lián),形成合力,推動(dòng)整個(gè)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的主線。
最終的成果要有量化的結(jié)果,無(wú)論是成本降低、商業(yè)增長(zhǎng)還是其他方面的,都要向企業(yè)高層匯報(bào)。這就是定目標(biāo)的意義。如果我們的定戰(zhàn)略、定組織和定目標(biāo)能夠清晰、妥當(dāng)、扎實(shí)地落實(shí),相信我們的數(shù)據(jù)治理或數(shù)據(jù)標(biāo)準(zhǔn)的工作已經(jīng)成功了大半。
InfoQ:具體來(lái)說(shuō),順豐的原始數(shù)據(jù)清洗怎么做的?
林國(guó)強(qiáng):原始數(shù)據(jù)清洗的流程通常是這樣的,首先,我們將原始數(shù)據(jù)統(tǒng)一收集到ODS層,即數(shù)據(jù)庫(kù)的“貼源層”。然后,從貼源層到DWD層(明細(xì)層),我們會(huì)基于相關(guān)的主數(shù)據(jù)和前面提到的數(shù)據(jù)入湖標(biāo)準(zhǔn)進(jìn)行清洗和轉(zhuǎn)換操作。
因此,原始數(shù)據(jù)并不意味著它沒(méi)有用處。因?yàn)楫?dāng)某個(gè)數(shù)據(jù)質(zhì)量出現(xiàn)問(wèn)題時(shí),或者末端應(yīng)用出現(xiàn)問(wèn)題時(shí),我們可以通過(guò)數(shù)據(jù)血緣找到問(wèn)題的根源,而不是將整個(gè)轉(zhuǎn)化和清洗過(guò)程放在數(shù)據(jù)湖之外。我們將其放置在數(shù)據(jù)湖中,這樣在追溯時(shí)整個(gè)鏈路就會(huì)非常清晰。發(fā)現(xiàn)“臟數(shù)據(jù)”后可以讓業(yè)務(wù)部門(mén)按照之前定義的數(shù)據(jù)質(zhì)量規(guī)則盡快處理,并且關(guān)聯(lián)相關(guān)的主數(shù)據(jù)。我們對(duì)元數(shù)據(jù)定義有一些要求,例如,在數(shù)據(jù)的流轉(zhuǎn)過(guò)程中,身份證號(hào)碼或手機(jī)號(hào)碼的數(shù)字和英文字符需要在從ODS到DWD的過(guò)程中進(jìn)行處理。
InfoQ:順豐有上千個(gè)業(yè)務(wù),而且這些系統(tǒng)的建設(shè)年代也不同。每個(gè)系統(tǒng)都有自己的定義,比如某些系統(tǒng)可能有自己的主數(shù)據(jù),那么順豐是如何進(jìn)行治理而不影響原有的業(yè)務(wù)系統(tǒng)呢?
林國(guó)強(qiáng):這個(gè)問(wèn)題我們經(jīng)常會(huì)遇到,特別是在主數(shù)據(jù)管理方面。有些老系統(tǒng)可能沒(méi)有主數(shù)據(jù)的概念,而一些新老系統(tǒng)對(duì)主數(shù)據(jù)的定義也不一致。另外,當(dāng)一些老系統(tǒng)更新數(shù)據(jù)庫(kù)時(shí),也會(huì)對(duì)我們后端主數(shù)據(jù)的治理造成一定影響。
解決這個(gè)問(wèn)題的關(guān)鍵在于兩點(diǎn):
首先,要根據(jù)數(shù)據(jù)規(guī)模,在數(shù)據(jù)湖中盡可能細(xì)分分區(qū)。比如,可以將數(shù)據(jù)按小時(shí)或者按天進(jìn)行分區(qū),這樣當(dāng)我們發(fā)現(xiàn)后端質(zhì)量出現(xiàn)問(wèn)題時(shí),可以及時(shí)進(jìn)行整改,減少需要重新刷數(shù)據(jù)的量。
其次,我們引入了一些工具化的強(qiáng)制檢測(cè)機(jī)制,以確保數(shù)據(jù)的干凈度。不是所有數(shù)據(jù)都能夠直接入湖,而是經(jīng)過(guò)前置的主數(shù)據(jù)標(biāo)準(zhǔn)檢測(cè)。雖然在引入這些檢測(cè)機(jī)制的初期可能會(huì)遇到一些問(wèn)題,比如出錯(cuò)或者受到阻礙,需要做一些整改。但是一旦這些機(jī)制建立起來(lái),對(duì)于數(shù)據(jù)湖的整體健康度會(huì)有很大幫助,可以預(yù)防和減少后續(xù)的數(shù)據(jù)質(zhì)量問(wèn)題,這是事后和事前兩方面的建議。
InfoQ:為何順豐的某些系統(tǒng)數(shù)據(jù)不先進(jìn)入數(shù)據(jù)湖,而是直接與主數(shù)據(jù)平臺(tái)進(jìn)行實(shí)時(shí)交互?
林國(guó)強(qiáng):這個(gè)涉及數(shù)據(jù)鏈路的問(wèn)題。實(shí)際上,數(shù)據(jù)鏈路不僅包括離線鏈路,還涵蓋了實(shí)時(shí)鏈路。在某些場(chǎng)景中,數(shù)據(jù)在前端就已經(jīng)進(jìn)行了初步處理,再進(jìn)入后續(xù)流程。這并不意味著所有數(shù)據(jù)都必須先經(jīng)過(guò)某個(gè)特定環(huán)節(jié)。例如,數(shù)據(jù)在進(jìn)入Kafka時(shí)可能已經(jīng)完成了主數(shù)據(jù)處理。
這與各業(yè)務(wù)線的歷史和發(fā)展密切相關(guān)。每個(gè)公司的數(shù)據(jù)架構(gòu)都有所不同。有些公司可能相對(duì)簡(jiǎn)單,業(yè)務(wù)系統(tǒng)只有幾十套,且公司成立時(shí)間不長(zhǎng),歷史負(fù)擔(dān)不重,因此數(shù)據(jù)架構(gòu)相對(duì)清晰。然而,對(duì)于大多數(shù)5年以上的公司來(lái)說(shuō),由于業(yè)務(wù)發(fā)展和技術(shù)積累,數(shù)據(jù)架構(gòu)通常較為復(fù)雜,涉及各種情況和處理流程。
InfoQ:事實(shí)上,無(wú)論是在系統(tǒng)建設(shè)還是任何技術(shù)應(yīng)用的前期都會(huì)遇到內(nèi)部阻礙,在這方面順豐有什么經(jīng)驗(yàn),如何縮短這個(gè)過(guò)渡期?
林國(guó)強(qiáng):為了解決這個(gè)問(wèn)題,我認(rèn)為關(guān)鍵是要找到一種方法,使得業(yè)務(wù)部門(mén)的利益與數(shù)據(jù)整合的目標(biāo)相趨同。換句話說(shuō),我們需要明確業(yè)務(wù)部門(mén)通過(guò)參與數(shù)據(jù)整合可以獲得哪些實(shí)際利益。例如,如果能夠幫助市場(chǎng)團(tuán)隊(duì)收集更完整、更準(zhǔn)確的客戶數(shù)據(jù),這將如何促進(jìn)他們的工作?我們能否提供一些具體的案例或方法論,說(shuō)明通過(guò)數(shù)據(jù)整合,市場(chǎng)部門(mén)可以實(shí)現(xiàn)潛在客戶挖掘、新客戶增長(zhǎng)等方面的提升?為了實(shí)現(xiàn)這一目標(biāo),技術(shù)團(tuán)隊(duì)需要與業(yè)務(wù)團(tuán)隊(duì)緊密合作,共同制定解決方案。業(yè)務(wù)團(tuán)隊(duì)中的成員需要積極參與,提供他們的見(jiàn)解和經(jīng)驗(yàn),以確保數(shù)據(jù)整合工作能夠真正滿足業(yè)務(wù)需求。
通過(guò)強(qiáng)制手段雖然短期內(nèi)可能取得一定的效果,但從長(zhǎng)遠(yuǎn)來(lái)看,這并不是一個(gè)可持續(xù)的解決方案。真正的關(guān)鍵在于如何確保業(yè)務(wù)部門(mén)與數(shù)據(jù)部門(mén)在業(yè)務(wù)目標(biāo)和利益上實(shí)現(xiàn)真正的協(xié)同。這需要我們不斷探索和實(shí)踐,找到最適合自己企業(yè)的方法。
InfoQ:在談到制定戰(zhàn)略時(shí),您提到了一個(gè)關(guān)鍵點(diǎn),那就是數(shù)據(jù)可以按需安全共享,這并不是一件簡(jiǎn)單的工作。對(duì)于數(shù)據(jù)部門(mén)的人員來(lái)說(shuō),業(yè)務(wù)部門(mén)提出的需求可能會(huì)非常頻繁和繁瑣;而對(duì)于業(yè)務(wù)部門(mén)的人來(lái)說(shuō),有時(shí)他們可能會(huì)感覺(jué)數(shù)據(jù)部門(mén)的響應(yīng)效率不高。那么在順豐,我們是如何實(shí)現(xiàn)按需共享的呢?這就需要具備哪些前提條件才能夠達(dá)到這一目標(biāo)?
林國(guó)強(qiáng):因?yàn)閿?shù)據(jù)團(tuán)隊(duì)人數(shù)有限,無(wú)法滿足業(yè)務(wù)部門(mén)龐大的需求。當(dāng)業(yè)務(wù)部門(mén)提交數(shù)千個(gè)需求時(shí),數(shù)據(jù)團(tuán)隊(duì)難以應(yīng)對(duì)這樣大規(guī)模的需求。因此,我們引入了另一個(gè)角色,我們稱之為數(shù)據(jù)伙伴或數(shù)據(jù)合作伙伴。這些數(shù)據(jù)伙伴來(lái)自業(yè)務(wù)部門(mén),他們可能在財(cái)務(wù)或其他部門(mén)工作,并且對(duì)數(shù)據(jù)非常敏感,愿意積極學(xué)習(xí)相關(guān)內(nèi)容。
我們?yōu)樗麄兲峁┝艘恍┑痛a工具,比如商業(yè)智能工具或數(shù)據(jù)分析工具,讓他們可以基于這些工具生成他們所需的指標(biāo)。這樣一來(lái),我們的團(tuán)隊(duì)可以將精力集中在數(shù)據(jù)倉(cāng)庫(kù)的核心部分,比如從ODS到DWD再到DWS的工作上。至于數(shù)據(jù)倉(cāng)庫(kù)層以上的智能應(yīng)用層,我們盡可能地交給業(yè)務(wù)方去處理。這樣做的好處是,你會(huì)有更多的伙伴來(lái)幫助你執(zhí)行整個(gè)數(shù)據(jù)戰(zhàn)略,而不會(huì)受限于目前團(tuán)隊(duì)的規(guī)模。
InfoQ:順豐是如何構(gòu)建數(shù)據(jù)中臺(tái)部門(mén)的?與其他業(yè)務(wù)部門(mén)如何協(xié)調(diào)?
林國(guó)強(qiáng):數(shù)據(jù)中臺(tái)部門(mén)的構(gòu)成包括平臺(tái)部門(mén)、工具側(cè)和數(shù)倉(cāng)側(cè)的團(tuán)隊(duì)。這幾個(gè)團(tuán)隊(duì)如何與其他部門(mén)協(xié)同呢?最核心的就是立項(xiàng)。立項(xiàng)意味著項(xiàng)目的啟動(dòng),只有通過(guò)立項(xiàng),才能夠獲得資源的投入,包括工時(shí)、出差、采購(gòu)等方面的資源。
對(duì)于集團(tuán)層面來(lái)說(shuō),立項(xiàng)的參與方包括業(yè)務(wù)側(cè)、財(cái)務(wù)側(cè)、技術(shù)側(cè)等,他們會(huì)共同規(guī)劃項(xiàng)目的執(zhí)行計(jì)劃,明確每個(gè)季度、每個(gè)月要完成的任務(wù)。通過(guò)立項(xiàng),整個(gè)成本投入也會(huì)變得清晰可見(jiàn),包括外部采購(gòu)和內(nèi)部人員投入。此外,每周的工時(shí)填報(bào)也通過(guò)項(xiàng)目報(bào)表進(jìn)行,以便了解協(xié)同進(jìn)展情況。
InfoQ:數(shù)據(jù)質(zhì)量決定著數(shù)據(jù)應(yīng)用的效果,在順豐場(chǎng)景中,哪些因素可能會(huì)影響數(shù)據(jù)質(zhì)量?具體如何規(guī)避?
林國(guó)強(qiáng):需要從兩個(gè)方面來(lái)思考:制度層面和工具層面。
首先,從制度層面來(lái)看,確保數(shù)據(jù)質(zhì)量至關(guān)重要,這需要明確責(zé)任方。每個(gè)數(shù)據(jù)的所有者都必須確定,他們的職責(zé)范圍也必須明確。舉例來(lái)說(shuō),如果收入報(bào)表的數(shù)據(jù)出現(xiàn)問(wèn)題,就需要確定誰(shuí)是收入數(shù)據(jù)的所有者。在數(shù)據(jù)治理委員會(huì)的早期階段,我們要明確定義每個(gè)數(shù)據(jù)的所有者,他們的職責(zé)和質(zhì)量處理范圍。
其次,從工具層面來(lái)看,我可以舉幾個(gè)例子:一是主數(shù)據(jù)的問(wèn)題,比如國(guó)家、省份或人員代碼的錯(cuò)誤。為了盡可能確保數(shù)據(jù)的純凈性,我們?cè)跀?shù)據(jù)入湖的時(shí)候可以采用工具進(jìn)行強(qiáng)制性檢測(cè);
二是數(shù)據(jù)波動(dòng),盡管這種情況不太常見(jiàn)。如果數(shù)據(jù)在短時(shí)間內(nèi)出現(xiàn)大幅度變化,我們需要分析是否是延遲或前端臟數(shù)據(jù)導(dǎo)致的。為了解決這個(gè)問(wèn)題,我們可以定期分析數(shù)據(jù)質(zhì)量臺(tái)賬,確定問(wèn)題所在并及時(shí)解決。
最后一個(gè)例子是數(shù)據(jù)丟失,因?yàn)閿?shù)據(jù)質(zhì)量的關(guān)鍵問(wèn)題之一就是數(shù)據(jù)丟失。在大規(guī)模場(chǎng)景下,即使丟失了少量數(shù)據(jù),也可能造成嚴(yán)重影響。為了避免這種情況,我們需要確保建立完整的數(shù)據(jù)血緣,從數(shù)據(jù)接入開(kāi)始到最終應(yīng)用端都要建立起血緣關(guān)系。這樣一來(lái),當(dāng)出現(xiàn)數(shù)據(jù)丟失時(shí),我們可以追蹤到丟失的具體位置和原因,從而避免潛在的損失。
InfoQ:在如今的經(jīng)濟(jì)形勢(shì)下,企業(yè)越來(lái)越看重技術(shù)的投入產(chǎn)出比,那么,聚焦數(shù)據(jù)管理的投入效果最大化以及期間的可視化追蹤問(wèn)題,順豐有哪些經(jīng)驗(yàn)可以分享?采取了哪些戰(zhàn)略措施?
林國(guó)強(qiáng):這個(gè)問(wèn)題實(shí)際上是很多企業(yè)的數(shù)據(jù)中臺(tái)負(fù)責(zé)人或數(shù)據(jù)方面的負(fù)責(zé)人都非常關(guān)心的。我們也經(jīng)歷了一段時(shí)間的試錯(cuò)和摸索,有幾點(diǎn)值得分享一下。
首先,在早期階段,我們更多地討論數(shù)據(jù)的價(jià)值。這個(gè)數(shù)據(jù)價(jià)值指的是數(shù)據(jù)被應(yīng)用的廣度和熱度。比如說(shuō),在數(shù)據(jù)的末端,我們會(huì)建議將數(shù)據(jù)服務(wù)化,通過(guò)數(shù)據(jù)服務(wù)我們能夠了解到這個(gè)數(shù)據(jù)被哪些應(yīng)用、哪些BU、哪些企業(yè)所調(diào)用,以及調(diào)用頻次是多少。通過(guò)血緣反向計(jì)算整個(gè)鏈路中每項(xiàng)數(shù)據(jù)的應(yīng)用廣度和熱度,明確哪些數(shù)據(jù)具有價(jià)值,哪些數(shù)據(jù)沒(méi)有價(jià)值,以及如何處理沒(méi)有價(jià)值的數(shù)據(jù),如何增加對(duì)有價(jià)值數(shù)據(jù)的投入。
第二點(diǎn)是數(shù)據(jù)成本的概念。數(shù)據(jù)成本不僅指數(shù)據(jù)開(kāi)發(fā)本身所產(chǎn)生的成本,比如服務(wù)器資源、人力投入等,還要關(guān)注單位業(yè)務(wù)金額對(duì)應(yīng)的數(shù)據(jù)成本是否在降低。舉個(gè)例子,如果公司一年的營(yíng)收是20到30億,數(shù)據(jù)成本可能是2,000到3,000萬(wàn),那么這個(gè)比值是不是在逐年增加?也就是說(shuō)單位業(yè)務(wù)金額對(duì)應(yīng)的數(shù)據(jù)成本是否在降低?如果單位業(yè)務(wù)金額對(duì)應(yīng)的數(shù)據(jù)成本在降低,而且保證了相同的服務(wù)水平和SLA,說(shuō)明企業(yè)整體的數(shù)據(jù)技術(shù)能力在提升。
最后,我們最終可能還是要回歸到核心價(jià)值點(diǎn),也就是數(shù)據(jù)收益,這是從中長(zhǎng)期來(lái)看的。因?yàn)檫@個(gè)問(wèn)題在過(guò)去,甚至未來(lái)幾年都是不可回避的,因?yàn)楫?dāng)前大家都知道經(jīng)濟(jì)環(huán)境并不好。最終,我們關(guān)注的還是投入和收益的對(duì)比。在這個(gè)時(shí)候,數(shù)據(jù)對(duì)業(yè)務(wù)部門(mén)的成本降低、收入增加到底實(shí)際上為公司做了多少貢獻(xiàn)?如果ROI比值大于等于一,就證明投產(chǎn)是對(duì)公司有價(jià)值的。
InfoQ:過(guò)去一年,數(shù)據(jù)資產(chǎn)入表、“數(shù)據(jù)要素×”行動(dòng)計(jì)劃等一系列政策文件相繼發(fā)布和實(shí)施,這對(duì)于順豐乃至整個(gè)物流行業(yè)有哪些意義和價(jià)值?對(duì)于我們的數(shù)據(jù)管理策略制定又會(huì)帶來(lái)哪些影響?
林國(guó)強(qiáng):對(duì)于企業(yè)而言,數(shù)據(jù)資產(chǎn)入表的實(shí)施是至關(guān)重要的,它有助于增加企業(yè)的資產(chǎn),對(duì)于任何上市公司都至關(guān)重要。數(shù)據(jù)資產(chǎn)評(píng)估將對(duì)數(shù)據(jù)質(zhì)量和價(jià)值產(chǎn)生更高的要求。在具體的數(shù)據(jù)管理策略制定中,順豐也會(huì)加強(qiáng)數(shù)據(jù)治理和數(shù)據(jù)價(jià)值的管理,以確保數(shù)據(jù)資產(chǎn)的評(píng)估能夠獲得較高的評(píng)價(jià)。這種加強(qiáng)對(duì)于上市公司和即將上市的公司尤為重要,因此這一群體可能會(huì)更加重視數(shù)據(jù)資產(chǎn)的治理。
InfoQ:數(shù)據(jù)入表這一個(gè)動(dòng)作對(duì)于大數(shù)據(jù)部門(mén)會(huì)產(chǎn)生什么樣的影響?在配合財(cái)務(wù)部門(mén)方面是不是有一些具體的工作應(yīng)對(duì)?
林國(guó)強(qiáng):數(shù)據(jù)資產(chǎn)入表對(duì)公司的資產(chǎn)增值是肯定的,因此這將證明團(tuán)隊(duì)的價(jià)值。與財(cái)務(wù)部門(mén)的合作是必不可少的,因?yàn)閿?shù)據(jù)資產(chǎn)入表需要第三方咨詢?cè)u(píng)估機(jī)構(gòu)的介入,以及與證券交易所進(jìn)行相關(guān)的最終評(píng)估和確認(rèn)。
財(cái)務(wù)部門(mén)和數(shù)據(jù)團(tuán)隊(duì)需要就數(shù)據(jù)資產(chǎn)入表的具體事宜進(jìn)行探討,并落實(shí)相關(guān)產(chǎn)線。評(píng)估數(shù)據(jù)資產(chǎn)價(jià)值的方法有成本法和收益法。在確定哪些數(shù)據(jù)資產(chǎn)應(yīng)該入表時(shí),需要考慮投入的資源、開(kāi)發(fā)人員的數(shù)量以及服務(wù)的部門(mén)和創(chuàng)造的業(yè)務(wù)價(jià)值等方面。這些信息需要從財(cái)務(wù)的角度進(jìn)行審視,而不是技術(shù)開(kāi)發(fā)人員的角度。由于技術(shù)同學(xué)可能對(duì)財(cái)務(wù)口徑不太了解,因此需要進(jìn)行跨領(lǐng)域的交流和學(xué)習(xí)。未來(lái)涉及資產(chǎn)入表的大數(shù)據(jù)從業(yè)者可能需要學(xué)習(xí)一些簡(jiǎn)單的會(huì)計(jì)術(shù)語(yǔ),以便更好地與財(cái)務(wù)同學(xué)進(jìn)行交流。
InfoQ:反之對(duì)于財(cái)務(wù)部門(mén)而言,如何和數(shù)據(jù)部門(mén)進(jìn)行聯(lián)動(dòng),以便更好推進(jìn)業(yè)務(wù)?
林國(guó)強(qiáng):財(cái)務(wù)部門(mén)在推動(dòng)數(shù)據(jù)資產(chǎn)入表方面扮演著關(guān)鍵角色,因?yàn)樨?cái)務(wù)是企業(yè)主最關(guān)注的方面,尤其是對(duì)于中小企業(yè)而言。財(cái)務(wù)部門(mén)的重要作用體現(xiàn)在兩個(gè)方面:首先是推動(dòng)數(shù)據(jù)資產(chǎn)入表。數(shù)據(jù)資產(chǎn)入表是非常重要的,因?yàn)樗梢栽黾庸镜臒o(wú)形資產(chǎn),對(duì)公司來(lái)說(shuō)是一件好事。財(cái)務(wù)部門(mén)完全可以發(fā)起這項(xiàng)工作,并與數(shù)據(jù)部門(mén)緊密合作,從而使數(shù)據(jù)部門(mén)能夠獲得相關(guān)的價(jià)值。同時(shí),財(cái)務(wù)部門(mén)和數(shù)據(jù)部門(mén)之間的合作也能夠?yàn)殡p方帶來(lái)益處,實(shí)現(xiàn)雙贏的局面。
InfoQ:數(shù)據(jù)要素的流通并非單一企業(yè)可以獨(dú)自實(shí)現(xiàn)的,它涉及整個(gè)行業(yè)乃至多個(gè)生態(tài)系統(tǒng)之間的互動(dòng)。針對(duì)物流行業(yè),實(shí)現(xiàn)數(shù)據(jù)要素的流通要面臨哪些挑戰(zhàn),頭部企業(yè)能發(fā)揮哪些作用?
林國(guó)強(qiáng):數(shù)據(jù)要素流通是一個(gè)復(fù)雜的問(wèn)題,從國(guó)家層面以及各地的數(shù)據(jù)交易所來(lái)看,都在積極推進(jìn)數(shù)據(jù)要素流通。然而,對(duì)我們行業(yè)來(lái)說(shuō),主要的挑戰(zhàn)包括兩個(gè)方面。
首先是合規(guī)性。盡管國(guó)家已經(jīng)頒布了相關(guān)的公民個(gè)人隱私保護(hù)法,也有數(shù)據(jù)要素流通的相關(guān)規(guī)定和細(xì)則,但具體落地實(shí)施案例還比較少,缺乏足夠的參照物,導(dǎo)致許多企業(yè)不敢輕易行動(dòng)。我們建議由國(guó)有企業(yè)牽頭,如中國(guó)物流集團(tuán)來(lái)組織民營(yíng)企業(yè)參與,以確保該舉措的有效落地。
其次是數(shù)據(jù)標(biāo)準(zhǔn)化。在物流領(lǐng)域,由于其信息化發(fā)展相對(duì)滯后,并且存在許多加盟企業(yè),因此很難有效管理數(shù)據(jù)。我們建議由數(shù)交所牽頭,邀請(qǐng)行業(yè)龍頭企業(yè),如順豐等,參與制定數(shù)據(jù)標(biāo)準(zhǔn),這種模式也適用于其他行業(yè)和領(lǐng)域,從而為數(shù)據(jù)要素流通奠定良好基礎(chǔ)。
2、電商號(hào)平臺(tái)僅提供信息存儲(chǔ)服務(wù),如發(fā)現(xiàn)文章、圖片等侵權(quán)行為,侵權(quán)責(zé)任由作者本人承擔(dān)。
3、如對(duì)本稿件有異議或投訴,請(qǐng)聯(lián)系:info@dsb.cn