導(dǎo)語:
隨著越來越多的企業(yè)認(rèn)識到數(shù)據(jù)作為生產(chǎn)要素的價值,加快了企業(yè)數(shù)字化轉(zhuǎn)型,把完善企業(yè)級的數(shù)據(jù)治理體系作為企業(yè)數(shù)字化轉(zhuǎn)型的一個目標(biāo)。長亮科技在大數(shù)據(jù)領(lǐng)域始終保持足夠的技術(shù)敏銳度,并積累了豐富的經(jīng)驗與資產(chǎn)。為此,我們組織了一個系列專文,分期發(fā)表,與您一起探索更適合當(dāng)下行業(yè)發(fā)展的數(shù)據(jù)觀,歡迎大家持續(xù)關(guān)注。
作者|長亮科技大數(shù)據(jù)研究院
內(nèi)容|本篇共4730字,預(yù)計閱讀時間18分鐘
點擊下方圖片回顧往期內(nèi)容
既然企業(yè)數(shù)據(jù)模型如此重要,為什么許多企業(yè)不啟動企業(yè)數(shù)據(jù)建模呢?
企業(yè)對企業(yè)數(shù)據(jù)模型的認(rèn)知與行動,整體上可以概括為以下四類:
l 企業(yè)數(shù)據(jù)模型的少數(shù)先行者。他們經(jīng)歷了多年的訓(xùn)練,積累了豐富經(jīng)驗,也吸取了深刻教訓(xùn),企業(yè)有能力,有動力,管理層有魄力,集中了業(yè)務(wù)與數(shù)據(jù)領(lǐng)域精兵強將,投巨資開發(fā)了企業(yè)邏輯數(shù)據(jù)模型,并以此指導(dǎo)數(shù)據(jù)領(lǐng)域有序開展工作。
l 拿來主義跟隨者。這些企業(yè)不想重走先行者的老路,希望購買企業(yè)數(shù)據(jù)模型直接用于指導(dǎo)數(shù)據(jù)領(lǐng)域工作,期望快速見效。
l 清醒的務(wù)實者。這些企業(yè)認(rèn)識到了企業(yè)數(shù)據(jù)模型的價值以及建模的重要性與急迫性,也充分估計到實現(xiàn)的復(fù)雜性與高風(fēng)險,對自身團隊能力以及可投入資源有清醒的認(rèn)識,暫時沒有采取實質(zhì)行動。
l 某些企業(yè)不了解甚至不認(rèn)可企業(yè)數(shù)據(jù)模型的價值,認(rèn)為企業(yè)數(shù)據(jù)模型約束開發(fā)人員,延緩開發(fā)進程,阻礙業(yè)務(wù)創(chuàng)新發(fā)展。這些企業(yè)往往歷史沉淀積累少,可用資源不足,快速變化已成慣性。
金融行業(yè)進行企業(yè)級數(shù)據(jù)治理與建模是監(jiān)管需要,也是支持未來長期發(fā)展的需要。不管企業(yè)數(shù)據(jù)現(xiàn)狀能力如何,都可以在開發(fā)企業(yè)數(shù)據(jù)模型方面有所作為。
在實施建設(shè)企業(yè)數(shù)據(jù)模型之前,對實施的目標(biāo)與路徑應(yīng)該有清醒的認(rèn)識。
01
不要試圖一次性對企業(yè)數(shù)據(jù)建模
早在 20 世紀(jì) 80 年代初期,一些組織開始實施企業(yè)邏輯數(shù)據(jù)模型,遵循當(dāng)時的最佳實踐,試圖一次性對整個企業(yè)數(shù)據(jù)進行建模,80 年代末許多項目因為資金緊張停止了。40年后,雖然數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)架構(gòu)、主數(shù)據(jù)管理、元數(shù)據(jù)管理、數(shù)據(jù)建模等數(shù)據(jù)管理知識體系已經(jīng)日趨完善,但現(xiàn)實仍面臨許多挑戰(zhàn),不能支持在一個項目中一次性實現(xiàn)企業(yè)數(shù)據(jù)建模。
l 團隊組建、參與、協(xié)調(diào)推進難。為了開發(fā)、維護和豐富擴展企業(yè)數(shù)據(jù)模型,需要組建大型專業(yè)與管理團隊,協(xié)調(diào)所有主要參與者一起參與整個數(shù)據(jù)建模過程,否則數(shù)據(jù)模型是不完整的。這些來自各個部門的業(yè)務(wù)領(lǐng)域參與者(如,各種數(shù)據(jù)所有者、數(shù)據(jù)管理員、數(shù)據(jù)消費者),基本都是業(yè)務(wù)骨干,無法脫產(chǎn)全程專職參與,很難有效推進工作。
l 歷史與現(xiàn)狀問題難以解決。要找到并解決當(dāng)前業(yè)務(wù)人員之間存在的所有相互沖突的數(shù)據(jù)視圖和業(yè)務(wù)規(guī)則需要花費太長時間,找到并解決目前系統(tǒng)之間存在的所有數(shù)據(jù)冗余和數(shù)據(jù)不一致問題需要更長時間,很多問題很難徹底解決,除非重構(gòu)系統(tǒng)。
l 建設(shè)周期長,見效慢。因為建設(shè)周期太長,會延遲新系統(tǒng)的實施(除非凍結(jié)需求,但是監(jiān)管等需求不允許推遲)。業(yè)務(wù)人員與管理層看不到企業(yè)數(shù)據(jù)建模者對利潤的貢獻,很可能失去對項目的支持。
l 企業(yè)數(shù)據(jù)模型設(shè)計沒有終態(tài),需要持續(xù)發(fā)展。在滿足企業(yè)現(xiàn)狀的同時,關(guān)注行業(yè)正在發(fā)生的變化,考慮業(yè)務(wù)未來發(fā)展的前瞻性,定期更新改進。也因此模型設(shè)計需要采用科學(xué)的設(shè)計模式,以保障模型的穩(wěn)定性、可擴展性。
因此,建議各企業(yè)采用增量迭代方法構(gòu)建企業(yè)數(shù)據(jù)模型,兩個模型之間的任何差異、歧義或不一致都將呈現(xiàn)給參與者協(xié)商解決,每次迭代投入少,時間短,都可以獲得增量價值(并及早發(fā)布使用),隨著時間的推移,各種與企業(yè)數(shù)據(jù)模型脫節(jié)的特定項目數(shù)據(jù)模型將減少,逐步實現(xiàn)企業(yè)數(shù)據(jù)模型與模型價值。
02
不要企圖構(gòu)建完整的企業(yè)數(shù)據(jù)模型
沒有任何企業(yè)數(shù)據(jù)模型可以定義所有可能存在的數(shù)據(jù)實體與屬性,不要企圖,也沒有必要定義企業(yè)所有的數(shù)據(jù)構(gòu)建完整的企業(yè)數(shù)據(jù)模型。
l 如果需要企業(yè)數(shù)據(jù)模型管理所有數(shù)據(jù)的創(chuàng)建與維護,模型本身將成為數(shù)據(jù)開發(fā)與使用的瓶頸,可能還沒有發(fā)布就已過時,因為企業(yè)數(shù)據(jù)結(jié)構(gòu)與需求已經(jīng)發(fā)生了某些變化(并沒有遵守企業(yè)數(shù)據(jù)模型),企業(yè)數(shù)據(jù)模型也不能準(zhǔn)確反映當(dāng)前的業(yè)務(wù)與數(shù)據(jù)。
l 業(yè)務(wù)系統(tǒng)與數(shù)據(jù)應(yīng)用系統(tǒng)要快速響應(yīng)業(yè)務(wù)與監(jiān)管需求的發(fā)展變化,如果模型包含過多細(xì)節(jié),將延誤系統(tǒng)開發(fā)進度,影響正常的業(yè)務(wù)工作開展,束縛業(yè)務(wù)創(chuàng)新,企業(yè)數(shù)據(jù)模型對這些系統(tǒng)將事實上失去作用。
l 模型設(shè)計初期首先設(shè)計關(guān)鍵實體,收益的增加超過成本的增加。后期邊際收益隨著模型的豐富而下降,可能因為管理一些不重要的數(shù)據(jù),邊際成本大幅度增加,但沒有帶來相應(yīng)的邊際收益。
數(shù)據(jù)倉庫之父Bill Inmon認(rèn)為企業(yè)數(shù)據(jù)模型包括關(guān)鍵主題領(lǐng)域、與業(yè)務(wù)運營關(guān)注的關(guān)鍵實體,為每個關(guān)鍵實體創(chuàng)建詳細(xì)的邏輯模型。數(shù)據(jù)建模領(lǐng)域著名專家Steve Hoberman建議僅在主題域級別創(chuàng)建企業(yè)數(shù)據(jù)模型,級別越高越穩(wěn)定。一些企業(yè)有穩(wěn)定成熟的組織、業(yè)務(wù)、流程,隨著時間推移,應(yīng)向下細(xì)化,達到企業(yè)邏輯數(shù)據(jù)模型。
03
正確使用外購數(shù)據(jù)模型
從需求說明書、業(yè)務(wù)手冊、行業(yè)規(guī)范等內(nèi)部、外部文檔資料以及通過頭腦風(fēng)暴、研討會、訪談等方式,識別業(yè)務(wù)關(guān)注的內(nèi)容,提取關(guān)鍵概念,從零開始設(shè)計企業(yè)數(shù)據(jù)模型,工作效率低,進展緩慢。可以自上而下借鑒外部成功的產(chǎn)品與經(jīng)驗,自下而上從當(dāng)前數(shù)據(jù)反向工程設(shè)計企業(yè)數(shù)據(jù)模型。
l 借鑒成熟的行業(yè)數(shù)據(jù)模型。這些行業(yè)數(shù)據(jù)模型產(chǎn)品包括主題模型、概念模型、邏輯模型完整的模型組件,提供主題域、實體、屬性的定義以及分類與關(guān)系等業(yè)務(wù)規(guī)則,已經(jīng)經(jīng)過許多企業(yè)驗證,可以作為企業(yè)數(shù)據(jù)模型的關(guān)鍵輸入或作為參考目標(biāo)以評估現(xiàn)狀、確定差距,根據(jù)企業(yè)自身業(yè)務(wù)與條件進行裁剪或擴充,從而縮短周期,減少成本,降低風(fēng)險。行業(yè)數(shù)據(jù)模型一般都采用抽象與范式的設(shè)計模式以提升模型的穩(wěn)定性、可擴展性,專業(yè)設(shè)計門檻要求比較高。
l 借鑒外部特定企業(yè)的數(shù)據(jù)模型。這些模型一般也是基于行業(yè)數(shù)據(jù)模型客制而來,大量通用設(shè)計被隱藏,突顯該企業(yè)特點與設(shè)計師個性化設(shè)計,其參考價值可能沒有原行業(yè)數(shù)據(jù)模型高,要慎重引入與科學(xué)參考使用,如果不考慮差異而教條照搬,可能浪費資源與時間,降低實施效率。如,大型銀行的業(yè)務(wù)產(chǎn)品線全面,自主開發(fā)能力強,主數(shù)據(jù)、參考數(shù)據(jù)管理成熟,有強大的組織與資源支持;而中小銀行的業(yè)務(wù)產(chǎn)品線比較狹窄,組織規(guī)模、結(jié)構(gòu)、分工甚至業(yè)務(wù)流程都存在差異,開發(fā)主要依賴第三方,資源支持能力相差懸殊。
沒有一套行業(yè)數(shù)據(jù)模型能完全切合該行業(yè)所有企業(yè),沒有任何一套外購的邏輯數(shù)據(jù)模型是完美的,嘗試完全重用其他企業(yè)的數(shù)據(jù)模型可能不起作用。
04
不要企圖越過模型設(shè)計的某個階段
企業(yè)數(shù)據(jù)建模需要經(jīng)歷主題模型、概念模型、邏輯模型三個不同詳細(xì)級別的設(shè)計階段,每個階段的輸出是下一階段的輸入,每個階段對于整個模型的構(gòu)建以及對數(shù)據(jù)的理解都很重要。
l 每個企業(yè)數(shù)據(jù)模型組件,都有其受眾群體以及數(shù)據(jù)管理的用途。以企業(yè)數(shù)據(jù)模型指導(dǎo)數(shù)據(jù)資產(chǎn)盤點為例,首先對資產(chǎn)按主題分類,然后與概念模型實體映射,在概念級別確定哪些是關(guān)鍵資產(chǎn)與垃圾資產(chǎn),這樣就不需要投入大量資源去做垃圾資產(chǎn)字段級的梳理了。
l 許多實踐忽視了主題模型與概念模型的設(shè)計,直接設(shè)計邏輯模型。模型是語義理論的基本原則與數(shù)據(jù)建模的基本原則相結(jié)合的結(jié)果,概念模型是邏輯模型設(shè)計的基礎(chǔ),概念的內(nèi)涵與其表達的外延應(yīng)該一致,一旦模型設(shè)計進入邏輯設(shè)計階段,說明干系人已經(jīng)對概念模型達成了一致的理解。主題域是數(shù)據(jù)的高級分類,所有數(shù)據(jù)對象都與數(shù)據(jù)主題域綁定。定義和命名每個主題領(lǐng)域的過程很重要,因為它提供了在業(yè)務(wù)邊界之間就對組織至關(guān)重要的主題達成共識的機會。主題模型與概念模型是穩(wěn)定的數(shù)據(jù)架構(gòu)基礎(chǔ),如果不設(shè)計主題與概念模型,讓用戶直面數(shù)萬屬性項的Excel邏輯模型,許多用戶可能對一些概念有各自的理解而無法溝通交流,邏輯模型也可能因為自身的種種問題而崩塌。
l 外購數(shù)據(jù)模型不能減少企業(yè)數(shù)據(jù)建模的過程。即使外購數(shù)據(jù)模型,也需要一個消化吸收的過程,從頭開始開展工作,對每個主題與關(guān)鍵實體、屬性以及業(yè)務(wù)規(guī)則,根據(jù)企業(yè)的實際情況進行調(diào)整,并在數(shù)據(jù)社區(qū)宣傳,獲取反饋,以期達成干系人一致的理解與共識。
05
建立數(shù)據(jù)管理職責(zé)分配矩陣
數(shù)據(jù)模型是業(yè)務(wù)人員與技術(shù)人員的接觸交互點,數(shù)據(jù)主題領(lǐng)域、實體、屬性,是數(shù)據(jù)管理的不同詳細(xì)粒度。模型設(shè)計過程需要業(yè)務(wù)參與分工,根據(jù)企業(yè)規(guī)模、數(shù)據(jù)管理成熟度等,設(shè)置數(shù)據(jù)管理的角色,賦予相應(yīng)的管理職責(zé)與內(nèi)容,最大限度地提高管理數(shù)據(jù)質(zhì)量、價值、可用性和安全性的有效性和效率。
l 數(shù)據(jù)管理專員以整個企業(yè)的視角來幫助打破數(shù)據(jù)孤島,幫助確定或批準(zhǔn)將數(shù)據(jù)從源轉(zhuǎn)換到目標(biāo)的規(guī)則,保證企業(yè)跨業(yè)務(wù)領(lǐng)域的數(shù)據(jù)質(zhì)量和有效利用。業(yè)務(wù)數(shù)據(jù)管理專員與干系人一起定義和控制數(shù)據(jù),負(fù)責(zé)本領(lǐng)域子集的數(shù)據(jù)定義、生產(chǎn)與使用。每個數(shù)據(jù)主題域被分配一個或多個業(yè)務(wù)領(lǐng)域業(yè)務(wù)數(shù)據(jù)管理專員,確保每個業(yè)務(wù)領(lǐng)域都有相應(yīng)的業(yè)務(wù)數(shù)據(jù)管理專員負(fù)責(zé)。
l 數(shù)據(jù)所有者對其管理領(lǐng)域內(nèi)的數(shù)據(jù)具有批準(zhǔn)權(quán)限,可以是某個業(yè)務(wù)數(shù)據(jù)管理專員。企業(yè)數(shù)據(jù)的所有權(quán)非常重要,通過識別和記錄跨業(yè)務(wù)和組織邊界的數(shù)據(jù)關(guān)系和依賴關(guān)系,把企業(yè)數(shù)據(jù)模型用作數(shù)據(jù)所有權(quán)管理工具,支持“共享”所有權(quán)。
l 技術(shù)數(shù)據(jù)管理專員負(fù)責(zé)一個數(shù)據(jù)源級的數(shù)據(jù)質(zhì)量,他們是在某個知識領(lǐng)域內(nèi)工作的IT專業(yè)人員,如數(shù)據(jù)集成專家、數(shù)據(jù)庫管理員、數(shù)據(jù)質(zhì)量分析師或元數(shù)據(jù)管理員。
l 在數(shù)據(jù)架構(gòu)管理中,數(shù)據(jù)管理專員評審、驗證、批準(zhǔn)與完善數(shù)據(jù)架構(gòu),業(yè)務(wù)數(shù)據(jù)管理專員明確數(shù)據(jù)要求和規(guī)范,數(shù)據(jù)架構(gòu)師依據(jù)規(guī)范設(shè)計企業(yè)數(shù)據(jù)架構(gòu)。
06
根據(jù)自身能力現(xiàn)狀
建立明確的目標(biāo)與可行的路徑
企業(yè)可以提供的資源、支持與能力影響初始范圍,決定了可以花多少時間、精力來構(gòu)建和維護企業(yè)數(shù)據(jù)模型,如果初期設(shè)定了不切實際的范圍與目標(biāo),卻長時間難以交付實質(zhì)內(nèi)容,可能會讓干系人失去信心。
l 對于大多數(shù)企業(yè)來說,由于資源與能力所限,初始目標(biāo)可以設(shè)定為實現(xiàn)企業(yè)級概念模型。企業(yè)內(nèi)部關(guān)鍵的業(yè)務(wù)系統(tǒng)與數(shù)據(jù)應(yīng)用系統(tǒng),覆蓋了企業(yè)關(guān)鍵業(yè)務(wù)領(lǐng)域,對這些系統(tǒng)進行反向工程形成物理模型,參照行業(yè)數(shù)據(jù)模型進行分類與驗證,梳理出關(guān)鍵實體與屬性,重用現(xiàn)有模型的組件,迭代創(chuàng)建新模型。
l 如果企業(yè)已實施建設(shè)數(shù)據(jù)倉庫數(shù)據(jù)模型,可以此為基礎(chǔ)升級。企業(yè)級數(shù)據(jù)倉庫數(shù)據(jù)模型是企業(yè)級分析數(shù)據(jù)模型,一般基于成熟的行業(yè)數(shù)據(jù)模型設(shè)計,已經(jīng)包含了豐富的實體,覆蓋了大部分重要數(shù)據(jù),在此基礎(chǔ)上,建立數(shù)據(jù)管理職責(zé)分配矩陣,按照企業(yè)數(shù)據(jù)模型設(shè)計的要求進行修正、裁剪、補充。
l 少數(shù)組織已構(gòu)建或初步構(gòu)建企業(yè)邏輯數(shù)據(jù)模型,應(yīng)完善組織,補充概念數(shù)據(jù)模型,修正邏輯數(shù)據(jù)模型,在企業(yè)范圍內(nèi)廣泛宣傳,將不同層級模型用于管理不同的數(shù)據(jù)活動,在數(shù)據(jù)治理活動中持續(xù)優(yōu)化、完善。
07
在實踐中完善組織
培養(yǎng)團隊與數(shù)據(jù)文化
建立一個隨時間持續(xù)發(fā)展和成熟的組織。隨著數(shù)據(jù)治理的深入與全面展開,起初建立的數(shù)據(jù)治理組織、職責(zé)、流程等需要逐步優(yōu)化、完善,確保采用新的政策和流程獲得利益相關(guān)者的支持和認(rèn)可,在整個企業(yè)得以遵循。
在企業(yè)數(shù)據(jù)建模與數(shù)據(jù)治理工作中發(fā)現(xiàn)潛質(zhì)數(shù)據(jù)管理專員,認(rèn)清他們做的工作,開發(fā)技能和知識,任命數(shù)據(jù)管理專員,正式明確他們的管理職責(zé),讓他們做出更多貢獻。
創(chuàng)建企業(yè)數(shù)據(jù)模型的過程為企業(yè)不同人員提供了合作的機會,跨數(shù)據(jù)建模和數(shù)據(jù)治理的專家可以從彼此的協(xié)作中有所收益。數(shù)據(jù)治理人員可以利用建模人員的探索和分析結(jié)果確定當(dāng)前的狀況和改進機會,在模型中記錄和執(zhí)行正在推動的數(shù)據(jù)管理策略和標(biāo)準(zhǔn),跟蹤與監(jiān)控執(zhí)行的進度。數(shù)據(jù)建模人員可以建立豐富的業(yè)務(wù)案例,修正數(shù)據(jù)定義與業(yè)務(wù)規(guī)則,優(yōu)化治理工作流,優(yōu)化數(shù)據(jù)建模最佳實踐。
建立與改良數(shù)據(jù)社區(qū)與文化。每一個企業(yè)的組織結(jié)構(gòu)、文化與環(huán)境都是獨一無二的。每個企業(yè)的數(shù)據(jù)社區(qū)文化一定是有別于其他企業(yè)的,對數(shù)據(jù)的思維和行為進行文化轉(zhuǎn)變和持續(xù)的變革,每個數(shù)據(jù)干系人都應(yīng)該具備數(shù)據(jù)意識,注意到數(shù)據(jù)具有生命周期,數(shù)據(jù)在企業(yè)數(shù)據(jù)生態(tài)系統(tǒng)中的流轉(zhuǎn),各項工作對別人有影響,使大家成為互相的業(yè)務(wù)伙伴。
綜上所述,企業(yè)數(shù)據(jù)模型應(yīng)該以增量和迭代方式在不同的詳細(xì)級別上漸進構(gòu)建。組建團隊,培養(yǎng)專業(yè)能力,認(rèn)真執(zhí)行數(shù)據(jù)治理與建模每一項任務(wù),建設(shè)數(shù)據(jù)文化,都需要團隊合作與時間,不要企圖一次性實現(xiàn)完美無缺的企業(yè)數(shù)據(jù)模型。不管企業(yè)現(xiàn)狀能力如何,都可以從開發(fā)企業(yè)數(shù)據(jù)模型中獲益,企業(yè)應(yīng)根據(jù)自身實際情況進行符合企業(yè)自身實際的建模行為,在數(shù)據(jù)治理中漸進實現(xiàn)與組織能力一致的企業(yè)數(shù)據(jù)模型,逐步釋放出企業(yè)數(shù)據(jù)模型的價值。