-
當(dāng)前位置:首頁(yè) > 創(chuàng)意學(xué)院 > 營(yíng)銷推廣 > 專題列表 > 正文
數(shù)據(jù)生命周期安全過(guò)程域(數(shù)據(jù)生命周期階段通過(guò)的安全過(guò)程域有幾個(gè))
大家好!今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于數(shù)據(jù)生命周期安全過(guò)程域的問(wèn)題,以下是小編對(duì)此問(wèn)題的歸納整理,讓我們一起來(lái)看看吧。
創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè),服務(wù)客戶遍布全球各地,相關(guān)業(yè)務(wù)請(qǐng)撥打電話:175-8598-2043,或添加微信:1454722008
本文目錄:
一、數(shù)據(jù)治理十步法
以下文章來(lái)源于談數(shù)據(jù) ,作者石秀峰
1、找癥狀,明確目標(biāo)
任何企業(yè)實(shí)施數(shù)據(jù)治理都不是為了治理數(shù)據(jù)而治理數(shù)據(jù),其背后都是管理和業(yè)務(wù)目標(biāo)的驅(qū)動(dòng)。企業(yè)中普遍存在的數(shù)據(jù)質(zhì)量問(wèn)題有:數(shù)據(jù)不一致、數(shù)據(jù)重復(fù)、數(shù)據(jù)不準(zhǔn)確、數(shù)據(jù)不完整、數(shù)據(jù)關(guān)系混亂、數(shù)據(jù)不及時(shí)等。
由于這些數(shù)據(jù)問(wèn)題的存在對(duì)業(yè)務(wù)的開(kāi)展和業(yè)務(wù)部門(mén)之間的溝通造成了較大的困擾,產(chǎn)生了很大的成本;各異構(gòu)的系統(tǒng)中數(shù)據(jù)不一致,導(dǎo)致業(yè)務(wù)系統(tǒng)之間的應(yīng)用集成無(wú)法開(kāi)展;數(shù)據(jù)質(zhì)量差無(wú)法支撐數(shù)據(jù)分析,分析結(jié)果與實(shí)際偏差較大。然而要實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)管理、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的目標(biāo),沒(méi)有高質(zhì)量的數(shù)據(jù)支撐是行不通的。
目標(biāo):企業(yè)實(shí)施數(shù)據(jù)治理的第一步,就是要明確數(shù)據(jù)治理的目標(biāo),理清數(shù)據(jù)治理的關(guān)鍵點(diǎn)。
技術(shù)工具:實(shí)地調(diào)研、高層訪談、組織架構(gòu)圖。
輸入:企業(yè)數(shù)據(jù)戰(zhàn)略規(guī)劃,亟待解決的業(yè)務(wù)問(wèn)題,經(jīng)營(yíng)發(fā)展需求,業(yè)務(wù)需求等;
輸出:數(shù)據(jù)治理的初步溝通方案,項(xiàng)目任務(wù)書(shū),工作計(jì)劃表;
2、理數(shù)據(jù),現(xiàn)狀分析
針對(duì)企業(yè)數(shù)據(jù)治理所處的內(nèi)外部環(huán)境,從組織、人員、流程、數(shù)據(jù)四個(gè)方面入手,進(jìn)行數(shù)據(jù)治理現(xiàn)狀的分析。
某企業(yè)數(shù)據(jù)治理痛點(diǎn)分析
組織方面:是否有專業(yè)的數(shù)據(jù)治理組織,是否明確崗位職責(zé)和分工。
人員方面:數(shù)據(jù)人才的資源配置情況,包括數(shù)據(jù)標(biāo)準(zhǔn)化人員、數(shù)據(jù)建模人員,數(shù)據(jù)分析人員,數(shù)據(jù)開(kāi)發(fā)人員等,以及數(shù)據(jù)人才的占比情況。
流程方面:數(shù)據(jù)管理的現(xiàn)狀,是否有歸口管理部門(mén),是否有數(shù)據(jù)管理的流程、流程各環(huán)節(jié)的數(shù)據(jù)控制情況等;
數(shù)據(jù)方面:梳理數(shù)據(jù)質(zhì)量問(wèn)題列表,例如:數(shù)據(jù)不一致問(wèn)題,數(shù)據(jù)不完整,數(shù)據(jù)不準(zhǔn)確、數(shù)據(jù)不真實(shí)、數(shù)據(jù)不及時(shí)、數(shù)據(jù)關(guān)系混亂,以及數(shù)據(jù)的隱私與安全問(wèn)題等。
目標(biāo):分析企業(yè)數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量的現(xiàn)狀,確定初步數(shù)據(jù)治理成熟度評(píng)估方案。
技術(shù)工具:實(shí)地訪談、調(diào)研表、數(shù)據(jù)質(zhì)量問(wèn)題評(píng)議表、關(guān)鍵數(shù)據(jù)識(shí)別方法論(例如:主數(shù)據(jù)特征識(shí)別法);
輸入:需求及現(xiàn)狀調(diào)研表、訪談?dòng)涗?、?shù)據(jù)樣本、數(shù)據(jù)架構(gòu)、數(shù)據(jù)管理制度和流程文件;
輸出:數(shù)據(jù)問(wèn)題列表、數(shù)據(jù)U/C矩陣、數(shù)據(jù)治理現(xiàn)狀分析報(bào)告、數(shù)據(jù)治理評(píng)估方案;
3、數(shù)據(jù)治理成熟度評(píng)估
數(shù)據(jù)治理成熟度反映了組織進(jìn)行數(shù)據(jù)治理所具備的條件和水平,包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、業(yè)務(wù)流程整合、主數(shù)據(jù)管理和信息生命周期管理。
CMMI DMM數(shù)據(jù)管理能力成熟度評(píng)估模型
數(shù)據(jù)治理成熟度評(píng)估是利用標(biāo)準(zhǔn)的成熟度評(píng)估工具結(jié)合行業(yè)最佳實(shí)踐,針對(duì)企業(yè)的數(shù)據(jù)治理現(xiàn)狀進(jìn)行的客觀評(píng)價(jià)和打分,找到企業(yè)數(shù)據(jù)治理的短板,以便制定切實(shí)可行的行動(dòng)方案。數(shù)據(jù)治理成熟度結(jié)束后形成初步的行動(dòng)方案,一般包括數(shù)據(jù)治理戰(zhàn)略,數(shù)據(jù)治理指標(biāo),數(shù)據(jù)治理規(guī)則,數(shù)據(jù)治理權(quán)責(zé)。數(shù)據(jù)治理愿景和使命是數(shù)據(jù)治理的整體目標(biāo);數(shù)據(jù)治理指標(biāo)定義了數(shù)據(jù)治理目標(biāo)的衡量方法;數(shù)據(jù)治理規(guī)則和定義包括與數(shù)據(jù)相關(guān)的政策、標(biāo)準(zhǔn)、合規(guī)要求、業(yè)務(wù)規(guī)則和數(shù)據(jù)定義等;權(quán)利和職責(zé)規(guī)定了由誰(shuí)來(lái)負(fù)責(zé)制訂數(shù)據(jù)相關(guān)的決策、何時(shí)實(shí)施、如何實(shí)施,以及組織和個(gè)人在數(shù)據(jù)治理策略中該做什么。
目標(biāo):結(jié)合業(yè)界標(biāo)準(zhǔn)的數(shù)據(jù)治理成熟度模型,根據(jù)企業(yè)管理和業(yè)務(wù)需求進(jìn)行數(shù)據(jù)治理成熟的評(píng)估,形成初步的數(shù)據(jù)治理策略和行動(dòng)路線。
技術(shù)工具:數(shù)據(jù)治理評(píng)估模型,例如:DCMM,CMMI DMM,IBM數(shù)據(jù)治理成熟度評(píng)估模型等;
輸入:第2步的輸入以及數(shù)據(jù)治理評(píng)估模型、數(shù)據(jù)治理評(píng)估工具(評(píng)估指標(biāo)、打分表等);
輸出:數(shù)據(jù)治理評(píng)估結(jié)果,數(shù)據(jù)治理策略,初步的行動(dòng)方案;
4、數(shù)據(jù)質(zhì)量問(wèn)題根因分析
數(shù)據(jù)治理的目的是解決數(shù)據(jù)質(zhì)量問(wèn)題提升數(shù)據(jù)質(zhì)量,從而為數(shù)據(jù)驅(qū)動(dòng)的數(shù)字化企業(yè)提供源動(dòng)力,而提到數(shù)據(jù)質(zhì)量問(wèn)題,做過(guò)BI、數(shù)倉(cāng)的同學(xué)一定知道,這是一個(gè)技術(shù)和業(yè)務(wù)“經(jīng)常打架”相互推諉的問(wèn)題。
某企業(yè)數(shù)據(jù)問(wèn)題根因分析魚(yú)骨圖
產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題的原因有很多,有業(yè)務(wù)方面的、有管理方面的、也有技術(shù)方面的,按照80/20法則,80%的問(wèn)題是由20%的原因造成起的。所以,如果能夠解決這20%的問(wèn)題,就能得到80%的改進(jìn)。
目標(biāo):分析并找到數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的根本原因,制定行之有效的解決方案;
技術(shù)工具:頭腦風(fēng)暴、5W1H、SWOT、因果(魚(yú)刺)圖、帕拉圖等;
輸入:數(shù)據(jù)問(wèn)題列表、數(shù)據(jù)U/C矩陣、數(shù)據(jù)治理現(xiàn)狀分析報(bào)告、數(shù)據(jù)治理評(píng)估結(jié)果;
輸出:數(shù)據(jù)質(zhì)量評(píng)估結(jié)果、對(duì)業(yè)務(wù)的潛在影響和根本原因。
5、業(yè)務(wù)影響及實(shí)施優(yōu)先級(jí)評(píng)估
通過(guò)數(shù)據(jù)治理成熟度評(píng)估,從組織、流程、制度、人員、技術(shù)等方面找到企業(yè)在數(shù)據(jù)治理的待提升的領(lǐng)域和環(huán)節(jié),再通過(guò)數(shù)據(jù)質(zhì)量根因分析找到數(shù)據(jù)質(zhì)量問(wèn)題發(fā)生的根本原因,進(jìn)一步明確了數(shù)據(jù)治理的目標(biāo)和內(nèi)容。再接下來(lái),就需要確定數(shù)據(jù)治理策略,定義數(shù)據(jù)治理的實(shí)施優(yōu)先級(jí)。
某企業(yè)主數(shù)據(jù)治理實(shí)施優(yōu)先級(jí)評(píng)估
不同的數(shù)據(jù)治理領(lǐng)域解決的是不同的問(wèn)題,而數(shù)據(jù)治理的每個(gè)領(lǐng)域都有它的實(shí)施難點(diǎn),對(duì)企業(yè)來(lái)說(shuō),需要從業(yè)務(wù)的影響程度,問(wèn)題的緊急程度、實(shí)施的難易程度等多個(gè)維度進(jìn)行分析和權(quán)衡,從而找到符合企業(yè)需求并滿足企業(yè)發(fā)展的方案。
目標(biāo):確定數(shù)據(jù)治理核心領(lǐng)域和支撐體系的建設(shè)/實(shí)施優(yōu)先級(jí);
技術(shù)工具:四象限法則(分別從業(yè)務(wù)影響程度/實(shí)施難以程度,問(wèn)題重要程度/問(wèn)題緊急程度繪制優(yōu)先級(jí)矩陣)、KANO模型
輸入:數(shù)據(jù)治理成熟度能力評(píng)估結(jié)果、數(shù)據(jù)質(zhì)量問(wèn)題根因分析結(jié)果;
輸出:數(shù)據(jù)治理實(shí)施優(yōu)先級(jí)策略
6、制定數(shù)據(jù)治理行動(dòng)路線和計(jì)劃
路線圖是使用特定技術(shù)方案幫助達(dá)到短期或者長(zhǎng)期目標(biāo)的計(jì)劃,用于新產(chǎn)品、項(xiàng)目或技術(shù)領(lǐng)域的開(kāi)發(fā),是指應(yīng)用簡(jiǎn)潔的圖形、表格、文字等形式描述技術(shù)變化的步驟或技術(shù)相關(guān)環(huán)節(jié)之間的邏輯關(guān)系。路線圖是一種目標(biāo)計(jì)劃,就是把未來(lái)計(jì)劃要做的事列出來(lái),直至達(dá)到某一個(gè)目標(biāo),就好像沿著地圖路線一步一步找到終點(diǎn)一樣,故稱路線圖。
某企業(yè)數(shù)據(jù)治理實(shí)施路線圖
企業(yè)數(shù)據(jù)治理的實(shí)施路線圖的制定是以企業(yè)數(shù)據(jù)戰(zhàn)略——愿景和使命為綱領(lǐng),以急用優(yōu)先為原則,以分步實(shí)施為策略進(jìn)行了整體設(shè)計(jì)和規(guī)劃。實(shí)施路線圖主要包含的內(nèi)容:分幾個(gè)階段實(shí)施,每個(gè)階段的目標(biāo)、工作內(nèi)容、時(shí)間節(jié)點(diǎn)要求、環(huán)境條件等。筆者觀點(diǎn):任何一個(gè)企業(yè)的數(shù)據(jù)治理都不是一蹴而就,一步到位的,需要循序漸進(jìn)、持續(xù)優(yōu)化!實(shí)施路線圖就是基于此產(chǎn)生的,因此說(shuō)數(shù)據(jù)治理實(shí)施路線圖也是說(shuō)服利益相關(guān)者支持的一個(gè)重要手段。
目標(biāo):確定數(shù)據(jù)治理的階段以及每個(gè)階段的目標(biāo);
技術(shù)工具:路線圖法
輸入:數(shù)據(jù)治理成熟度能力評(píng)估結(jié)果、業(yè)務(wù)影響及實(shí)施優(yōu)先級(jí)評(píng)估結(jié)果;
輸出:數(shù)據(jù)治理實(shí)施路線圖或稱階段目標(biāo)計(jì)劃
7、制定數(shù)據(jù)治理詳細(xì)實(shí)施方案
數(shù)據(jù)治理詳細(xì)實(shí)施方案是用于指導(dǎo)主數(shù)據(jù)的各項(xiàng)實(shí)施工作,一般包括:數(shù)據(jù)治理核心領(lǐng)域、數(shù)據(jù)治理支撐體系、數(shù)據(jù)治理項(xiàng)目管理三個(gè)方面。
數(shù)據(jù)治理總體框架圖
數(shù)據(jù)治理核心領(lǐng)域包括:數(shù)據(jù)架構(gòu)、數(shù)據(jù)服務(wù)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)管理、數(shù)據(jù)安全管理、數(shù)據(jù)生命周期管理。
數(shù)據(jù)治理支撐體系包括:組織(組織架構(gòu)、組織層次、崗位職責(zé))、制度(管控模式、規(guī)章制度、考核機(jī)制)、流程(歸口部門(mén)、管理流程、流程任務(wù)等)、技術(shù)(數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)運(yùn)營(yíng)、支撐平臺(tái)、實(shí)施方案等)。
數(shù)據(jù)治理項(xiàng)目管理方案包括:項(xiàng)目組隊(duì)、項(xiàng)目計(jì)劃、質(zhì)量保證計(jì)劃、配置管理計(jì)劃、培訓(xùn)和售后等。
關(guān)于數(shù)據(jù)治理的核心領(lǐng)域,詳見(jiàn)筆者之前分享的數(shù)據(jù)治理框架解讀系列文章。
關(guān)于數(shù)據(jù)治理的支撐體系,詳見(jiàn)筆者之前分享的數(shù)據(jù)治理成功關(guān)鍵要素系列文章。
目標(biāo):基于數(shù)據(jù)質(zhì)量根因分析、業(yè)務(wù)影響和實(shí)施優(yōu)先級(jí)評(píng)估結(jié)果,制定詳細(xì)實(shí)施方案;
輸入:業(yè)務(wù)影響及實(shí)施優(yōu)先級(jí)評(píng)估結(jié)果,行動(dòng)路線和計(jì)劃;
輸出:數(shù)據(jù)治理詳細(xì)實(shí)施方案。
8、數(shù)據(jù)治理實(shí)施過(guò)程控制
數(shù)據(jù)治理實(shí)施過(guò)程控制是對(duì)數(shù)據(jù)治理項(xiàng)目的范圍控制、進(jìn)度控制、質(zhì)量控制和成本控制,通過(guò)對(duì)企業(yè)的各項(xiàng)資源的合理協(xié)調(diào)與利用,而達(dá)成的數(shù)據(jù)治理目標(biāo)的各種措施。從項(xiàng)目管理的角度來(lái)講也是項(xiàng)目管理的黃金三角:范圍、時(shí)間、質(zhì)量、成本。
任何項(xiàng)目的質(zhì)量和進(jìn)度是需要良好的項(xiàng)目管理來(lái)保證的,數(shù)據(jù)治理也一樣。與傳統(tǒng)的軟件工程項(xiàng)目不同,數(shù)據(jù)治理項(xiàng)目有著范圍邊界模糊、影響范圍廣、短期難見(jiàn)效、實(shí)施周期長(zhǎng)等特點(diǎn):
①范圍邊界模糊,數(shù)據(jù)治理涉及到的關(guān)鍵領(lǐng)域如元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)管理等很多是存在交叉的,邊界很難界定,例如:實(shí)施數(shù)據(jù)質(zhì)量管理項(xiàng)目,會(huì)涉及元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理等,同樣一個(gè)元數(shù)據(jù)管理項(xiàng)目也會(huì)涉及數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量。
②影響范圍廣,數(shù)據(jù)治理的實(shí)施不是一個(gè)部門(mén)能夠完成的,是需要從高級(jí)管理層、到各業(yè)務(wù)部門(mén)、信息部門(mén)通力協(xié)作,共同完成的;
③短期難見(jiàn)效,數(shù)據(jù)治理項(xiàng)目實(shí)施完成后,其數(shù)據(jù)治理的效果被每個(gè)業(yè)務(wù)點(diǎn)滴操作所“稀釋”,并不像其他項(xiàng)目,例如BI,那樣明顯的體現(xiàn)出來(lái),所以主導(dǎo)數(shù)據(jù)治理的部門(mén)會(huì)經(jīng)常遭到質(zhì)疑。
④實(shí)施周期長(zhǎng),在沒(méi)有清晰的數(shù)據(jù)治理目標(biāo)和范圍約定的情況下,數(shù)據(jù)治理是一個(gè)“無(wú)底洞”。所以,在實(shí)施數(shù)據(jù)治理項(xiàng)目之前制定好實(shí)施路線圖和詳細(xì)的實(shí)施方案就顯得格外重要(第6、7步)。
目標(biāo):通過(guò)對(duì)數(shù)據(jù)治理項(xiàng)目實(shí)施過(guò)程的進(jìn)度控制、質(zhì)量控制和成本控制以實(shí)現(xiàn)數(shù)據(jù)治理的目標(biāo);
技術(shù)工具:PP(項(xiàng)目計(jì)劃)、PMC(項(xiàng)目控制)、IPM(集成項(xiàng)目管理)、RSKM(風(fēng)險(xiǎn)管理)——CMMI過(guò)程域;
輸入:6-7步的輸出:數(shù)據(jù)治理實(shí)施路線圖,數(shù)據(jù)治理詳細(xì)實(shí)施方案;
輸出:各項(xiàng)項(xiàng)目控制措施,例如:項(xiàng)目計(jì)劃、SOW、項(xiàng)目風(fēng)險(xiǎn)列表、項(xiàng)目報(bào)告、項(xiàng)目總結(jié)等;
9、監(jiān)控評(píng)估數(shù)據(jù)治理實(shí)施效果
隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展,應(yīng)當(dāng)從企業(yè)的全局?jǐn)?shù)據(jù)治理環(huán)境的角度,明確數(shù)據(jù)治理關(guān)鍵技術(shù)運(yùn)用及其標(biāo)準(zhǔn)規(guī)范,構(gòu)建成效評(píng)估指標(biāo)體系,進(jìn)行治理效果評(píng)價(jià);并運(yùn)用數(shù)據(jù)治理能力成熟度模型再次評(píng)估,界定數(shù)據(jù)管理層次,從而使得跨系統(tǒng)、跨業(yè)務(wù)、跨部門(mén)的數(shù)據(jù)治理體系的建設(shè)與實(shí)施能夠通過(guò)各方協(xié)作順利進(jìn)行,實(shí)現(xiàn)卓越數(shù)據(jù)治理,進(jìn)而通過(guò)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)、數(shù)據(jù)驅(qū)動(dòng)管理和運(yùn)營(yíng)以實(shí)現(xiàn)企業(yè)的降本、增效、提質(zhì)、創(chuàng)新。
某企業(yè)數(shù)據(jù)治理看板(數(shù)據(jù)已脫敏)
數(shù)據(jù)治理成效評(píng)估指標(biāo)體系應(yīng)根據(jù)企業(yè)及數(shù)據(jù)治理項(xiàng)目的實(shí)際情況制定,一般包括:時(shí)間性、數(shù)量性、完整性、準(zhǔn)確性四個(gè)維度。
①時(shí)間性即數(shù)據(jù)的及時(shí)性。該維度主要通過(guò)源業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的上報(bào)及時(shí)性、接入及時(shí)性等方面進(jìn)行核對(duì)。通過(guò)分析月指標(biāo)、周指標(biāo)、日指標(biāo)的數(shù)據(jù)及時(shí)率,得出在規(guī)定時(shí)間和頻度周期內(nèi)接入系統(tǒng)的比例,以此反映數(shù)據(jù)接入及時(shí)性。
②數(shù)量性。該維度是從數(shù)據(jù)存量,數(shù)據(jù)增量,數(shù)據(jù)訪問(wèn)量,數(shù)據(jù)交換量、數(shù)據(jù)使用量等指標(biāo)反映數(shù)據(jù)的使用情況,可以分為月度指標(biāo)、周指標(biāo)、日指標(biāo)、時(shí)分指標(biāo)等。
③準(zhǔn)確性。這個(gè)維度主要由各類數(shù)據(jù)中邏輯的準(zhǔn)確性、數(shù)據(jù)值的準(zhǔn)確性、數(shù)據(jù)頻段和字段之間的準(zhǔn)確性以及數(shù)據(jù)的精度等內(nèi)容組成。該準(zhǔn)確率同樣包括:月度、每周、每日等準(zhǔn)確率指標(biāo)。
④完整性。此維度主要以單元維度完整性、數(shù)據(jù)業(yè)務(wù)維度組合完整性、索引值完整性等不同方面進(jìn)行核對(duì),是驗(yàn)證數(shù)據(jù)質(zhì)量完整性的主要組成部分,包括月度指標(biāo)、周指標(biāo)、日指標(biāo)數(shù)據(jù)的完整性等內(nèi)容。
目標(biāo):檢驗(yàn)各項(xiàng)數(shù)據(jù)治理指標(biāo)的落實(shí)情況,查漏補(bǔ)缺,夯實(shí)數(shù)據(jù)治理效果;
技術(shù)工具:數(shù)據(jù)治理效果的評(píng)價(jià)指標(biāo)體系、各種數(shù)據(jù)圖表工具;
輸入:數(shù)據(jù)治理效果評(píng)估指標(biāo);
輸出:數(shù)據(jù)治理評(píng)估的月報(bào)、周報(bào)、日?qǐng)?bào)等;
10、數(shù)據(jù)治理持續(xù)改進(jìn)
數(shù)據(jù)治理模式應(yīng)業(yè)務(wù)化、常態(tài)化,不應(yīng)是一個(gè)項(xiàng)目、“一陣風(fēng)”的模式。
圖片源自互聯(lián)網(wǎng)
數(shù)據(jù)治理工作應(yīng)向企業(yè)生產(chǎn)、銷售業(yè)務(wù)一樣作為一項(xiàng)重點(diǎn)的業(yè)務(wù)工作來(lái)開(kāi)展,構(gòu)建專業(yè)的數(shù)據(jù)治理組織,設(shè)置合適的崗位權(quán)責(zé),建立相應(yīng)的管理流程和制度,讓數(shù)據(jù)標(biāo)準(zhǔn)貫徹到每個(gè)業(yè)務(wù)環(huán)節(jié),形成一種常態(tài)的工作。在筆者看來(lái),在數(shù)據(jù)源頭加強(qiáng)企業(yè)數(shù)據(jù)的治理,讓常態(tài)化治理成為日常業(yè)務(wù),才能從根本上徹底解決企業(yè)數(shù)據(jù)質(zhì)量的各種問(wèn)題,讓數(shù)據(jù)真正轉(zhuǎn)化為企業(yè)資產(chǎn),以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)流程優(yōu)化、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新、數(shù)據(jù)驅(qū)動(dòng)管理決策的目標(biāo)。
目標(biāo):數(shù)據(jù)治理常態(tài)化,持續(xù)提升數(shù)據(jù)質(zhì)量,驅(qū)動(dòng)流程優(yōu)化和管理創(chuàng)新。
輸入:持續(xù)的、規(guī)范的、標(biāo)準(zhǔn)的各項(xiàng)業(yè)務(wù)操作;數(shù)據(jù)治理監(jiān)控的各項(xiàng)指標(biāo)和報(bào)告;
輸出:持續(xù)輸出的高質(zhì)量的數(shù)據(jù);
博主觀點(diǎn):原理大家都懂,實(shí)踐時(shí)困難重重。在專家的指導(dǎo)下,應(yīng)用適當(dāng)?shù)墓ぞ呖勺尷碚撧D(zhuǎn)化為現(xiàn)實(shí)。華矩科技,專業(yè)的數(shù)據(jù)治理服務(wù)與技術(shù)提供商。
二、什么是數(shù)據(jù)生命周期,如何定義啊
算法的基本特征:是一組嚴(yán)謹(jǐn)?shù)囟x運(yùn)算順序的規(guī)則,每一個(gè)規(guī)則都是有效的,數(shù)據(jù)庫(kù)的生命周期:需求分析階段、概念設(shè)計(jì)階段、邏輯設(shè)計(jì)階段、物理設(shè)計(jì)階段、
三、數(shù)據(jù)安全級(jí)別由高到低劃分為
數(shù)據(jù)安全級(jí)別從高到低劃分為5級(jí)、4級(jí)、3級(jí)、2級(jí)、1級(jí)。
定級(jí)目標(biāo):
定級(jí)目標(biāo)旨在全面梳理和確立適當(dāng)分級(jí),用于指導(dǎo)建立統(tǒng)一、完善的數(shù)據(jù)生命周期安全保護(hù)框架的基礎(chǔ)工作。
在人行通知文件以及《數(shù)據(jù)安全法》等法規(guī)中,關(guān)于數(shù)據(jù)安全的目標(biāo)則是“保障數(shù)據(jù)依法有序自由流動(dòng)”。
在現(xiàn)已成熟的數(shù)據(jù)安全治理體系方法論中,數(shù)據(jù)分類分級(jí)是執(zhí)行層面首要任務(wù),也是最艱巨的任務(wù)。圍繞這個(gè)任務(wù)目標(biāo),在實(shí)際展開(kāi)數(shù)據(jù)定級(jí)工作時(shí),需要采用對(duì)數(shù)據(jù)全生命周期的動(dòng)態(tài)管控等數(shù)據(jù)安全治理方法。
數(shù)據(jù)安全定級(jí)規(guī)則:
與其他標(biāo)準(zhǔn)類似,數(shù)據(jù)安全性(CIA)遭到破壞后可能造成的影響是確定數(shù)據(jù)安全級(jí)別的重要判斷依據(jù)。
將影響程度分為四級(jí):嚴(yán)重?fù)p害、一般損害、輕微損害、無(wú)損害。
將數(shù)據(jù)安全級(jí)別是根據(jù)影響程度進(jìn)行劃分的。(個(gè)人金融信息保護(hù)技術(shù)規(guī)范中定為C3、C2、C1類,分別對(duì)應(yīng)4、3、2級(jí))
數(shù)據(jù)安全定級(jí)范圍:
主要界定定級(jí)范圍為電子數(shù)據(jù),包括紙質(zhì)文件掃描件。
定級(jí)原則:
合法合規(guī)性原則、可執(zhí)行性原則、時(shí)效性原則、自主性原則、差異性原則、客觀性原則。
關(guān)于時(shí)效性原則,指數(shù)據(jù)安全有效期具有一定期限。但是在本標(biāo)準(zhǔn)中,并沒(méi)有做出清晰界定。
四、ClickHouse數(shù)據(jù)生命周期管理
ClickHouse原生支持?jǐn)?shù)據(jù)生命周期 (TTL)管理的功能,可以對(duì)表或者表的某個(gè)字段添加TTL配置。
語(yǔ)法如下:
1)針對(duì)表
如果表之前沒(méi)設(shè)置TTL則直接新增。語(yǔ)法如下:
ALTER TABLE dmp_log.ods_rule_engine_log MODIFY TTL insert_time + INTERVAL 180 DAY;
對(duì)應(yīng)的刪除操作:
ALTER TABLE dmp_log.ods_rule_engine_log REMOVE TTL;
對(duì)于ReplicatedMergeTree引擎表,只需要在一個(gè)節(jié)點(diǎn)執(zhí)行即可,clickhouse會(huì)自動(dòng)同步到別的節(jié)點(diǎn)。
當(dāng)然可以根據(jù)數(shù)據(jù)的熱度不同,將數(shù)據(jù)移動(dòng)到別的存儲(chǔ)上。語(yǔ)法如下:
TTL d + INTERVAL 1 MONTH [DELETE],
d + INTERVAL 1 WEEK TO VOLUME 'aaa',
d + INTERVAL 2 WEEK TO DISK 'bbb';
2)針對(duì)字段
ALTER TABLE example_table
MODIFY COLUMN
c String TTL d + INTERVAL 1 MONTH;
TTL固然很方便,但是在數(shù)據(jù)量大的時(shí)候,性能消耗是非常大的。建議還是定期通過(guò)刪除分區(qū)或者備份分區(qū)的方式來(lái)實(shí)現(xiàn)數(shù)據(jù)的生命周期管理。
語(yǔ)法如下:
alter table dmp_log.ods_rule_engine_log drop partition 202007 ;
以上就是關(guān)于數(shù)據(jù)生命周期安全過(guò)程域相關(guān)問(wèn)題的回答。希望能幫到你,如有更多相關(guān)問(wèn)題,您也可以聯(lián)系我們的客服進(jìn)行咨詢,客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。
推薦閱讀:
行業(yè)分析報(bào)告免費(fèi)網(wǎng)站(中國(guó)行業(yè)數(shù)據(jù)分析網(wǎng))
貸款客戶數(shù)據(jù)(貸款數(shù)據(jù)資源)
中國(guó)服裝消費(fèi)數(shù)據(jù)(中國(guó)服裝消費(fèi)數(shù)據(jù)2019)
線上營(yíng)銷策略有哪些(線上營(yíng)銷策略有哪些類型)