序言：寫作是分享個人見解和探索未知領域的橋梁，我們為您精選了8篇的電商數據分析報告樣本，期待這些樣本能夠為您提供豐富的參考和啟發，請盡情閱讀。

第1篇

【關鍵詞】數據管控 元數據 數據質量 數據生命周期 數據安全

中圖分類號：TP315 文獻標識碼：B 文章編號：1006-1010（2014）-13-0010-05

1 引言

在大數據時代，數據是企業的核心戰略資產，隨著電信運營商大數據平臺建設和應用的推廣，大數據的“5V”典型特征（Volume、Variety、Velocity、Veracity、Value）對現有的數據管控體系提出了新的挑戰[1-2]，數據不準確、同一數據在多個系統或應用中重復出現且不一致、數據定義或數據項缺失、數據屬性不完整、數據生成不及時、數據含義不清晰等“錯、重、缺、慢、亂”問題逐漸暴露，其原因主要來自以下4個方面：

（1）在信息體系方面，元數據平臺能力顯性化不足，數據生命周期管理分散。由于運營商大數據平臺的數據源來自于各個分散的內部IT系統、業務平臺、通信網絡、互聯網和外部合作伙伴，元數據管理不全面且未平臺化，各數據源的系統信息架構不一致，數據模型不固化，數據標準不統一、不清晰，指標口徑存在差異，數據加工規則、映射關系不準確。

（2）在技術實現方面，缺乏貫穿數據流轉全程監控平臺，主要依賴各分包廠商自行保障數據質量，技術體系分散，無法銜接。總部對各省業務系統（數據源）環境了解不全面；數據采集過程存在數據傳輸延遲、數據傳輸失真的現象，缺乏數據稽核規則、數據異常處理規則；數據加工過程中，數據處理方法不合理，數據整合能力不強，數據服務缺乏節奏控制；數據后，缺少監控及管理措施；此外，還缺乏有效的數據備份恢復機制；沒有平衡好數據安全、生產效率和使用方便之間的矛盾，對敏感數據的定義、范圍也有待規范化。

（3）在流程執行方面，缺乏企業級數據質量保障流程及考核機制，各廠商間的數據質量管理項目流程缺乏協同。數據采集過程中，缺失數據錄入審核流程，存在部分省份人為調整數據的現象；數據流轉的流程不暢，部分省份數據上傳流程有問題；數據加工過程中，缺乏數據稽核流程，數據維護、調整流程執行力不強，監控不嚴格。

（4）在管理措施方面，缺乏企業級數據管控組織、責任和培訓體系。缺乏人員獎懲機制，部分省份貫徹規范不力；人員培訓不到位，基層人員缺乏相關技能，各省支撐能力存在差異。

為解決這些問題，運營商亟需完善其數據管控平臺，擴展數據管控能力，深入前移數據管控節點、完善數據管控范圍，建立起一套企業級的數據管控體系，實現企業數據標準剛性落地，加強數據生產、加工、使用全過程的透明管控，有效預防、監控、分析和處理數據質量問題。

2 運營商企業級數據管控體系

電信運營商的企業級數據管控體系目標是實現智能化、自動化的數據管控，從生產源頭進行監控并提升數據質量，實現企業數據標準剛性落地、數據生產加工全過程透明管控，并具備質量問題預測能力[3-5]。

數據管控體系可以分為管理域、核心域和支撐域這3個域，各個領域之間既相互聯系，又具有相對的獨立性，如圖1所示。其中，管理域實現數據管控組織、崗位、流程的管理和考核；核心域實現數據質量問題的預防、監控、分析和數據問題處理；通過支撐域完成底層技術實現，支撐域實現數據標準管理與元數據管理，是數據管控平臺的底層技術支撐。

對電信運營商而言，數據質量問題是最大的痛點。數據質量與其他管控領域的互動最為密切，因此建議運營商將數據管控以數據質量為中心。數據質量管理的目標是實現從數據生成到數據加工及應用全過程的透明管控，預防、監控、分析、處理數據質量問題。

數據質量管理由數據質量監控、數據質量問題分析和數據質量問題處理構成。

（1）數據質量監控主要包括：數據管控平臺與納管系統間的接口傳輸和采集監控，實現接口文件級校驗、接口文件記錄級校驗和接口及時性監控，對接口上傳數據是否及時（包括遲傳或者未傳）、接口上傳數據是否重傳、接口上傳數據重傳次數等進行監控；指標的邏輯性、完整性、一致性和及時性檢查以及波動監控；統一編碼變更監控、編碼映射關系變更監控；模型變更監控和模型一致性檢查；實體變更監控、實體完整性監控，監控各個業務系統（特別是已經正式上線運行的業務系統）數據庫的實體對象及其變更情況；數據加工、數據稽核、數據和頁面監控等。

（2）數據質量問題分析主要包括：數據質量問題自動定位，根據數據加工過程鏈路關系圖、接口采集鏈路關系圖、數據稽核鏈路關系圖（按血緣關系配置）、編碼或實體鏈路關系圖（按血緣關系配置），設置重點監控節點，并對重點監控節點進行監控預警規則配置，對出現質量告警的節點進行數據質量狀況分析以及血統分析，找到問題出現的根源節點，實現對數據質量問題的快速定位。數據質量問題分析，可采用編碼映射影響分析，指標口徑影響分析，問題分析報告管理，數據質量報告管理等。

（3）數據質量問題處理則主要負責根據數據質量問題報告的問題列表和問題明細列表，完成數據質量問題工單的生成、分配、派發、接收、協同處理、反饋、結果評估和知識沉淀。數據質量監控如遇異常情況，會自動觸發質量問題分析流程、數據問題處理流程以及通知流程，并支持數據質量監控報告的自動生成。

數據質量管理及數據管控的關鍵點包括數據標準管理、元數據管理、數據生命周期管理和數據安全管理。

（1）數據標準管理的目標是建設企業級的數據標準體系，規范企業數據管理流程和制度，在全企業各IT系統落地執行，實現標準（包括基本指標、維度、指標樹、編碼、模型）管理、檢索和比對，以及標準執行日常核查和應用上線標準化審核等核心支撐能力。其中，應用上線標準化審核是基于指標比對、編碼比對和模型比對等功能，檢查、審核新上線應用的指標、編碼、模型等是否遵從企業的數據標準要求，從源頭上管控企業級數據標準的執行。標準執行日常核查則是從多個維度，針對已運行的納管生產系統選取抽樣的生產模型、編碼對象進行比對，實現數據標準化執行結果的常態化檢查機制。

（2）元數據管理的目標是顯性化支撐企業數據標準化，提供元數據采集、信息維護和變更管理，以及元數據地圖分析、血統分析、影響分析、活躍度分析、冗余性分析和實體差異分析等元數據基礎應用，為數據管控體系的數據導入、維護、質量管理、數據分析提供基礎。

其中，數據地圖分析是以拓撲圖的形式對數據管控平臺納管系統的各類數據實體、數據處理過程的元數據進行分層次的圖形化展現，并通過不同層次的圖形展現粒度控制；血統分析幫助了解業務流程，檢查指標數據，驗證指標實際加工過程是否滿足指標計算口徑的定義，達到對質量進行輔助檢查的作用；影響分析幫助發現因某個實體發生變化或修改時可能會受到影響的實體，并評估這個范圍，進行優化整理；活躍度分析顯示哪些指標的運行效率、穩定性等對系統的影響相對更大，需要重點保障，降低系統的風險指數；冗余性分析從業務規則、實體定義、業務定義等元數據角度去審查數據是否冗余，并將冗余數據以列表的形式展示處理，并支持數據導出；實體差異分析實現2個實體屬性與血統鏈路圖的差異性比較，從而幫助客戶選擇合適的統計口徑。

（3）數據生命周期管理的目標是將存儲分級管理規范化，降低成本，實現完善的遷移方案，規范生產應用遷移需求，實現歸檔數據的自查詢能力，提升歷史高價值數據的再利用支撐能力。數據生命周期管理由配置管理、執行管理和執行監控分析構成。

配置管理包括：對象管理，確定數據生命周期管理的對象；要素管理，負責配置價值要素、時效要素、成本要素、風險要素等；策略管理，配置數據的分級存儲策略（在線/近線/離線的階段和周期）、備份策略（時間、地址、對象、條件）、壓縮策略（壓縮對象、壓縮比、壓縮執行時間）等；設備管理，維護管理被管控的數據對象所涉及的存儲設備信息；策略映射管理，將要素、策略和設備信息等映射到具體的數據對象上，形成最終可執行的具體的數據生命周期管理規則。

執行管理實現企業級的數據壓縮、備份、分級存儲、清理等數據生命周期過程的調度、執行和控制管理。

執行監控分析主要對備份、分級存儲、壓縮等執行結果進行顯性化監控和分析，可對具體的數據對象的各種存儲分級狀態（在線/近線/離線）進行分析。

（4）數據安全管理的目標是提升敏感數據訪問控制、保證系統操作安全、加強應用訪問權限等能力，在不降低安全支撐能力的基礎上，提升數據提供效率。數據安全管理由權限管理、加密管理和數據安全日志分析構成。權限管理包括數據用戶安全和開發/維護過程安全。加密管理包括關鍵數據加密管理、密鑰管理、加密內容查詢和加密算法管理。數據安全日志分析包括敏感數據訪問分析、應用訪問日志監控、主機操作監控、異常操作數據庫分析、數據操作監控和異常下載預警等。

3 運營商數據管控組織架構

對照電信運營商的企業組織架構，數據管控建議采用“一級管理、二級維護、三級應用”的模式，數據管控組織覆蓋集團總部和省分公司，包括數據管理域和生產業務域，組織架構圖如圖2所示。

運營商數據管控組織架構中各角色的職責如表1所示。

為保障數據管控工作的有序開展，需要建立相應的數據管控流程、培訓和考核制度，規范數據管控流程，定期開展數據管控培訓，全面考核數據管控相關角色的支撐能力，確保數據質量的可靠性、有效性和權威性。考核周期可以分為月度考核、季度考核、年度考核。在考核初期，考核人為被考核人制定考核計劃，明確考核內容和考核規則，考核計劃需經過被考核人確認和上級領導批準；在考核期末，可以先由被考核人自評，然后考核人根據被考核人的表現和指標，為考核人打分，考核結果經過被考核人確認和上級領導批準后生效，考核結果作為員工定崗、升職和獎金發放的依據。考核方式可以采用主觀考核和客觀考核2種方式，數據管控平臺能夠提供數據的內容的，采用客觀量化考核，并由平臺周期性自動執行，對于系統不能夠提供數據的內容，由相關管理人員人工打分。

4 結束語

企業級數據管控體系的建立、完善和維護，在采用先進技術手段建立數據管控平臺的同時，更需要建立起配套的企業級數據管控組織、責任、流程、培訓和考核體系。

鑒于運營商目前已經累積了大量的數據管控問題并不斷產生新問題，需要分2步解決數據管控問題，一是數據管控環境初始化，有效解決歷史質量問題，形成經驗規則；二是在歷史經驗規則的基礎上不斷優化，這將是一個長期的過程，應該得到領導層的高度重視和有效參與。

參考文獻：

[1] 童曉渝，張云勇，房秉毅，等. 大數據時代電信運營商的機遇[J]. 信息通信技術， 2013（1）： 6-9.

[2] 李勇，曹文娟. 電信運營商大數據策略的“攻”與“防”[J]. 通訊世界， 2013（4）： 39-40.

[3] 葉丹. 初探電信運營商數據管控體系[J]. 通信世界， 2009（43）： 12-13.

[4] 李曉東. 電力企業數據中心數據管控的研究與應用[J]. 電力信息化， 2012（8）： 60-64.

[5] 賈紅龍. 論煙草行業數據中心建設中的數據質量管理[J]. 信息技術與信息化， 2009（6）： 33-38.

作者簡介