DATA GOVERNANCE

先理清數據,再令分析可信。

將檔案入面嘅表塊、表頭、欄位含義同質素問題,納入同一套治理流程。先檢查,再比較修復差異,確認之後形成可以發佈、可以追溯嘅標準數據集。

傾下數據治理場景
Willow 檔案治理工作台:多表塊、多層表頭、語義欄位、質素問題同修復差異

DATA STRUCTURE

每張表、每個欄位,含義都清楚。

一份檔案可以有幾個表塊同多層表頭。先確認每張表嘅範圍同欄位含義,再合併、計算同分析。

  1. 多表塊:分清明細、匯總同說明區域,保留各自嘅來源同業務用途。

  2. 多層表頭:整理標題層級、跨欄分組同單位,令每一欄都有清楚嘅名稱。

  3. 語義欄位:確認業務名稱、數據類型、計量單位、時間粒度同枚舉值嘅含義。

  4. 結構確認:由業務人員檢查識別結果,確認表塊範圍、主鍵同欄位對應。

QUALITY REVIEW

先睇清問題,再決定點樣修復。

按缺失、重複、格式同衝突檢查數據質素。問題清單要保留原始值、影響範圍同處理依據,修復後都可以回看背景。

  1. 缺失值:分清未提供、空白同零值,按業務含義決定點樣處理。

  2. 重複記錄:分清重複匯入同唔同業務事件,確認去重依據同保留規則。

  3. 格式同單位:檢查日期、編碼、數值同計量單位,訂清楚轉換規則。

  4. 欄位衝突:比較同一欄位喺唔同表塊嘅含義同取值,確認定義之後先合併。

CHANGE REVIEW

睇過修復差異,再確認變更。

修復建議要先講清原因同影響。原始版本、修復結果同確認記錄一齊保留,令變更同回滾都有清楚依據。

  1. 修復建議:記錄問題原因、建議行動同可能影響,唔會直接將建議當成業務事實。

  2. 差異檢查:對照原始值同修復值,標清受影響嘅欄位、記錄同規則。

  3. 確認責任:由有權限嘅業務負責人確認修復決定,訂清楚應用範圍同版本。

  4. 回滾目標:確認之前,先講清可以恢復嘅原始版本,保留變更記錄同回滾依據。

STANDARD DATASET

發佈數據時,一齊確認口徑。

標準數據集唔只係整理好嘅表格。欄位字典、質素說明、版本來源同使用範圍,一齊決定佢可唔可以成為後續分析嘅穩定輸入。

  1. 欄位字典:保留名稱、業務含義、類型、單位、時間粒度同取值規則。

  2. 質素說明:列出已處理同未處理嘅問題,講清排除範圍同負責人。

  3. 版本發佈:確認來源檔案、修復記錄、確認人同發佈版本,保留追溯關係。

  4. 後續引用:用已確認版本支援指標、Dashboard 同報告,檢查數據變更對後續分析嘅影響。

RESPONSIBILITIES

數據同確認責任,都有人承接。

評估前,先講清輸入、交付內容同雙方責任,將數據準備、業務確認同標準化交付,放入同一個工作範圍。

  1. 輸入:原始檔案、具代表性嘅樣本、欄位定義、分析目標,同允許使用嘅數據範圍。

  2. 產出:標準化數據集、欄位字典、質素問題清單、修復差異同版本說明。

  3. 客戶責任:確認數據授權、欄位含義、修復決定同發佈範圍。

  4. Willow 責任:整理表格結構,解釋質素問題同修復差異,按約定交付標準化結果。

理清複雜原始數據,建立可追溯嘅標準分析輸入。

識別結構同語義,檢查問題及修復差異,確認後發佈或回滾

BEFORE ANALYSIS

帶住一份真實檔案,傾清治理範圍。

先確認要分析嘅問題、檔案結構同業務負責人,再約定標準數據集嘅欄位、質素要求同交付邊界。

開始數據治理評估