DATA GOVERNANCE

数据先理清,分析才可信

多表块、多级表头、语义字段、质量修复、回滚与数据集发布等流程仍待工程化;文件导入 ≠ 完整数据治理模块。

讨论数据治理场景
Willow 文件治理工作台:多表块、多级表头、语义字段、质量问题与修复差异

DATA STRUCTURE

每张表、每个字段
含义清晰明确

一份文件可能包含多个表块和多级表头。先确认表的边界与字段含义,再进行合并、计算与分析。

  1. 多表块:明确区分明细、汇总和说明区域,并保留来源与用途。

  2. 多级表头:梳理标题层级、跨列分组与单位,让每一列对应清晰的字段名称。

  3. 语义字段:明确业务名称、数据类型、计量单位、时间粒度和枚举含义。

  4. 结构确认:业务人员复核识别结果,确认表块范围、主键及字段映射。

QUALITY REVIEW

先查清问题
再确定修复方案

从缺失、重复、格式与冲突四类问题检查数据质量;问题清单保留原始值、影响范围与处理依据,避免修复后失去上下文。

  1. 缺失值:明确未提供、空白、零值三种情况,结合业务含义确定处理方式。

  2. 重复记录:分清重复导入与不同业务事件,明确去重依据和保留规则。

  3. 格式与单位:核对日期、编码、数值与计量单位,明确转换规则。

  4. 字段冲突:比较同一字段在不同表块中的含义与取值,先确认定义再合并。

CHANGE REVIEW

先核对修复差异
再确认数据变更

先了解修复原因和影响,再核对修改内容。保留原始版本、修复结果和确认记录,让每次变更可追溯、可回退。

  1. 修复建议:说明问题原因、修复方法和可能影响,供业务负责人审核确认;不能直接当作业务事实。

  2. 差异核对:对比修复前后的数据,标明哪些字段、记录和规则受到影响。

  3. 变更确认:由有权限的业务负责人确认修复方案,明确修改范围和使用版本。

  4. 版本回退:变更前保留原始版本,记录修改内容,方便需要时恢复。

STANDARD DATASET

数据正式发布
口径同步确认

标准数据集 ≠ 整理后的表格。字段字典、质量说明、版本来源与使用范围,才是它成为稳定分析输入的关键。

  1. 字段字典:说明各字段的名称、业务含义、类型、单位、时间范围和取值规则。

  2. 质量说明:列明已解决和待解决的问题,标注不纳入分析的数据及处理负责人。

  3. 版本发布:记录来源文件、修复内容、确认人和发布版本,方便追溯。

  4. 后续引用:使用已确认的数据版本生成指标、看板和报告,核查数据变更对分析结果的影响。

RESPONSIBILITIES

数据有人管理
变更有人确认

评估前明确需要提供的资料、最终交付的成果,以及双方各自负责的事项,让数据准备、修复确认和交付都有专人负责。

  1. 所需资料:提供原始文件、典型样本和字段说明,明确分析目标及允许使用的数据范围。

  2. 交付成果:交付标准化数据集、字段说明、质量问题清单、修复前后对比和版本记录。

  3. 客户职责:确认数据使用授权、字段含义、修复方案和发布范围。

  4. Willow 职责:梳理表格结构,说明数据问题和修复差异,按约定交付标准化数据及相关说明。

识别、确认、修复、回滚,再发布为可分析数据集。

数据治理设计处理多表块、多级表头、语义字段、质量问题和修复差异;自动、半自动与仅建议三种方式保留人工确认。

BEFORE ANALYSIS

从一份真实文件开始
明确数据治理范围

先明确分析目标,了解文件结构,确定业务负责人,再约定需要整理的字段、数据质量要求和交付内容。

开始数据治理评估