跳转至

数据质量

概述

高质量的数据能够为决策提供可靠依据,提升业务流程的效率和准确性。本文将为您详细介绍基础视图和逻辑视图的数据质量校验相关内容,旨在帮助您全面掌握如何配置数据质量校验规则以及如何查看数据质量校验异常。

操作入口

首先点击【视图】菜单,然后选择您要校验的视图,再选中【概览】tab下,您可以点击字段对应的【配置质量校验】开始质量规则配置,具体如下图: 数据质量_image_1.png

使用说明

配置质量校验

质量校验包含字段级配置和表级配置两部分内容 数据质量_image_2.png

字段级配置

字段级配置主要是针对校验规则的配置,不同的字段类型支持不同的校验规则。 数据质量_image_3.png

不同数据类型支持的校验规则
数据类型 空值校验 数值范围校验 枚举值校验 非法日期校验 格式校验(自定义/邮箱/手机号) 唯一性校验
BOOLEAN
INTEGER
TINYINT
SMALLINT
BIGINT
VARCHAR
CHAR
DATE
TIME
TIMESTAMP
TIME_TZ
TIMESTAMP_TZ
DECIMAL
REAL
DOUBLE
FLOAT
BINARY
VARBINARY
空值校验

空值校验支持null值和空值校验 数据质量_image_4.png

数值范围校验

数据范围校验支持取值范围、求和、平均值、计数、最大值、最小值校验。 数据质量_image_5.png

枚举值校验

枚举值校验支持通过配置枚举字段、码值进行校验。 数据质量_image_6.png

非法日期校验

非法日期校验支持图中展示的日期格式校验,您也可以自定义格式校验。 数据质量_image_7.png

格式校验

格式校验支持图中展示的字段格式校验,您也可以自定义正则表达式校验。 数据质量_image_8.png

唯一性校验

唯一性校验支持字段的重复性校验。 数据质量_image_9.png

表级配置

您可以配置调度周期和通知方式。 调度周期支持按照小时、日、周、月进行配置。通知方式支持平台内告警和邮件告警。 数据质量_image_10.png

质量告警查看

您可以在【告警中心】查看质量异常告警。 数据质量_image_11.png 点击【查看】后可以查看异常数据、执行SQL以及运行日志 数据质量_image_12.png

质量告警提示

当您预览视图数据时,如果视图存在质量异常情形,则会提示您“质量校验异常” 数据质量_image_13.png