数据质量
概述
高质量的数据能够为决策提供可靠依据,提升业务流程的效率和准确性。本文将为您详细介绍基础视图和逻辑视图的数据质量校验相关内容,旨在帮助您全面掌握如何配置数据质量校验规则以及如何查看数据质量校验异常。
操作入口
首先点击【视图】菜单,然后选择您要校验的视图,再选中【概览】tab下,您可以点击字段对应的【配置质量校验】开始质量规则配置,具体如下图:

使用说明
配置质量校验
质量校验包含字段级配置和表级配置两部分内容

字段级配置
字段级配置主要是针对校验规则的配置,不同的字段类型支持不同的校验规则。

不同数据类型支持的校验规则
| 数据类型 | 空值校验 | 数值范围校验 | 枚举值校验 | 非法日期校验 | 格式校验(自定义/邮箱/手机号) | 唯一性校验 |
|---|---|---|---|---|---|---|
| BOOLEAN | ✅ | ❌ | ✅ | ❌ | ❌ | ❌ |
| INTEGER | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ |
| TINYINT | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ |
| SMALLINT | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ |
| BIGINT | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ |
| VARCHAR | ✅ | ❌ | ✅ | ✅ | ✅ | ✅ |
| CHAR | ✅ | ❌ | ✅ | ❌ | ✅ | ✅ |
| DATE | ✅ | ❌ | ❌ | ❌ | ❌ | ✅ |
| TIME | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
| TIMESTAMP | ✅ | ❌ | ❌ | ❌ | ❌ | ✅ |
| TIME_TZ | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
| TIMESTAMP_TZ | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
| DECIMAL | ✅ | ✅ | ❌ | ❌ | ❌ | ❌ |
| REAL | ✅ | ✅ | ❌ | ❌ | ❌ | ❌ |
| DOUBLE | ✅ | ✅ | ❌ | ❌ | ❌ | ❌ |
| FLOAT | ✅ | ✅ | ❌ | ❌ | ❌ | ❌ |
| BINARY | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
| VARBINARY | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
空值校验
空值校验支持null值和空值校验

数值范围校验
数据范围校验支持取值范围、求和、平均值、计数、最大值、最小值校验。

枚举值校验
枚举值校验支持通过配置枚举字段、码值进行校验。

非法日期校验
非法日期校验支持图中展示的日期格式校验,您也可以自定义格式校验。

格式校验
格式校验支持图中展示的字段格式校验,您也可以自定义正则表达式校验。

唯一性校验
唯一性校验支持字段的重复性校验。

表级配置
您可以配置调度周期和通知方式。
调度周期支持按照小时、日、周、月进行配置。通知方式支持平台内告警和邮件告警。

质量告警查看
您可以在【告警中心】查看质量异常告警。
点击【查看】后可以查看异常数据、执行SQL以及运行日志

质量告警提示
当您预览视图数据时,如果视图存在质量异常情形,则会提示您“质量校验异常”
