跳转至

NoSQL、搜索与图数据库

本章介绍 MongoDB、Tablestore、Elasticsearch 和 Nebula。HBase 的连接与列族映射见HBase 数据源。在创建窗口中,MongoDB、Tablestore 位于“NoSQL数据库”分类;Elasticsearch、Nebula 位于“其他”,也可在“全部”中按名称搜索。

通用创建流程

  1. 在“数据源”中点击“新建数据源”,选择对应类型。
  2. 填写基础信息和数据连接,按需补充 JSON 格式的额外配置。
  3. 配置投影更新、元数据同步,执行“连通性测试”后点击“创建”。
  4. 等待目录采集完成,检查表、字段和数据预览。结构不固定的数据需要进一步维护字段。

MongoDB

填写 MongoDB 地址、端口和连接账号。认证、集群连接等额外参数按目标环境要求填写。

MongoDB 数据连接

MongoDB 文档结构可以变化,自动采集的字段不一定覆盖所有记录中的属性。进入相应基础视图的字段信息区域,使用字段维护功能,补充需要查询的字段并设置适当的数据类型;保存后重新预览或查询,确认缺失字段能够正确读取。

字段名称应对应源文档中的属性。修改 AIR 中的字段配置用于定义查询映射,不会给 MongoDB 原始文档自动增加属性。

Tablestore

选择“Tablestore”。页面使用通用数据库字段名,实际填写的是表格存储实例信息:

页面字段 填写内容
地址 Tablestore 实例 Endpoint
数据库 Tablestore 实例名称
用户名 AccessKey ID
密码 对应的 AccessKey Secret
端口 当前表单非必填;使用完整的实例 Endpoint 连接

Tablestore 数据连接

准备可访问目标实例及表的云账号凭据。创建完成后,检查表的字段映射;需要时进入字段维护,配置原始字段名、查询字段名和数据类型,再验证查询结果。

Elasticsearch

选择“Elasticsearch”,填写地址、端口和连接账号。补充目标集群要求的额外连接参数,测试连接并创建。

检查需要访问的索引及其映射字段是否成功采集。若字段类型与预期不一致,先核对源端 mapping 和元数据同步结果;不要直接照搬 MongoDB 的字段假设。

Nebula

选择“Nebula”,填写服务地址、连接账号和目标环境需要的额外配置。页面未提供独立端口输入框时,按目标集群的连接地址格式填写。

创建后检查图空间及映射出的表和字段,确认需要的图数据可以通过 AIR 的基础视图查询。Nebula 的源端图模型与关系表不同,应以实际采集结果为准。

结果验证

依次确认数据源状态正常、目标目录可见、字段映射正确,并执行小范围查询。若字段出现空值或转换失败,核对原始数据的实际类型、字段路径及字段维护配置;若目录为空,优先检查源端访问权限和元数据采集范围。