跳转至

文件系统与对象存储

AIR 支持连接 HDFS、S3、Azure Blob、ECS 和 KSYUN,浏览可访问范围内的目录及文件,并将适合的文件或目录转换为基础视图。上传本机文件请使用文件上传。

连接准备

准备存储服务地址、访问凭据和需要访问的桶、容器或目录。确保 AIR 及查询引擎具有列举目录和读取文件的权限。

配置连接

在“数据源”中点击“新建数据源”,选择相应类型,填写名称和描述,再配置以下连接信息。

HDFS

配置项 说明
部署模式 本地模式或高可用模式,与实际 HDFS 部署方式一致
nameNode 地址、端口 按所选模式填写 NameNode 或对应服务地址及 RPC 端口
根目录路径 限定需要浏览的数据路径
数据源额外配置信息 配置高可用、认证等所需的 Hadoop 客户端参数

HDFS 连接配置

高可用环境需按实际 nameservice 和 NameNode 配置补齐额外参数;不要直接复用单节点环境的地址配置。

S3

填写 Access Key ID、Access Secret Key、接入地址(endpoint),并按需指定桶和根目录路径。凭据应具有对应桶与路径的列举、读取权限。

S3 连接配置

Azure Blob

配置项 说明
Protocol 选择存储服务使用的 http 或 https
Account Azure 存储账号名称
Access Key 存储账号的访问密钥
Endpoint 该存储账号对应的服务端点,按目标环境提供的值填写
Container 需要访问的容器
根目录路径 容器内的数据路径

Azure Blob 连接配置

创建后先检查容器及目录是否可见,再选取文件进行转换和预览。连接成功但目录为空时,检查 Container、根目录路径和访问权限。

ECS 与 KSYUN

分别选择“ECS”或“KSYUN”,填写该存储服务的地址、端口、Access Key ID 和 Access Secret Key,并按需补充额外配置。应使用对应存储服务的接入信息,不要套用数据库账号或 HDFS 配置。

完成创建

按需设置投影更新与元数据同步,执行“连通性测试”,然后点击“创建”。打开数据源,检查文件目录是否可访问。

将文件或目录转换为基础视图

  1. 在数据源目录中找到目标文件或目录,选择“转为基础视图”。
  2. 检查识别的文件格式,必要时手工选择。当前转换配置包含 CSV、EXCEL、JSON、Parquet、ORC、Iceberg、Avro、SAS 格式;文件或目录必须与所选格式匹配。
  3. 根据格式配置解析参数,点击“预览数据”,检查列数、字段值及类型。
  4. 完成字段和数据刷新等配置后保存,通过生成的基础视图查询数据。
解析项 使用方式
分隔符 CSV 等分隔文本按实际内容选择逗号、分号、制表符或自定义值
编码格式 按文件编码选择 UTF-8、GBK、GB2312 等页面支持的值
第一行作为表头 文件首行是字段名称时启用
引号与注释 按文件内容设置引用内分隔符、注释符等选项
日期、时间格式 对显示这些配置的文件格式,按源文件内容设置解析格式
高级配置 使用页面支持的 JSON 参数补充文件读取配置

各格式可配置的选项不同,并非每项都会同时显示。Iceberg 目录需要包含有效的表元数据;不能把任意普通目录当作 Iceberg 表。

还原为文件

已转换的基础视图可通过对应操作还原为文件。还原后,AIR 中该逻辑表不再可用,依赖它的查询或视图可能受影响;操作前先检查依赖。该操作与删除源存储中的文件不同。