文件系统与对象存储
AIR 支持连接 HDFS、S3、Azure Blob、ECS 和 KSYUN,浏览可访问范围内的目录及文件,并将适合的文件或目录转换为基础视图。上传本机文件请使用文件上传。
连接准备
准备存储服务地址、访问凭据和需要访问的桶、容器或目录。确保 AIR 及查询引擎具有列举目录和读取文件的权限。
配置连接
在“数据源”中点击“新建数据源”,选择相应类型,填写名称和描述,再配置以下连接信息。
HDFS
| 配置项 | 说明 |
|---|---|
| 部署模式 | 本地模式或高可用模式,与实际 HDFS 部署方式一致 |
| nameNode 地址、端口 | 按所选模式填写 NameNode 或对应服务地址及 RPC 端口 |
| 根目录路径 | 限定需要浏览的数据路径 |
| 数据源额外配置信息 | 配置高可用、认证等所需的 Hadoop 客户端参数 |

高可用环境需按实际 nameservice 和 NameNode 配置补齐额外参数;不要直接复用单节点环境的地址配置。
S3
填写 Access Key ID、Access Secret Key、接入地址(endpoint),并按需指定桶和根目录路径。凭据应具有对应桶与路径的列举、读取权限。

Azure Blob
| 配置项 | 说明 |
|---|---|
| Protocol | 选择存储服务使用的 http 或 https |
| Account | Azure 存储账号名称 |
| Access Key | 存储账号的访问密钥 |
| Endpoint | 该存储账号对应的服务端点,按目标环境提供的值填写 |
| Container | 需要访问的容器 |
| 根目录路径 | 容器内的数据路径 |

创建后先检查容器及目录是否可见,再选取文件进行转换和预览。连接成功但目录为空时,检查 Container、根目录路径和访问权限。
ECS 与 KSYUN
分别选择“ECS”或“KSYUN”,填写该存储服务的地址、端口、Access Key ID 和 Access Secret Key,并按需补充额外配置。应使用对应存储服务的接入信息,不要套用数据库账号或 HDFS 配置。
完成创建
按需设置投影更新与元数据同步,执行“连通性测试”,然后点击“创建”。打开数据源,检查文件目录是否可访问。
将文件或目录转换为基础视图
- 在数据源目录中找到目标文件或目录,选择“转为基础视图”。
- 检查识别的文件格式,必要时手工选择。当前转换配置包含 CSV、EXCEL、JSON、Parquet、ORC、Iceberg、Avro、SAS 格式;文件或目录必须与所选格式匹配。
- 根据格式配置解析参数,点击“预览数据”,检查列数、字段值及类型。
- 完成字段和数据刷新等配置后保存,通过生成的基础视图查询数据。
| 解析项 | 使用方式 |
|---|---|
| 分隔符 | CSV 等分隔文本按实际内容选择逗号、分号、制表符或自定义值 |
| 编码格式 | 按文件编码选择 UTF-8、GBK、GB2312 等页面支持的值 |
| 第一行作为表头 | 文件首行是字段名称时启用 |
| 引号与注释 | 按文件内容设置引用内分隔符、注释符等选项 |
| 日期、时间格式 | 对显示这些配置的文件格式,按源文件内容设置解析格式 |
| 高级配置 | 使用页面支持的 JSON 参数补充文件读取配置 |
各格式可配置的选项不同,并非每项都会同时显示。Iceberg 目录需要包含有效的表元数据;不能把任意普通目录当作 Iceberg 表。
还原为文件
已转换的基础视图可通过对应操作还原为文件。还原后,AIR 中该逻辑表不再可用,依赖它的查询或视图可能受影响;操作前先检查依赖。该操作与删除源存储中的文件不同。