Kafka 数据源

Kafka 数据源用于接入 Kafka 消息数据。连接配置需要与集群实际使用的认证方式、安全协议和 SASL 机制一致。

连接准备

准备 Kafka Broker 地址列表、需要访问的 Topic，以及认证所需的账号或 Kerberos 文件。连接账号应具有目标 Topic 的访问权限，AIR 执行环境应能够访问 Broker。

创建数据源

1. 在“数据源”中点击“新建数据源”，选择“Kafka”。
2. 填写名称和描述，在“数据连接”中填写 Broker 地址及认证配置。
3. 按需设置额外配置和投影更新，执行“连通性测试”。
4. 测试通过后点击“创建”，检查目标 Topic 是否可见。

配置项	说明
地址	Broker 地址列表，多个地址使用逗号分隔，例如 <broker-1>:<port>,<broker-2>:<port>
认证	不认证、用户密码、Kerberos 认证；根据集群选择
用户名、密码	使用用户密码认证时填写
Kerberos Principal	使用 Kerberos 时填写对应主体
krb5.conf、kafka.keytab	按页面要求上传对应认证文件
安全协议	PLAINTEXT、SSL、SASL_PLAINTEXT 或 SASL_SSL
Truststore 文件与密码	使用需要信任库的安全协议时，按页面要求配置
SASL 机制	按集群选择 PLAIN、SCRAM-SHA-256 或 SCRAM-SHA-512 等页面提供的选项
数据源额外配置信息	需要补充的 Kafka 客户端参数，使用 JSON 格式

认证和协议选择会影响后续显示的字段。不要将“不认证”与任意安全协议随意组合，所有参数都应与目标集群保持一致。

配置并验证 Topic 数据

1. 在目录中选择需要使用的 Topic，打开转换为基础视图的配置。
2. 填写消费组 ID（Group ID）和客户端 ID（Client ID）。
3. 选择消费策略：从最新位置、最早位置或消费组已记录的位置开始。
4. 按消息内容选择 JSON 或 CSV，补充解析参数并检查字段。
5. 完成配置后验证数据预览或查询结果。

消费策略会影响读取的数据范围；需要读取历史消息时，应核对起始位置与 Kafka 中仍保留的消息范围。

Broker 可连通但无法使用 Topic 时，检查 Topic 是否存在、账号权限以及消息格式。消息解析成功后，再根据业务需求配置投影及其更新方式。