首页 文章 项目 标签 关于我 友链

Seatunnel

公司使用seatunnel 配上Airflow 教程链接:https://www.cnblogs.com/kkk247843405/p/16967800.html ![Pasted image 20250306175235.png](/i...

· 2 分钟阅读

企业级数据集成方案:SeaTunnel 结合 Airflow 实战指南

教程参考: SeaTunnel + Airflow 部署教程


基本架构与功能

![Pasted image 20250306175235.png](../image/seatunnel/Pasted image 20250306175235.png)

1. Source Connector(数据源连接器)

SeaTunnel 支持从多种数据源读取数据,包括:

  • 数据库: 关系型数据库、图形数据库、NoSQL、文档数据库及内存数据库。
  • 分布式文件系统: 如 HDFS 等。
  • 云存储: 如 S3、OSS 等主流云存储解决方案。
  • SaaS 服务: 支持多种常见 SaaS 应用的数据接入。

2. Transform Connector(转换连接器)

当源端与目标端的数据架构(Schema)不一致时,可以使用转换连接器对数据进行清洗、转换或格式化,确保数据能够顺利写入目标系统。

3. Sink Connector(数据写入连接器)

SeaTunnel 支持将处理后的数据写入各类目标端,涵盖:

  • 数据库: 关系型、图形、NoSQL、文档及内存数据库。
  • 分布式文件系统: 如 HDFS。
  • 云存储: 如 S3、OSS 等。
  • SaaS 服务: 支持写入多种主流 SaaS 平台。

架构示意图

![Pasted image 20250306175550.png](../image/seatunnel/Pasted image 20250306175550.png)

![Pasted image 20250306175607.png](../image/seatunnel/Pasted image 20250306175607.png)

所有文章