Airbyte:一个开源数据集成平台,轻松构建ETL/ELT数据管道
是一个开源的数据集成平台,支持构建从数据库、文件、API 到数据仓库、数据湖、湖仓一体的 ETL/ELT 数据管道。
·
Airbyte 是一个开源的数据集成平台,支持构建从数据库、文件、API 到数据仓库、数据湖、湖仓一体的 ETL/ELT 数据管道。
Airbyte 社区版主要基于 Python 和 Java 开发,遵循 ELv2 开源协议,源代码托管在 GitHub,目前已经获得了 19.5K Stars:
https://github.com/airbytehq/airbyte
功能特性
- 丰富的连接器:提供超过 600 种数据源和目标连接器,包括数据库、数据仓库、API、文件系统、数据湖、数据分析平台等,同时还支持开发自定义的连接器。
-
灵活的部署:可以在本地机器、私有云、Kubernetes 集群部署,满足企业对数据安全和合规性的要求。
-
AI 集成:将非结构化或者半结构化数据集成到向量数据库,为大语言模型提供 RAG。
- 多种使用方式:既可以通过图形化界面创建集成管道,也可以通过 API 进行调用,或者基于 Terraform 构建 CI/CD,甚至使用 PyAirbyte 构建 LLM 应用。
在线体验
Airbyte 提供了一个可以免费试用的云服务,网址如下:
下载安装
推荐使用 Docker 本地部署 Airbyte,启动 Docker 之后,安装 Airbyte 命令行管理工具 abctl:
# Linux、macOS
curl -LsfS https://get.airbyte.com | bash -
# Windows
https://github.com/airbytehq/abctl/releases
对于 Windows 平台,解压 zip 文件之后,还需将目录添加到 PATH 环境变量中。
使用以下命令验证 abctl 安装:
abctl version
INFO Thanks for using Airbyte!
Anonymous usage reporting is currently enabled. For more information, please see https://docs.airbyte.com/telemetry
version: v0.30.1
然后输入以下命令安装 Airbyte:
abctl local install
安装完成之后,在浏览器中输入以下地址进行访问:
填写信息之后,点击“Get stared”:
登录邮箱和密码可以通过以下命令获取:
abctl local credentials
官方文档:
更多推荐
所有评论(0)