2048 AI社区

2048 AI社区

AI资讯 AI造物社区 MCP

话题讨论活动竞赛科技篇产业对接

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

2048 AI社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

etl

用GLM-5.1全自动生成“文档清洗入库“脚本，一键榨干复杂PDF！

摘要：RAG技术在企业应用中面临数据验证与质量难题。本文提出利用GLM-5.1大模型结合Docling和MinerU两大开源解析工具，构建全自动PDF清洗入库方案。通过对比分析不同解析方案的性能差异，展示了新型技术在处理复杂文档上的优势。最后给出基于GLM-5.1自动生成的Python实现代码，实现从PDF解析到向量数据库入库的全流程自动化，有效解决非结构化数据处理痛点。

SOOOOOOOOO
2026-04-09 21:30:41

 559

 11

#etl
2026年ETL最全测评：免费ETL工具推荐优选榜单，助你100%避开选型误区

2026年ETL工具评测：实时化与国产化成为关键指标。本文深度分析当前主流免费ETL工具的优劣势，指出传统工具在实时CDC、信创适配方面的不足。特别推荐ETLCloud作为国产首选，其具备毫秒级CDC同步、AI辅助开发、全栈信创适配等优势，已服务2万+企业。相比Kettle等传统工具，ETLCloud在实时性、易用性和国产化方面表现突出，社区版功能完整且无数据量限制，成为2026年企业数据集成的最

 苛子
2026-04-09 09:41:00

 460

 4

#etl #数据仓库
大数据ETL架构：Airflow与DataX集成方案

目的：解释“为什么需要Airflow+DataX”，讲清两者集成的原理、步骤与最佳实践。范围：覆盖ETL基础概念、Airflow/ DataX核心原理、集成架构设计、实战代码实现、应用场景与未来趋势。概念铺垫：用“餐厅后厨”类比讲清ETL、Airflow、DataX的关系；原理剖析：拆解Airflow的“调度逻辑”与DataX的“同步逻辑”；集成实战：手把手教你搭建Airflow+DataX的ET

Python人工智能大数据
2026-02-19 20:02:59

 744

 17

#大数据 #etl #架构
用 ETL 视角讲清楚 Claude Code、Skill、Agent 和 Clawdbot

Claude Code、Skill、Agent、Clawdbot 这些 AI 概念听起来很玄乎，但如果你做过 ETL，其实早就会了。本文用 ETL 工具链类比 AI 工程化体系：Claude 模型 = SQL 语句（执行层），Skill = 存储过程（能力封装层），Claude Code = Toad（开发工具层），Agent = MOIA 作业流（任务编排层），Clawdbot = 调度平台（生

 官能
2026-02-12 17:33:21

 1085

 19

#etl #数据仓库 #人工智能 +1
企业级指标中台 API/JDBC 架构选型四步法

通过 “定义即治理” 和 NL2MQL2SQL 架构，在指标生产源头和 AI 消费入口嵌入管控，确保指标体系在扩展中的健康度与安全性。

Aloudata
2026-02-12 15:27:44

 1115

 8

#大数据 #数据分析 #etl
NoETL 语义编织 vs 传统 ETL/ELT，指标平台选型深度对比

统一的语义层不仅是提升 BI 效率的工具，更是企业构建高质量、结构化、易被 AI 理解的 AI-Ready 数据底座的关键基础设施。

Aloudata
2026-02-10 13:07:17

 806

 10

#etl #数据仓库 #自动化 +1
[数据工程] 告别脏数据：智能体来了（西南总部）AI调度官的自动化ETL清洗与AI agent指挥官的数据合成管线

传统的 Regex（正则表达式）清洗已经失效。本文将硬核复盘智能体来了（西南总部）的 "AI-Native Data Factory"：如何利用 AI 调度官进行语义级的数据清洗与去重，并利用 AI Agent 指挥官执行 Evol-Instruct 策略，自动合成高质量的训练数据。

a1159530428
2026-02-02 19:29:14

 731

 5

#人工智能 #自动化 #etl
数据工程指南：指标平台选型避坑与 NoETL 语义编织技术解析

为企业安全、高效地拥抱 AI 提供了必经之路。

Aloudata
2026-02-02 16:35:10

 636

 7

#数据分析 #etl #sql +1
【SpringAI】RAG工作流程与ETL实战解析

本文介绍了SpringAI中RAG(检索增强生成)的ETL数据处理流程。主要内容包括：1. RAG工作流程概述，分为离线建立索引和在线检索生成两个阶段；2. ETL管道的三个核心组件：DocumentReader(文档提取)、DocumentTransformer(文档转换)和DocumentWriter(文档加载)；3. 详细讲解了文本分割器、元数据增强器等转换工具的使用方法；4. 通过代码示例

 私.115
2026-01-30 21:50:09

 1172

 13

#etl #spring boot #java
数据工程新范式：NoETL 统一语义层破解跨境电商 ROI 统筹与数据孤岛难题

为精准决策和 AI 应用提供可信底座，真正释放数据生产力

 Aloudata
2026-01-28 10:55:10

 686

 14

#数据分析 #etl
MLOps测试流水线：软件测试工程师的AI质量守护指南

摘要：MLOps测试面临数据漂移、模型不确定性和环境敏感性的三重挑战，需构建包含数据验证、模型测试和持续监控的完整流水线。关键实践包括：数据质量检测（PSI<0.15）、对抗样本测试（准确率>85%）、四维监控矩阵（数据/性能/业务/资源）。演进路线从基础建设逐步升级至AI驱动测试，成熟体系可降低63%故障率（Gartner数据）。前沿方向涵盖AI测试生成、数字孪生环境等创新技术，以应

 测试人社区—8416
2026-01-14 14:51:29

 1020

 20

#人工智能 #自动化 #运维 +4
跨浏览器测试自动化：Sauce Labs深度评测

本文深入剖析跨浏览器测试自动化的重要性及SauceLabs云测试平台的解决方案。文章从技术架构、功能评测、性能指标等维度，对比分析了SauceLabs在2000+浏览器-OS组合支持、AI辅助分析等核心能力上的优势，指出其90%的缺陷检出率和高效并行测试特点。通过电商案例展示了70%缺陷逃逸率下降的实际效果，并与BrowserStack等竞品进行多维度对比。尽管存在成本门槛，SauceLabs仍是

 测试人社区—8416
2026-01-12 14:20:32

 1273

 29

#自动化 #运维 #etl +4
‌测试数据管道韧性：ETL中断

本文探讨了ETL管道韧性测试的关键策略。首先分析了ETL中断的三大成因：技术故障、数据问题和外部依赖失效，指出60%中断由数据质量引发。其次提出结构化测试方法，包括故障注入、边界条件测试和数据完整性校验，强调自动化集成和监控的重要性。最后介绍了主流工具（如Apache NiFi、Gremlin）的实战应用，通过电商和金融案例说明优化方向。建议采取预防性设计、定期演练和跨职能培训，以应对云原生和AI

测试人社区—8416
2026-01-08 16:39:56

 608

 18

#etl #数据仓库 #人工智能 +4
数据同步工具选型：DataMover、DataX、Kettle、ETLCloud、Talend、Airbyte

数据同步工具对比与选型指南本文系统对比了8款主流数据同步工具（DataMover、DataX、Kettle等），从架构设计、功能特性到适用场景进行全面分析。工具可分为四类：开源框架类（如DataX）、传统ETL类（如Kettle）、国产云平台类（如DataMover）和SaaS服务类（如Airbyte）。重点对比了部署架构、数据处理能力、增量同步支持、易用性等核心维度，指出DataMover在图

 gengry
2026-01-02 18:21:18

 1683

 31

#etl #数据库 #迁移学习 +2
驾驭TestRail：专业测试管理工具的配置精要与实战应用

TestRail作为专业测试管理工具，在数字化转型时代为测试团队提供了高效解决方案。本文详细解析TestRail的配置与应用：首先介绍云服务与本地部署两种模式的选型要点，以及项目规划、权限管理等核心配置；其次阐述测试用例编写规范、执行跟踪和数据分析等实践技巧；最后强调持续优化的重要性，包括定制化配置、团队规范建设和系统集成。通过合理配置和深度应用，TestRail能显著提升测试组织的管理效率和质量

 2501_94449311
2025-12-31 11:37:19

 1239

 17

#数据仓库 #重构 #运维 +4
‌嵌入式软件与实时系统测试：挑战演进与实践精要

摘要：嵌入式系统测试面临实时性、资源约束和硬件耦合三大挑战，传统方法在高可靠性领域失效。核心技术包括时序验证（WCET分析、调度测试）、硬件在环（HIL）模拟（支持200+故障场景）和非功能测试（功耗、内存泄漏等）。敏捷测试采用DevTestOps流程，结合虚拟化环境和AI预测模型（准确率>89%）。前沿方向聚焦数字孪生、混沌工程和量子安全，ISO26262-6标准要求严格时序验证。测试工程

 2501_94449311
2025-12-31 10:55:59

 687

 14

#重构 #运维 #etl +4
‌测试工程师的核心竞争力：技术深度与业务广度

数字化转型推动软件测试工程师从"找bug者"升级为质量保障核心。核心竞争力体现为技术深度与业务广度的双轨驱动：技术深度聚焦自动化工具、编程能力及性能测试，提升效率与覆盖率；业务广度强调需求分析、行业认知及协作能力，实现质量战略升级。二者融合形成T型人才模型，如谷歌团队将缺陷逃逸率降至0.5%。未来趋势显示，兼具AI测试技术与业务洞察的复合型人才需求将增长60%，建议通过认证学习

 2501_94449311
2025-12-31 10:39:21

 1139

 15

#重构 #运维 #etl +4
持续测试成熟度：数字化转型中的质量工程革命

摘要：构建自适应软件质量保障体系需以持续测试成熟度模型(CTMM)为核心，通过五维评估框架(自动化深度、反馈时效性等)实现阶梯式提升。关键路径包括：1)自动化筑基，建立API测试核心层；2)质量内建，实施风险驱动测试；3)智能演进，构建质量数字孪生。配套组织变革支撑机制，实施企业可实现发布频率提升300%、质量成本下降67%的突破。未来趋势将融合AIGC技术，发展智能测试助手和预测性质量运营，推动

 2501_94449311
2025-12-28 10:57:49

 987

 12

#运维 #etl #原型模式 +4
测试与运维的协作闭环：基于故障注入的韧性验证

摘要：本文探讨故障注入技术在提升软件系统韧性中的关键作用。通过主动引入网络延迟、服务崩溃等故障，测试团队可验证系统恢复能力，将韧性提升30%以上。文章强调测试与运维的协作闭环，双方共享数据、实时监控，共同优化系统，使故障响应时间缩短50%。实施策略包括文化共建、工具整合和风险管理，并以金融系统案例展示MTTR从5分钟降至30秒的成效。尽管面临文化冲突等挑战，但通过"韧性冠军"机

 2501_94449311
2025-12-27 18:43:39

 733

 31

#运维 #etl #原型模式 +4
大数据 ETL 与人工智能的数据交互模式

数据流动：ETL将处理好的结构化数据（如Parquet文件）输出到数据仓库，AI模型（如Scikit-learn、TensorFlow）从数据仓库读取数据进行训练/推理。核心逻辑：ETL是“数据生产者”，AI是“数据消费者”，两者是单向依赖关系。数据流动：AI模型（如机器学习、深度学习）嵌入ETL pipeline，优化ETL的转换/加载步骤（如异常检测、缺失值填充、性能预测）。核心逻辑：ETL是

 Java大师兄学大数据AI应用开发
2025-12-26 00:25:17

 1104

 23

#大数据 #etl #人工智能
为 LLM/RAG 准备数据时，清洗流程与传统 ETL 清洗有何不同？

这一现象也让 “LLM/RAG 数据清洗” 与 “传统 ETL 清洗” 的差异浮出水面：在大模型时代，数据清洗不再是简单的 “修正错误”，而是要为模型构建 “可理解、高关联、语义完整” 的输入环境，而文档解析作为数据清洗的前置核心环节，其技术能力直接决定了两种清洗模式的效果差异。传统 ETL 清洗：仅能处理 “字段定义明确” 的结构化数据，如将 “用户表” 中的 “手机号” 字段统一为 11 位格

 TextIn智能文档云平台
2025-12-24 15:32:06

 718

 16

#etl
Airflow 做 ETL，真不是“排个 DAG 就完事儿”：那些年我踩过的坑与悟出的道

本文分享了使用Airflow构建生产级ETL系统的经验与教训。作者指出常见误区包括将Airflow当作任务执行器而非编排器、在DAG中嵌入过多业务逻辑、XCom滥用大数据传输等。文章给出了基于KubernetesPodOperator的DAG模板，强调任务隔离、幂等性、小粒度DAG设计等最佳实践。关键建议包括：Airflow仅负责调度编排而非计算；ETL脚本需独立可重复执行；必须配套数据质量监控工

 Echo_Wish
2025-12-12 22:07:58

 917

 27

#etl #数据仓库
Spring AI ETL Pipeline 深度解析与最佳实践

ETL（Extract, Transform, Load）即提取、转换、加载，是数据工程领域处理数据流的标准模式。在Spring AI框架下，ETL主要服务于RAG场景，把多源原始数据转化为AI模型可检索的结构化向量。从PDF、JSON、Markdown、HTML等多种格式读取原始数据。对数据分割、格式化、增强元数据（如关键词、摘要等）。将处理后的数据存入向量数据库，供AI模型检索。“读变存，三步

 北漂老男孩
2025-11-20 10:04:41

 820

 8

#spring #人工智能 #etl
Airflow 工作流管理：自动化你的数据ETL管道

摘要本文介绍了如何使用Apache Airflow构建自动化ETL数据管道。Airflow作为工作流管理工具，超越了传统cron的局限，通过有向无环图(DAG)实现任务编排和依赖管理。文章首先解释了Airflow的核心概念（DAG、Operator、Task等），然后详细展示了环境搭建步骤。重点通过6个由浅入深的实战案例（包括文件处理、网络爬虫、数据库ETL等）演示Airflow的实际应用。这些

 TwoAI
2025-11-19 13:01:44

 1109

 9

#自动化 #etl #原型模式 +1
大数据领域数据仓库的ETL作业监控

数据仓库是企业的“数据大脑”，而ETL（Extract-Transform-Load）则是“给大脑供血的血管”——它负责从业务系统（如电商订单库、物流日志）中提取数据，清洗/转换后加载到数据仓库，支撑报表、分析、AI模型等上层应用。但ETL作业天生“脆弱”：数据库连接超时会导致Extract失败，数据格式错误会让Transform崩溃，数据仓库磁盘满会让Load卡住……一次ETL故障，可能导致所有

 2501_91888447
2025-11-16 14:14:26

 897

 14

#数据仓库 #大数据 #etl
阿里云 EventBridge + 百炼技术详解：AI 时代实时智能 ETL 数据管道构建

作为数据处理领域的经典模式，ETL（Extract-Transform-Load）通过提取、转换、加载三个步骤，高效地处理着各类结构化数据。然而，面对 AI 时代海量、异构、实时的“数据洪流”，传统 ETL 链路，尤其是其核心的转换（Transform）环节，正面临严峻挑战。

阿里云云原生
2025-11-13 15:19:21

 741

 12

#阿里云 #人工智能 #etl
第七章：BI的未来趋势

摘要商业智能（BI）的未来发展趋势聚焦五大方向： AI与BI融合：通过机器学习、自然语言处理等技术实现自动化洞察与智能决策，提升分析效率，国内厂商正加速AI功能整合。实时BI普及：依托5G、IoT和流处理技术，支持动态数据监控与快速响应，帮助企业优化运营效率。嵌入式BI兴起：将分析功能集成至业务系统（如CRM、ERP），降低使用门槛，提升决策便捷性。数据民主化：通过自助分析工具赋能非技术人

 猿享天开
2025-11-01 10:08:26

 1465

 24

#大数据 #数据仓库 #原型模式 +1
【辉光大小姐小课堂】107 AI数据管道调度--ETL-ELT管道半夜失败，告警邮件堆积如山

命令AI成为你的“数据管道调度员”，分析失败日志，自动关联上下游依赖，快速定位故障节点，并给出修复建议。

11741697
2025-09-22 09:00:00

 1370

 34

#人工智能 #etl #数据仓库
Airbyte：一个开源数据集成平台，轻松构建ETL/ELT数据管道

是一个开源的数据集成平台，支持构建从数据库、文件、API 到数据仓库、数据湖、湖仓一体的 ETL/ELT 数据管道。

不剪发的Tony老师
2025-09-18 20:00:00

 1138

 5

#etl
从 ETL 到 Agentic AI：工业数据管理变革与 TDengine IDMP 的治理之道

从 ETL 到 ELT，工业数据管理的目标一直没变：让数据 “存得下、用得快、出价值”。但光有 ELT 不够，光有 AI 也不够——得有一个平台，把 “数据情景化” 做好，让 AI 能 “看懂数据、用好数据”。TDengine IDMP 做的就是这件事：它不是单纯的 “数据库扩展”，也不是 “治理工具”，而是把 “存储、情景化、AI 协作” 串起来的工业数据中枢。它解决的是工业数据的 “最后一公里

 老段，万物互联之物联网
2025-09-05 17:56:10

 2091

 24

#etl #人工智能 #tdengine +4
多云战略的悖论：为何全局数据“看得见”却“算不起”？

多云已成为企业数字化的常态，而数据服务的复杂性也随之升级。传统的“物理集中式”数据架构在多云环境下已显疲态。Aloudata AIR 逻辑数据编织平台的出现，提供了一种更具弹性和适应性的解决方案。通过构建“敏捷服务层 + 核心资产层”的混合数据架构—— 以 Aloudata AIR 逻辑数据编织平台作为敏捷服务层，轻量级处理探索性、临时性、跨源查询等需求；以集中式湖仓作为核心资产层，承载高复用性的

 Aloudata
2025-09-05 13:57:34

 993

 13

#大数据 #etl #人工智能
从 ETL 到 ELT 再到 EAI：AI 如何重塑数据处理

从 ETL 到 ELT 再到 EAI：AI 如何重塑数据处理

 悟乙己
2025-08-31 17:45:35

 1187

 23

#etl #人工智能 #原型模式
从易用性的角度来看，哪个ETL平台比较好用？

在数字化转型中，ETL平台的“易用性”成为关键。本文从学习成本、界面设计、配置难度、文档支持和部署运维五大维度，对比Talend、Informatica、Airbyte、ETLCloud等主流工具，结合企业规模与团队角色，提出选型建议，强调易用性对落地效率与数据协作的决定性影响。

RestCloud
2025-08-27 18:29:30

 1068

 24

#etl #数据仓库
除了Fivetran和Airbyte，2025年还有哪些ETL产品值得关注？

摘要：ETL工具选型需平衡效率与可追溯性，关键考量包括吞吐量、扩展能力、数据血缘管理、部署兼容性和总成本。主流工具各具特色：RestCloudETLCloud适合国产化需求（吞吐量高，支持百亿级数据）；Talend OpenStudio适合开源定制（150GB/h吞吐）；Informatica适合大型企业（500GB/h吞吐，3秒延迟）；AWS Glue适合云原生场景（400GB/h吞吐）；Sea

老刘聊集成
2025-08-25 17:03:07

 1138

 19

#etl #数据仓库
数据爆炸时代，为什么 ETL 工程师比 AI 工程师还值钱？

摘要：随着AI热潮退去，企业发现数据质量成为AI落地的关键瓶颈。ETL工程师（负责数据抽取、转换和加载）的价值日益凸显，他们负责将混乱的原始数据整理为可用资源，是AI模型的基础保障。相比AI工程师专注于算法优化，ETL工程师解决的是数据源分散、格式混乱、合规要求等底层问题。随着数据爆炸式增长和监管趋严，具备跨部门沟通、工程化处理、架构设计等能力的ETL工程师成为稀缺人才。未来ETL工程师将向全链路

 老刘聊集成
2025-08-22 14:49:43

 1146

 10

#etl #人工智能 #数据仓库
从数据抽取到加载：如何保障ETL中间环节的高效与稳定

摘要：大型企业ETL流程中，数据转换环节常成为性能瓶颈，导致数据同步延迟和决策滞后。本文针对IT负责人和数据架构师，提出通过异步架构（如Kafka消息队列和Flink流处理）、数据血缘追踪工具（如Apache Atlas）以及实时监控（Prometheus+Grafana）来优化ETL流程。这些方案可将延迟降低50%以上，减少80%的事故风险，并提升30%的维护效率。根据业务规模选择合适工具（如F

老刘聊集成
2025-08-21 08:56:48

 1040

 7

#etl #数据仓库
ETL 工具选型评测：2025 年 Top 5 工具优缺点对比（附评分表）

本文基于20年IT行业经验，对五款主流ETL工具进行客观评测。评分结果显示：Apache Airflow（8.5分）适合复杂任务编排但运维成本高；dbt（8.3分）开发效率高但需搭配调度工具；Talend（8.0分）图形化友好但功能庞杂；ETLCloud（8.0分）托管式维护成本低但生态仍在扩展；Fivetran（7.8分）上手快但定制性差。建议根据团队技术能力、业务需求和运维预算选择工具，强调&

老刘聊集成
2025-08-20 12:28:53

 1309

 27

#etl #数据仓库
流处理、实时分析与RAG驱动的Python ETL框架：构建智能数据管道(上)

Python生态的蓬勃发展和技术的持续创新（如无GIL Python、Mojo、更高效的流处理引擎、小型化本地LLM）正在不断突破瓶颈。未来的Python ETL框架将更加AI原生、性能卓越、开发友好、云原生就绪，成为企业构建实时智能应用、驱动数据驱动决策的基石。

Allen_LV
2025-08-15 08:27:20

 3112

 185

#python #etl #开发语言
Python 在数据采集与预处理（ETL）领域的应用与实践

本文系统介绍了Python在ETL（数据提取-转换-加载）流程中的应用实践。文章重点阐述了数据采集阶段的多种来源（关系型数据库、REST API、消息队列等）及对应Python工具（如psycopg2、aiohttp、kafka-python），详细讲解了数据清洗转换的核心操作（类型转换、去重、缺失值处理等）及pandas实现方法，并提供了写入优化的具体策略。通过完整示例演示了从API获取数据到写

 Andrew_V_Liu
2025-08-12 22:31:31

 1029

 17

#etl #数据仓库
Java 数据开发入门项目：CSV -＞ Postgres 的小型ETL管道

Extract：从 data/input 下的 users.csv 和 orders.csv 读取数据Transform：基础数据清洗去除多余空白邮箱校验与小写化金额转 BigDecimal时间格式解析去重（以 email 和 order_id 为唯一键）过滤脏数据（日志记录）Load：使用 JDBC + HikariCP 批量 upsert 到 Postgres（ON CONFLICT）Sche

Java小白askein
2025-08-11 19:18:53

 541

 11

#java #etl #开发语言
数据搬砖20年，我来聊聊这10款主流ETL工具（别再瞎选了）

本文是一篇关于主流ETL工具的实用指南。作者以20年数据集成经验，用通俗比喻解析ETL本质——"数据的搬运与整理"。文章对比了10款主流工具的特点：老牌稳健的Informatica、性价比高的Talend、实时处理的Nifi、Python党最爱的Airflow，以及云原生的AWS Glue、GCP Data Fusion和Azure Data Factory等，特别提到国产新秀

 老刘聊集成
2025-08-08 16:18:49

 710

 18

#etl #数据仓库
数仓构建：最值得推荐的5款ETL工具

因为随着业务系统越来越多每系统都存储自已的数据无法集中管理和分析如：ERP系统记录着订单和财务，MES管控着生产流程，WMS追踪着库存流转，PLM沉淀着设计数据，而这些系统各自为政，形成了一个个数据孤岛。从小场景开始，积累经验，逐步扩展，最终实现全面的数据驱动运营。：某汽车零部件制造商拥有ERP、MES、ANDON系统，但各系统数据格式不统一，生产报表需要3名员工花费2天时间手工制作。：通过OPC

苛子
2025-08-06 14:16:07

 769

 17

#etl #数据仓库
AI应用架构师亲测：6款企业数据仓库设计工具，从ETL到可视化全覆盖

当企业数据从“小池塘”变成“汪洋大海”，如何把分散在CRM、ERP、电商、日志中的数据“拧成一股绳”，转化为可决策的资产？答案是一套覆盖“ETL-建模-可视化”全流程的数据仓库工具链。作为深耕AI与数据架构的实践者，我曾帮零售、制造、金融等行业的10+企业搭建数据仓库。本文将亲测6款主流工具（从传统巨头到云原生新秀），拆解它们的核心能力、适用场景、优缺点，并用“厨房做菜”的生活化比喻讲清数据仓库逻

 2501_91590464
2025-08-02 17:24:24

 1387

 8

#数据仓库 #人工智能 #etl
DataX自定义transformer进行数据校验

DataX自定义transformer进行数据校验

 果果的小莴笋
2022-09-23 09:14:31

 1742

 1

#transformer #java #etl
Kettle下载与安装

文章目录前言一、kettle下载地址：二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、kettle下载地址：https://sourceforge.net/projects/pentaho/fil

QQ1215461468
2021-04-30 08:50:34

 6471

 4

#etl
Spring AI ETL 流水线

先纠正中的一个错误，当启动 Ollama 之后，Windows会有托盘图标，此时已经启动了 Ollama 的服务，访问 Embedding 时不需要运行，只有访问 chat 时才需要启动一个大模型。Spring AI 提供的 ETL 流水线比较全面，使用很简单。提取、转换和加载（ETL）框架是检索增强生成（RAG）用例中数据处理的支柱。ETL 管道协调从原始数据源到结构化向量存储的流程，确

 isea533
2024-04-16 11:45:00

 2578

 26

#spring #人工智能 #etl
主流ETL工具调研

2、社区和生态系统：DataX是由阿里巴巴集团开发和维护的项目，有较为活跃的开发者社区和丰富的插件生态系统，可以满足不同的数据同步需求。提取是将关系型数据库和非关系型数据库，以及文件图档数据，第三方接口数据，应用的webhook数据等多种多样的原格式数据抽象出来，形成统一的数据格式先放入缓存区，等待下一步转换操作。（2）Kettle提供了丰富的转换步骤和功能，使用户能够对数据进行清洗、过滤、转换和

 mopmgerg54mo
2024-07-24 15:17:05

 2402

 7

#etl #数据仓库
Kettle闪退打不开的解决办法

kettle闪退解决办法

 NoTutouBoy
2024-03-26 09:14:15

 3484

 5

#etl
Nifi 2.6 快速部署

Apache NiFi社区于2024年11月初正式发布了NiFi 2.0版本。本文将介绍如何快速部署一套2.0版本的Nifi服务。

auto-dataflow
2024-11-19 20:23:39

 5295

 46

#大数据 #java #etl
kettle如何正确连接mysql

解决因为没有驱动导致的kettle无法正常跟mysql数据库连接问题

 应小猫
2023-01-17 15:42:02

 8450

 17

#etl #mysql

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号