Airflow 的诞生是为了解决管理多个数据管道和工作流的复杂性。在 Airflow 出现之前，许多组织依赖于 cron 任务、自定义脚本以及其他低效的方法来处理由数百万用户频繁生成的大数据。然而，这些解决方案难以维护、缺乏灵活性，并且由于无法可视化正在运行的 ...

DolphinDB 作为一款高性能时序数据库，其在实际生产环境中常有数据的清洗、装换以及加载等需求，而对于该如何结构化管理好 ETL 作业，Airflow 提供了一种很好的思路。本篇教程为生产环境中 ETL 实践需求提供了一个解决方案，将 Python Airflow 引入到 DolphinDB 的高 ...

airflow作为apache基金会的一款开源的优秀调度系统，目前被国内外很多大中型企业使用；其丰富的算子(operator)类型和极易扩展的支持，被很多企业进行相关的自定义改造和二次开发以满足自身的业务需求。 但是我们不难发现几个问题，随着用户脚本(dag文件)和 ...

在传统企业内部，数据集成是基础，更是每个企业里面都至少有一个ETL工具或者调度+业务代码实现ETL。说到ETL，开源比较有名的是kettle。 引言 前面写过一篇文章《端午搬砖：聊聊调度云服务》，主要讲云服务的。如果企业也业务上云，可以优先选用这些服务 ...

它是DAG定义文件 上面的Airflow Python脚本实际上只是一个配置文件，用代码来指定DAG结构，这一点可以让你的思路清晰一些（可能不是每个人都觉得很直观）。定义的任务会在不同的上下文中运行，并且上下文与脚本有关。不同的任务在不同的时间点运行在不同的工作节点上，这意味着脚本不适用于 ...

经典滑板品牌 Vans 日前为今年假日季带来一系列全新的 Mountain Edition 鞋履单品。设计上为了迎合秋冬的寒冷季节，特别采用了先进的 Scotchgard™ ...