数据抽取平台pydatax介绍

缘起一： 公司现有数据仓库，是通过kettle从mysql抽取到目标库，运行多年，主要有以下问题， 1，效率低：kettle抽取行数少 2，容错性差：一个表抽取出错就导致后续计算会出问题， 3，扩展性差： 对多库多表等支持不好 近300张表抽取，再加上计算，每天都算到7点，还有2个巨大的计算要等到1
posted @ 2024-02-21 15:58  zping  阅读(335)  评论(0)  编辑  收藏  举报