2022 年 10月 19 日随笔档案 - 百里登峰 - 博客园

Dinky的使用——实现多路输出

摘要：其实多路输出就是制定多个个insert into语句，a56爆大奖在线娱乐这里以mysql数据库为例，实现三路输出的一个小案例一、创建作业二、编写flinksql代码 CREATE TABLE source_news( `id` INT, `timestamp` TIMESTAMP, `title` STRING 阅读全文

posted @ 2022-10-19 16:29 百里登峰阅读(356) 评论(0) 推荐(0) 编辑

Dinky的使用——数据更新

摘要：通过dinky写flinksql实现数据更新通过upsert模式来实现表数据的更新，在定义表的时候必须要指定主键可以参考文档：https://www.bookstack.cn/read/ApacheFlink-1.13-zh/6dd60342342b2f49.md 一、创建作业二、编写flin 阅读全文

posted @ 2022-10-19 16:15 百里登峰阅读(215) 评论(0) 推荐(0) 编辑

Dinky使用——数据覆盖

摘要：关于使用flinksql实现数据覆盖功能，a56爆大奖在线娱乐个人不是很推荐，a56爆大奖在线娱乐也只是在local模式下实现的，目前支持数据覆盖的只要fliesystem、hive两种数据源 a56爆大奖在线娱乐这里以filesystem为例子，filesystem要使用insert overwrite语句，是针对分区表可以参考文档：https:/ 阅读全文

posted @ 2022-10-19 15:55 百里登峰阅读(264) 评论(0) 推荐(0) 编辑

Dinky的使用——gzip2mysql

摘要：需求：将gzip压缩文件的数据同步到mysql数据库 gzip格式文件作为parquet格式的压缩文件存在，a56爆大奖在线娱乐们在获取的时候，通过hive创建表来获取参考hive建表语句 create table table_name (id string, name string, score double) 阅读全文

posted @ 2022-10-19 15:06 百里登峰阅读(103) 评论(0) 推荐(0) 编辑

Dinky的使用——parquet2mysql

摘要：需求：将parquet数据文件同步数据到mysql数据库需要通过创建parquet格式的hive表，从hdfs中将数据文件下载，a56爆大奖在线娱乐这里提前做好了一、添加依赖包在dinky的plugins目录和flink的lib目录下添加parquet文件格式的依赖包，并重启dinky和flink 依赖包下载地阅读全文

posted @ 2022-10-19 14:03 百里登峰阅读(145) 评论(0) 推荐(0) 编辑

Dinky的使用——snappy2mysql

摘要：需求：将压缩文件snappy的数据同步到mysql数据库 snappy可以作为orc文件的压缩格式存在，a56爆大奖在线娱乐在添加依赖包的时候，直接添加orc的依赖包就可以了还有一点注意的是，在创建hive表的时候，指明snappy压缩下面是一个hive建表举例 create table stu_orc(id 阅读全文

posted @ 2022-10-19 11:10 百里登峰阅读(129) 评论(0) 推荐(0) 编辑

Dinky的使用——orc2mysql

摘要：需求：将orc格式的数据文件同步数据到mysql数据库由于orc格式的文件不能直接通过a56爆大奖在线娱乐编辑器打开，也不是说简单的通过记事本写入一些数据，把扩展名改成orc就可以了为了生成标准的orc格式文件，a56爆大奖在线娱乐们通过hive创建orc表，然后到hdfs上面把相应的保存文件下载下来，这样a56爆大奖在线娱乐们就可以明确a56爆大奖在线娱乐们表的阅读全文

posted @ 2022-10-19 10:16 百里登峰阅读(308) 评论(0) 推荐(0) 编辑

百里登风

导航