wqy1027

eeee

 

2022年10月4日

数据采集工具-FlinkX

摘要： FlinkX的安装与简单使用 FlinkX概述 FlinkX是在袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。 不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任 阅读全文

posted @ 2022-10-04 16:37 不想写代码的小玉 阅读(401) 评论(0) 推荐(0) 编辑

HBase的优化

摘要： 一、HBase索引案例（使用redis存储索引） 在这里是简单模拟将索引存到redis中，再通过先查询索引再将Hbase中的数据查询出来。 需要考虑的问题： 1、建立redis的连接，建立Hbase的连接 2、如何创建索引，即创建索引的key和value的设计 3、如何通过将查到的索引，去查询到对应 阅读全文

posted @ 2022-10-04 16:10 不想写代码的小玉 阅读(660) 评论(0) 推荐(0) 编辑

HBase中rowkey的设计

摘要： HBase中rowkey的设计（重点！！面试题） HBase的RowKey设计 HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 HBase中r 阅读全文

posted @ 2022-10-04 16:03 不想写代码的小玉 阅读(319) 评论(0) 推荐(0) 编辑

Flume 配置，安装，使用，案例

摘要： 分布式日志采集系统Flume学习 1、Flume架构 1).Hadoop业务开发流程 2）Flume概述 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文 阅读全文

posted @ 2022-10-04 15:53 不想写代码的小玉 阅读(331) 评论(0) 推荐(0) 编辑

导航