摘要: CentOS7命令/cerofang/p/11114934.htmlhadoop常用操作命令/cerofang/p/10460494.htmlday3_day6/ 阅读全文
posted @ 2019-06-28 18:20 cerofang 阅读(490) 评论(0) 推荐(0) 编辑
摘要: 一、mysql中的编码 mysql> show variables like 'collation_%'; mysql> show variables like 'character_set_%'; 缺省是latin1编码,会导致中文乱码。修改库的编码:mysql> alter database d 阅读全文
posted @ 2019-06-28 18:07 cerofang 阅读(315) 评论(0) 推荐(0) 编辑
摘要: /** 将mysql的表导入 hdfs **/bin/sqoop import \--connect jdbc:mysql://hdp-04:3306/userdb \--username root \--password root \--target-dir \/sqooptest \--fiel 阅读全文
posted @ 2019-06-28 18:06 cerofang 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 测试数据库连接bin/sqoop list-databases --connect jdbc:mysql://hdp20-04:3306/app --username root --password root sqoop create-hive-table --connect jdbc:mysql: 阅读全文
posted @ 2019-06-28 18:01 cerofang 阅读(927) 评论(0) 推荐(0) 编辑
摘要: hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意:apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,a56爆大奖在线娱乐如果在64位的操作上安装hado 阅读全文
posted @ 2019-06-28 17:55 cerofang 阅读(590) 评论(0) 推荐(0) 编辑
摘要: 通过案例学习MAPREDUCE教程 1. wordcount示例开发 1.1. wordcount程序整体运行流程示意图 map阶段: 将每一行a56爆大奖在线娱乐数据变成<单词,1>这样的kv数据 reduce阶段:将相同单词的一组kv数据进行聚合:累加所有的v 注意点:mapreduce程序中, map阶段的进 阅读全文
posted @ 2019-06-28 17:53 cerofang 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 1. zookeeper快速上手 1.1. zookeeper的基本功能和应用场景 1.2. zookeeper的整体运行机制 1.3. zookeeper的数据存储机制 1.3.1. 数据存储形式 zookeeper中对用户的数据采用kv形式存储 只是zk有点特别: key:是以路径的形式a56爆大奖在线娱乐的, 阅读全文
posted @ 2019-06-28 17:51 cerofang 阅读(512) 评论(0) 推荐(0) 编辑
摘要: 启动HIV 启动hiv的前提条件是HDFS和YARN都可以正常在启动中 /apps/apache-hive-1.2.1-bin/bin/hive 查询HIV的sql语句 select sex,count(1) from t_bigdata group by male ; hive的脚本化运行使用方式 阅读全文
posted @ 2019-06-28 14:02 cerofang 阅读(427) 评论(0) 推荐(0) 编辑