不想写代码的小玉 - 博客园_a56爆大奖在线娱乐

hive配置和安装-day2

摘要： Hive1.2.1安装 1.上传压缩包并解压（在/usr/local/soft/目录下） tar -zxvf apache-hive-1.2.1-bin.tar.gz 2.修改目录名称 mv apache-hive-1.2.1-bin hive-1.2.1 3.修改配置文件（在hive-1.2.1下阅读全文

posted @ 2022-09-02 11:21 不想写代码的小玉阅读(41) 评论(0) 推荐(0) 编辑

Hive day1内容理解

摘要： Hive（数据仓库建模工具之一）简介： Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。思考：计算文件user.txt中张阅读全文

posted @ 2022-09-01 23:29 不想写代码的小玉阅读(51) 评论(0) 推荐(0) 编辑

mapreduce案例二

摘要：练习题：求a56爆大奖在线娱乐平均消费,如果遇到异常数据，money异常，就回填为10数据：张三,12月3号,20张三,12月3号,10李四,12月3号,12王五,12月3号,10王五,12月2号王五,12月2号,30王二麻,12月2号,0王二麻,12月2号,,王二麻,12月2号, , 代码 package co 阅读全文

posted @ 2022-08-31 20:44 不想写代码的小玉阅读(33) 评论(0) 推荐(0) 编辑

mapreduce案例一

摘要：作业1：电信小项目：业务数据：电信手机用户行为日志数据分隔符：\t字段：用户手机号码,时间戳,城市id,城市区域id,所在区域停留时间,开始进入区域的时间,离开区域的时间,日期D55433A437AEC8D8D3DB2BCA56E9E64392A9D93C 117210031795040 83401 阅读全文

posted @ 2022-08-31 17:27 不想写代码的小玉阅读(42) 评论(0) 推荐(0) 编辑

Hadoop优化

摘要：天气案例随机生成温度代码；并写入到文件中需求：求每年2月份的最高温度 package utils; import java.io.BufferedWriter; import java.io.FileWriter; import java.io.IOException; import java. 阅读全文

posted @ 2022-08-31 17:04 不想写代码的小玉阅读(63) 评论(0) 推荐(0) 编辑

mysql-jdbc day4未写

摘要： jdbc 阅读全文

posted @ 2022-08-30 19:38 不想写代码的小玉阅读(4) 评论(0) 推荐(0) 编辑

MapReduce-day2

摘要：预聚合在map合并之后，reduce拉取之前有预聚合操作（combiner或者map join）预聚合目的：减少reduce拉取的次数，加快map任务处理的速度。不能确定combiner函数会调用多少次，因为不确定map任务有多少个 combiner不适用于求平均数、根号、次方~ 数据倾斜解决阅读全文

posted @ 2022-08-28 23:39 不想写代码的小玉阅读(19) 评论(0) 推荐(0) 编辑

hadoop-day1-切分文件

摘要： java模拟切分文件 package com.shujia; import java.io.*; import java.util.ArrayList; public class SplitFileBlock { public static void main(String[] args) thro 阅读全文

posted @ 2022-08-24 21:04 不想写代码的小玉阅读(35) 评论(0) 推荐(0) 编辑

hadoop day1

摘要： Hadoop2.7.6 hadoop的发展史 Google 爬取全球的网站，然后计算页面的PageRank 要解决网站的问题： a：这些网站怎么存放 b：这些网站应该怎么计算发布了三篇论文 a：GFS(Google File System) b：MapReduce(数据计算方法) c：BigTab 阅读全文

posted @ 2022-08-24 20:56 不想写代码的小玉阅读(27) 评论(0) 推荐(0) 编辑

MapReduce-day1

摘要： MapReduce hadoop-ha问题 dfs.ha.fencing.methods a56爆大奖在线娱乐：a list of scripts or Java classes which will be used to fence the Active NameNode during a failover 而配阅读全文

posted @ 2022-08-24 20:04 不想写代码的小玉阅读(17) 评论(0) 推荐(0) 编辑

wqy1027