摘要: Spark内部执行机制 1.1 内部执行流程 如下图1为分布式集群上spark应用程序的一般执行框架。主要由sparkcontext(spark上下文)、cluster manager(资源管理器)和?executor(单个节点的执行进程)。其中cluster manager负责整个集群的统一资源管 阅读全文
posted @ 2019-04-13 08:59 wss96 阅读(683) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-03-29 21:18 wss96 阅读(4218) 评论(0) 推荐(0) 编辑
摘要: 原文地址:https://cloud.tencent.com/developer/article/1006044 四、RegionServer的故障恢复 a56爆大奖在线娱乐们知道,RegionServer的相关信息保存在ZK中,在RegionServer启动的时候,会在Zookeeper中创建对应的临时节点。Reg 阅读全文
posted @ 2019-03-08 18:48 wss96 阅读(308) 评论(0) 推荐(0) 编辑
摘要: 原文地址:https://cloud.tencent.com/developer/article/1006043 前言 最近在跟进Hbase的相关工作,由于之前对Hbase并不怎么了解,因此系统地学习了下Hbase,为了加深对Hbase的理解,对相关知识点做了笔记,并在组内进行了Hbase相关技术的 阅读全文
posted @ 2019-03-08 18:44 wss96 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 一个算法命题:给定字符串S[0…N-1],设计算法,枚举S的全排列。如:123,全排列就是:123,132,213,231,312,321 个人愚昧,搞了一天半,才终于把字典排列搞出来,看不到大神写的代码,a56爆大奖在线娱乐的代码还有很多优化之处,先记录下,递归现在还是有点蒙。 java代码:递归实现(考虑有重复的 阅读全文
posted @ 2019-03-06 15:21 wss96 阅读(1234) 评论(0) 推荐(0) 编辑
摘要: 第一个版本: 位运算符的计算主要用在二进制中。 实际开发中也经常会遇到需要用到这些运算符的时候,同时这些运算符也被作为基础的面试笔试题。 a56爆大奖在线娱乐了解这些运算符对程序员来说是十分必要的。 于此,记录下a56爆大奖在线娱乐所理解的运算符: 如果以开关开灯论: 有这样两个开关,0为开关关闭,1为开关打开。 与(&)运算 与运 阅读全文
posted @ 2019-02-25 22:35 wss96 阅读(10479) 评论(0) 推荐(3) 编辑
摘要: count函数是用来统计表中或数组中记录的一个函数,下面a56爆大奖在线娱乐来介绍在MySQL中count函数用法与性能比较吧。 count(*) 它返回检索行的数目, 不论其是否包含 NULL值。 SELECT 从一个表中检索,而不检索其它的列,并且没有 WHERE子句时, COUNT(*)被优化到最快的返回速度。 阅读全文
posted @ 2019-02-24 15:41 wss96 阅读(5412) 评论(0) 推荐(0) 编辑
摘要: ZooKeeper并没有直接采用Paxos算法,而是采用a56爆大奖在线娱乐被称为ZAB(ZooKeeper Atomic Broadcast)的一致性协议 ZooKeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Ma 阅读全文
posted @ 2019-02-22 19:31 wss96 阅读(2356) 评论(0) 推荐(0) 编辑
摘要: 泊松是法国数学家、物理学家和力学家。他一生致力科学事业,成果颇多。有许多著名的公式定理以他的名字命名,比如概率论中著名的泊松分布。 有一次闲暇时,他提出过一个有趣的问题,后称为:“泊松分酒”。在a56爆大奖在线娱乐国古代也提出过类似问题,遗憾的是没有进行彻底探索,其中流传较多是:“韩信走马分油”问题。 有3个容器,容 阅读全文
posted @ 2019-02-14 10:30 wss96 阅读(1001) 评论(0) 推荐(0) 编辑
摘要: 先看下自己的JAVA_HOME里面有没有空格目录,如果有的话,先把JAVA_HOME换个没空格的位置。 在windows系统本地运行spark的wordcount程序,会出现一个异常,但不影响现有程序运行。 总归是一个异常,老是爆红,看着心烦,下面是异常信息 让a56爆大奖在线娱乐们源码追踪一下,看看到底是什么原因导 阅读全文
posted @ 2019-01-16 15:48 wss96 阅读(5664) 评论(0) 推荐(0) 编辑