摘要: Spark 基本函数学习笔记一¶ spark的函数主要分两类,Transformations和Actions。 Transformations为一些数据转换类函数,actions为一些行动类函数: 转换:转换的返回值是一个新的RDD集合,而不是单个值。调用一个变换方法, 不会有任何求值计算,它只获取 阅读全文
posted @ 2019-04-04 17:49 MyStitch 阅读(2724) 评论(0) 推荐(0) 编辑
摘要: Numpy 基础操作¶ 以numpy的基本数据例子来学习numpy基本数据处理方法 主要内容有: 创建数组 数组维度转换 数据选区和切片 数组数据计算 随机数 数据合并 数据统计计算 In [1]: import numpy as np 创建一维数组¶ In [2]: data = np.arang 阅读全文
posted @ 2019-04-02 11:24 MyStitch 阅读(934) 评论(0) 推荐(0) 编辑
摘要: Spark初步 从wordcount开始 spark中自带的example,有一个wordcount例子,a56爆大奖在线娱乐们逐步分析wordcount代码,开始a56爆大奖在线娱乐们的spark之旅。 准备工作 把README.md文件复制到当前的文件目录,启动jupyter,编写a56爆大奖在线娱乐们的代码。 README.md文件在Spark的 阅读全文
posted @ 2019-03-29 17:45 MyStitch 阅读(715) 评论(0) 推荐(0) 编辑
摘要: mysql数据库1005错误解决方法 MySQL Error Number 1005 Can’t create table ‘.\mydb\#sql-328_45.frm’ (errno: 150) MySQL Error Number 1005Can’t create table ‘.\mydb\ 阅读全文
posted @ 2019-03-10 20:37 MyStitch 阅读(984) 评论(0) 推荐(0) 编辑
摘要: jquery在前端展示时,如果需要从服务器获取信息然后在更新,需要设置同步加载。 async属性设置为:false即可。 async默认的设置值为true,这种情况为异步方式,就是说当ajax发送请求后,在等待server端返回的这个过程中,前台会继续 执行ajax块后面的脚本,直到server端返 阅读全文
posted @ 2019-03-10 20:32 MyStitch 阅读(2318) 评论(0) 推荐(1) 编辑
摘要: 一、模式介绍 话题模式(Topic)基本思想和路由模式是一样的,只不过路由键支持模糊匹配,符号“#”匹配一个或多个词,符号“*”匹配不多不少一个词 话题模式相当于消息的模糊匹配,或者按照正则匹配。其中 # 是通配符,匹配一个或者多个单词 * 代表匹配一个单词 模式提醒: 当使用#来收消息时,会接收到 阅读全文
posted @ 2019-01-19 22:23 MyStitch 阅读(453) 评论(0) 推荐(0) 编辑
摘要: 一、模式介绍 路由模式,与发布-订阅模式一样,消息发送到exchange中,消费者把队列绑定到exchange上。 这种模式在exchange上添加添加了一个路由键(routing-key),生产者发布消息的时候添加路由键(routing-key),消费者绑定队列到交换机时添加键值(routing- 阅读全文
posted @ 2019-01-12 23:38 MyStitch 阅读(848) 评论(0) 推荐(1) 编辑
摘要: 一、模式介绍 在前面的例子中,消息直接发送到queue中。 现在介绍的模式,消息发送到exchange中,消费者把队列绑定到exchange上。 发布-订阅模式是把消息广播到a56爆大奖在线娱乐消费者,a56爆大奖在线娱乐消费者接收到的消息都是相同的。 一个生产者,多个消费者,每一个消费者都有自己的一个队列,生产者没有将消息直接发 阅读全文
posted @ 2018-08-09 21:10 MyStitch 阅读(578) 评论(0) 推荐(0) 编辑
摘要: 一模式介绍 第一章节的生产-消费者模式,是非常简单的模式,一发一收。在实际的应用中,消费者有的时候需要工作较长的时间,则需要增加消费者。 队列模型: 这时mq实现了一下几个功能: rabbitmq循环调度,将消息循环发送给不同的消费者 消息确认机制。为了确保一个消息不会丢失,RabbitMQ支持消息 阅读全文
posted @ 2018-07-30 21:01 MyStitch 阅读(632) 评论(0) 推荐(1) 编辑
摘要: 1 模式介绍 生产者-消费者模式是最简单的使用模式。 一个生产者P,给队列发送消息,一个消费者C来取队列的消息。 这里的队列长度不限,生产者和消费者都不用考虑队列的长度。 队列的模型图: 2 示例代码 生产者 1 #!/usr/bin/env python 2 import pika 3 4 par 阅读全文
posted @ 2018-07-25 22:47 MyStitch 阅读(1431) 评论(0) 推荐(0) 编辑