摘要：
1.pyspark处理存在hadoop上的seq文件 # coding=utf-8 from py4j.compat import long from pyspark import SparkConf, SparkContext if __name__ == "__main__": sc = Spa 阅读全文
摘要：
1.更换公司自带数据源为阿里云 vi /etc/apt/sources.list deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties deb http://mirr 阅读全文
摘要：
使用requests-html单一库完成简书首页获取（包含请求、解析、JavaScript渲染功能） 一：安装 sudo pip install requests-html # -*- coding: utf-8 -*- import requests_html text_url = 'https: 阅读全文
摘要：
1.环境 windows7、python3 2.编辑器 pycharm 3.python3环境下安装 pip3、PyQt5、pyinstaller pip3 install PyQt5，也可以先下载下来PyQt5.whl，用pip3 install xxx.whl pip3 install pyin 阅读全文
摘要：
1.空气质量排行榜 2.天气预报 3.院校信息库 4.热门新闻-新浪网 5.IT桔子 | 泛互联网创业投资项目信息数据库及商业信息服务提供商 阅读全文
摘要：
1.https://github.com/soimort/you-get 2.windows和ubuntu上需要有python3 3.安装pip3 执行sudo apt-get install python3-pip 【注意apt-get的镜像，一般阿里云的镜像可以下载】 4.安装you-get 执 阅读全文
摘要：
1.a56爆大奖在线娱乐的idea上新建没有Spring Initializr，a56爆大奖在线娱乐a56爆大奖在线娱乐先在官网上生成一个。 Maven 构建项目 1、访问 http://start.spring.io/ 2、选择构建工具 Maven Project、Java、Spring Boot 版本 2.1.3 以及一些工程基本信息，可参考下图 阅读全文
摘要：
linux里发现文件为120天前建立的并删除 find -mtime +120 -type f -name *.csv -exec rm -rf {} \; linux里发现空文件夹并删除 find -type d -empty -exec rm -rf {} \; linux里发现txt文件有多少 阅读全文
摘要：
1.工作纪要 1.去数据中心查看机器位置 2.去机房找到机器，查看无法拨号原因，发现拨号设备移走 3.上新拨号设备，重新布线 4.机器安装sudo apt-get install pppoeconf 5.sudo pppoeconf 然后按照提示下去，输入上网帐号以及密码，即可。以后即可自动拨号。 阅读全文
摘要：
hadoop不适合小文件的存储，小文件本省就占用了很多的metadata，就会造成namenode越来越大。Hadoop Archives的出现视为了缓解大量小文件消耗namenode内存的问题。 采用ARCHIVE 不会减少 文件存储大小，只会压缩NAMENODE 的空间使用 1.单文件打包 ha 阅读全文