摘要：
1. 文章开始之前 先附上一句SQL，使用tpc-ds的表结构，a56爆大奖在线娱乐们围绕这句SQL讲。 SQL： SQL> select avg(cs_ext_discount_amt) from catalog_sales, date_dim where d_date between '1999-02-22' a 阅读全文
摘要：
链接：位图计算 pg_roaringbitmap 插件（腾讯云） 云数据库 PostgreSQL 提供 pg_roaringbitmap 插件，可以使用位图计算功能，提高查询性能。 前提条件 实例为云数据库 PostgreSQL 10、11、12、13 全新版本。 背景信息 Roaring Bitm 阅读全文
摘要：
报错 使用brew安装wget时报错 fatal: not in a git directory Error: Command failed with exit 128: git 解决办法 brew -v 查看会有两个提示，提示用户设置 homebrew-cask 和 homebrew-core 的 阅读全文
摘要：
转发原文：Spark自定义HBase数据源 Spark内置很多数据源，却没有HBase的数据源，需要调用rdd的api，如果能有下面这种方式就非常完美了： frame.write.format("hbase") .mode(SaveMode.Append) .option(ZK_HOST_HBASE 阅读全文
摘要：
【转】Spark源码系列（九）Spark SQL初体验之解析过程详解 好久没更新博客了，之前学了一些R语言和机器学习的内容，做了一些笔记，之后也会放到博客上面来给大家共享。一个月前就打算更新Spark Sql的内容了，因为一些别的事情耽误了，今天就简单写点，Spark1.2马上就要出来了，不知道变动 阅读全文
摘要：
原文： 1. 背景 搞了快两年OLAP平台的开发，其中sql的解析优化通过SparkSQL完成，这里简单介绍一下原理 2. Demo 假设你已经搭建了spark，hive环境，a56爆大奖在线娱乐们这边查询下hive表，代码如下： 这里主要做了三件事： 1、构建SparkSession 2、执行sql构建DataFr 阅读全文
摘要：
转发：PostgreSQL查看表膨胀（对所有表进行膨胀率排序） 1、查看表膨胀（对所有表进行膨胀率排序），取前10个 SELECT schemaname||'.'||relname as table_name, pg_size_pretty(pg_relation_size(schemaname|| 阅读全文
摘要：
转发：PostgreSQL表膨胀的前世今生 当你的数据库快速增长的时候，一定需要注意一件事，那就是“表膨胀”。内置的方法是使用VACUUM或者VACUUMFULL来解决表膨胀问题，但是有一些缺点。 [一、什么是表膨胀] PostgreSQL使用多版本模型MVCC。实现的方法和Oracle和MySQL 阅读全文
摘要：
目标：虚拟机中Linux配置静态IP，防止连接不同网络时IP变更。 一、环境设置 VMware、Centos7 1.1 子网 本地windows用ipconfig查看网络信息。VMware子网设置，NAT模式，设置子网，与子网掩码对应。例如：子网掩码 255.255.255.0，子网设置为：192. 阅读全文
摘要：
1.查看所有表所占磁盘空间大小 select sum(t.size) from ( SELECT table_schema || '.' || table_name AS table_full_name, pg_total_relation_size('"' || table_schema || ' 阅读全文