李志涛

导航

2020年8月11日 #

技术项目模版

摘要: 项目名称 xxx项目(技术项目-Demo) 项目背景 说明发起该项目的背景情况 预期收益 给出可能产生的实际收益和预期结果 实现方法 简单介绍项目实现方案 项目文档 列举项目过程中依赖或产生的相关文档 相关负责人 角色 姓名 职责 备注 研发负责人 负责技术研发及相关进度控制和核心质量保障等工作 兼 阅读全文

posted @ 2020-08-11 23:27 李志涛 阅读(115) 评论(0) 推荐(0) 编辑

es基础搜索服务方案

摘要: 一、背景 公司业务搜索和统计需求非常多,由于查询SQL关联多且复杂,SQL语句把大量业务逻辑和大量计算堆砌到MySQL服务器上,经常导致线上MySQL负载高,随后响应和吞吐量下降,严重影响线上MySQL持续稳定服务,a56爆大奖在线娱乐各个团队逐步或已经把繁重的查询和统计SQL工作迁移到es上,es架构比较合适查询 阅读全文

posted @ 2020-08-11 23:26 李志涛 阅读(437) 评论(0) 推荐(0) 编辑

es数据模型及服务化思考

摘要: 一、es数据模型 online_class索引结构 es结构 依赖库表 唯一字段标识 备注 onclass表 { "id":52845960, // online_class__id "bookType":"", // 订课 "bookDateTime":"", // 订课(约课)时间 "class 阅读全文

posted @ 2020-08-11 23:22 李志涛 阅读(357) 评论(0) 推荐(0) 编辑

followup监控需求

摘要: 背景 当前followup监控不完善,查询服务与数据同步服务分离为独立项目,当前监控信息如下: 数据同步服务 监控数据实时性,数据延时计算公式为当前系统时间戳减去订阅Canal的binlog数据时间戳的差值大于1分钟为判定为延时,然后发送报警给相关人。此监控存在问题是假设MySQL主从和Canal通 阅读全文

posted @ 2020-08-11 23:20 李志涛 阅读(128) 评论(0) 推荐(0) 编辑

运维申请机器攻略

摘要: 一、为什么要写这篇文章 最近由于工作需要总共申请了16台云主机,分别用于安装Kafka和elasticsearch集群,因为经验不足过程较为曲折,时间花费比较长。体会如下,因为公司业务高速发展,运维开发RD人力不足,很多基础设施未跟上。特别是运维自动化工具还没有上线,每步操作都是人肉,a56爆大奖在线娱乐申请机器周 阅读全文

posted @ 2020-08-11 23:18 李志涛 阅读(313) 评论(0) 推荐(1) 编辑

elasticsearch安装和配置

摘要: elasticsearch安装和配置最简化版, 能保证run起来,后续配置优化,待熟悉自行添加,a56爆大奖在线娱乐了解更多会做更多说明和解释 一、环境准备 1.先申请机器或申请root权限,保证有安装权限 2.jdk版本为1.8及以上,1.7报错。下载jdk-1.8 http://www.oracle.com/te 阅读全文

posted @ 2020-08-11 22:48 李志涛 阅读(379) 评论(0) 推荐(0) 编辑

业务平台基础es服务化方案

摘要: 一、背景 由于自己还在逐步了解es用法中,当前无法快速提供独立es服务。而且通过与郝xxx、宋zz、孟xxx沟通,当前线上cc和clt通过聚合家长端和DB及es等数据能解决复杂查询问题,因为followup刚上线还不完善,先深入业务,重点解决业务关注的痛点、紧急问题、暂无人无资源去解决的问题。通过业 阅读全文

posted @ 2020-08-11 22:46 李志涛 阅读(517) 评论(0) 推荐(0) 编辑

中间件集群梳理与搭建

摘要: 一、背景 当前管理端部分方向因业务的发展,不断需要ES、MQ等基础中间件服务的支持,因公司架构组近期主要精力在DB中间件和新MQ平台等重点项目里,短期无法提供ES和ActiveMQ的新增业务支持,因此需要各端业务方自己搭建和维护,但对于业务方向的研发人员来说,a56爆大奖在线娱乐面业务需求压力比较大、精力不足,另一 阅读全文

posted @ 2020-08-11 22:40 李志涛 阅读(472) 评论(0) 推荐(0) 编辑

管理端ES模型梳理

摘要: es工作初步规划 1.构建统一数据模型 2.搭建es测试环境 3.源数据通过canal订阅,merge到新的online和student 4.建立独立基础搜索服务项目 5.定义API 6.基础搜索服务进行开发,提供基础搜索服务 7.测试环境,联调联测,QA进入 8.提交运维申请,上线部署 阅读全文

posted @ 2020-08-11 22:38 李志涛 阅读(177) 评论(0) 推荐(0) 编辑

业界ES演进

摘要: 一、唯品会 1.公开资料 archsummit全球架构师大会演讲:Pallas--唯品会统一检索平台的演进和探索:https://sz2018.archsummit.com/presentation/488 2.私下交流学习 唯品主要是一个大es集群,大约有200多个节点 云主机配置为16core 阅读全文

posted @ 2020-08-11 22:32 李志涛 阅读(142) 评论(0) 推荐(0) 编辑

es从aws迁移阿里云问题总结

摘要: 1.背景 当前公司绝大部分服务都部署在aws上,少量新服务部署在阿里云上,由于单云平台可用性风险。公司希望通过部署双云平台实现容灾,同时在aws和阿里云部署相同服务,一个云平台有问题部署到另外一个平台 2.迁移阿里云问题 2.1 阿里云 问题:es服务可以启动,但是连接集群内其他节点报错,es集群不 阅读全文

posted @ 2020-08-11 22:29 李志涛 阅读(173) 评论(0) 推荐(0) 编辑

MySQL & Canal流程&架构梳理

摘要: 1.现状 线上MySQL部署情况复杂,不利于后续架构调整和服务化 无一人对线上MySQL主从关系以及canal对应关系情况足够了解 新人多,学习成本高,存在误操作风险 2.目标 梳理线上MySQL主从关系,理清内在逻辑关系 梳理MySQL中DB与canal关系,便于架构改造升级 有利于新人学习,尽快 阅读全文

posted @ 2020-08-11 22:25 李志涛 阅读(388) 评论(0) 推荐(0) 编辑