李志涛

导航

大流量大负载的Kafka集群优化实战

前言背景 算法优化改版有大需求要上线，在线特征dump数据逐步放量，最终达到现有Kafka集群5倍的流量，预计峰值达到万兆网卡80%左右(集群有几十个物理节点，有几PB的容量，网卡峰值流出流量会达到800MB左右/sec、写入消息QPS为100w+ msgs/sec)。上下游服务需要做扩容评估，提前

posted on 2020-04-06 20:53  李志涛  阅读(3624)  评论(0)  编辑  收藏  举报