kafka调优(学习总结)

硬件选取策略

1.假设日活量为100w,每个人每天产生100条日志=>1亿条日志
每秒处理日志的数量:1亿/24h/3600s = 1150条/s
一条日志大概为1k
那么每秒需要处理:1k*1150 = 1m/s

通常我们需要考虑的是高峰值:那么1m/s * 20 = 20m/s

2.服务器台数的选择:
台数 = 2生产者峰值生产速率 副本 / 100 +1

3.磁盘的选择:
选择机械硬盘即可,因为kafka为顺序读写。
1亿条 * 1k =100g
100g 2个副本 保存三天 / 0.7 =1t

4.内存选择

作者:R原文地址:https://segmentfault.com/a/1190000041879840

%s 个评论

要回复文章请先登录注册