kafka数据分区不足删除操作

有时候由于特定的业务需要,我们的kafka分区的磁盘可能不够,这个时候我们需要自身删除磁盘数据或者使用脚本定时检测删除消费完的磁盘数据。但是有一个重要的点是:我们需要使用同一个topic主题，所以在删除数据之后我们需要重置这些主题的offset。

我们以kafka容器集群部署方式为例。

查看分区使用主题大小

1.进入kafka集群docker机器

docker exec -it kafka bash;

2.进入数据目录下：
有时候我们的磁盘是挂载到本地磁盘的，所以我们也可以在本地磁盘查看

cd /kafka/kafka-logs-kafka1

3.查看topic对应文件大小:

du -sh *;

出现：

532G test-1
532G test-6

所以我们的test主题的数据量比较大。

4.然后停止服务,让对应的topic数据消费完毕
我们在我们的kafka-manager上进行操作:删除主题，在重新创建主题，设置分区。

5.重置消费group的偏移量lag

bin/kafka-consumer-groups.sh --bootstrap-server 192.168.100.11:9092 --group process-group-news --topic test --to-earliest --reset-offsets --execute

6.查看某个kafka消费组的分区offset情况

./kafka-consumer-groups.sh --bootstrap-server 192.168.100.11:9092 --describe --group process-group-news

7.查看数据总量

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.100.11:9092 --topic test --time -1

8.删除主题

./bin/kafka-topics.sh --delete --topic test --bootstrap-server 192.168.100.11:9092

9.删除消费组

./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.100.11:9092 --describe --group process-group-news

10.获取1条数据

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.100.11:9092 --from-beginning --topic test --max-messages 1;