Hcy

参数 描述

利用–reset-offsets进行设置，此方法要求*Kafka版本在0.11.以上 查询topic的offset的范围 #最小值 bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list AAA:9092 -topic test

消费者配置文件 bootstrap.servers=192.168.241.12:9092,192.168.241.13:9092,192.168.241.14:9092 sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLog

查看zk中的消费者组 kafka-consumer-groups.sh --zookeeper 172.31.50.106:2181 --list 查看kafka维护的消费者组 kafka-consumer-groups.sh --bootstrap-server 172.31.50.106:909

相关参数 #设置日志只保留一个小时的 "log.retention.hours": 1 #设置大于500M就自动删除（默认1G） "log.retention.bytes": "536870912" #设置日志被标记删除后，保留多久彻底删除，1分钟 "log.segment.delete

报错原因提示是请求包含的消息大于服务器将接受的最大消息大小。是kafka的问题，kafka中，能接受的单条消息的大小是有限制的，默认是1M，由于现有日志中包含图片信息，远大于1M，所以提升kafka能接受的单条消息的大小程度。有两种方式，一种是修改某一个topic，一种是修改kafka的配置文件。

扩容kafka之后，针对扩容之前的topic进行重新平衡leader，Replicas，Isr 生成分配计划 新建一个json文件，内容如下：（topic为要修改的topic）这里文件取名为 topics-to-move.json {

kafka-preferred-replica-election 用于对Leader进行重新负载均衡 用法1： 触发对所有的topic Leader进行负载均衡 bin/kafka-preferred-replica-election.sh --zookeeper localhost:2181/ch

kafka动态修改日志保存时间 查看 bin/kafka-configs.sh --describe --zookeeper zk01.td.com:2181 --entity-type topics --entity-name flink_clickhouse_test 修改 bin/kafka-