¿Es posible perder compensaciones de grupos de consumidores por parte de los corredores de Kafka?

0

Estaba consumiendo de un tema de Kafka (con una retención de 21 días) en un Clúster de Kafka como consumidor (más temprano / desde el principio) durante 15 días continuamente con x grupo de consumidores y el día 15 el equipo de productores dejó de producir y detuve al consumidor en mi lado conformando que no quedan mensajes para consumir. Luego, Kafka Cluster también se apagó. Luego, el día 16, Kafka Cluster se encendió y Producer inició su producción el día 23 y yo también puse a mi consumidor en mi lado. Pero cuando comencé, recibía mensajes desde el principio, no desde donde los dejé, aunque consumía con el mismo grupo de consumidores x. Entonces mi pregunta es ¿por qué sucedió esto? ¿Kafka Broker perdió información sobre el grupo de consumidores?

2

Cuando un grupo de consumidores pierde a todos sus consumidores, sus compensaciones se mantendrán durante el período configurado en la propiedad del corredor offsets.retention.minutes. El valor predeterminado de esta propiedad 10080es el equivalente a 7días, aproximadamente el tiempo que tardó el consumidor en dejar de consumir (el día 16) y cuando se reanudó (el día 23).

Puede modificar esta propiedad para aumentar el período de retención de compensaciones. Alternativamente, también puede modificar la propiedad offsets.retention.check.interval.msque dicta la frecuencia con la que se realizará una verificación de compensaciones obsoletas.

1
  • Tengo esta offsets.retention.minutesconfiguración establecida en 7 días, que es la predeterminada, como dijiste. He configurado la retención para algunos de mis temas a 3 días. Pero he experimentado el problema del mensaje a partir del primero que es de los últimos 3 días. Alguna idea de por qué esto pasaría. ¿Prefieres que verifique alguna otra configuración? 26 jul.20 a las 14:37