Kafka Consumer Upgrade a .9

0

Hola, estoy trabajando en la actualización de kafka a .9 y también actualizando el consumidor de kafka al nuevo consumidor de Java lanzado con .9. Mientras actualizo, estoy usando los temas existentes, los pasos son simplemente detener el .8 kafka y comenzar el .9 kafka apuntando al mismo archivo log.dirs, en el lado del consumidor, estoy usando el mismo nombre de grupo y nombre de tema, pero el nuevo consumidor está consumiendo los mensajes nuevamente desde la posición inicial en el tema. Los he cometido en .8. Estoy agregando auto.offset.reset = earliest.

Cualquier idea de por qué está sucediendo o necesitamos primero consumir todo el mensaje con un consumidor de .8 y dejar que el retraso se convierta en 0. Gracias Sunny

0

Mientras que 0,8 consumidores almacenan compensaciones en Zookeeper, 0,9 consumidores las almacenan en un tema específico de Kafka. En consecuencia, un consumidor de 0,9 normalmente no verá ninguna compensación almacenada por un consumidor de 0,8 y, como tal, comenzará a consumir desde el principio. Hay una sección de preguntas frecuentes que puede ayudar a migrar las compensaciones. Citar:

1) Upgrade your brokers and set dual.commit.enabled=false and offsets.storage=zookeeper (Commit offsets to Zookeeper Only).

2) Set dual.commit.enabled=true and offsets.storage=kafka and restart (Commit offsets to Zookeeper and Kafka).

3) Set dual.commit.enabled=false and offsets.storage=kafka and restart (Commit offsets to Kafka only).

(No he probado esto, solo citando).

6
  • Traté de seguir, pero no tuve suerte :( ¿Ves algún otro problemaSunny Gupta 8 de mayo de 2016 a las 14:21
  • "sin suerte" no es exactamente una descripción de error específica. Actualice su pregunta con lo que hizo y lo que sucedió. Harald 8 de mayo de 2016 a las 19:59
  • No hay error, pasó lo mismo que pregunta. Tengo .8 consumidor y 8.2.1 kafka, estoy actualizandoSunny Gupta 9 de mayo de 2016 a las 4:16
  • No hay error, pasó lo mismo que pregunta. Permítanme repetir mi pregunta. Tengo .8 consumidor y 8.2.1 kafka, lo estoy actualizando a .9 consumidor java y .9 kafka, verifiqué que 8.2.1 kafka estaba usando zookeeper como "almacenamiento de compensación" Seguí los pasos anteriores, actualicé el kafka a .9 apuntando al mismo directorio de registro que tenía para .8, luego reinicié el consumidor .8, estaba consumiendo todos los registros, independientemente del desplazamiento GraciasSunny Gupta 9 de mayo de 2016 a las 4:24
  • Apliqué el primer punto a uno de mis consumidores, estaba consumiendo todos los mensajes del tema, a pesar de que estaban comprometidos. Sunny Gupta 9 de mayo de 2016 a las 10:26