grupo de consumidores kafka cuelga

3

Estoy ejecutando el consumidor ConsumerGroupExample de Kafka que se cuelga esperando un mensaje

Parece que está colgando esperando un mensaje (esperando en el ejemplo en https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example , en "for (final KafkaStream stream: streams)"

Detalles de la configuración: (a) que se ejecuta en VMPlayer, sistema operativo Ubuntu; (b) ejecutando Kafka versión: 0.8.0; (c) ejecutar zookeeper, kafka, consumidor y productor en la misma máquina virtual (ubuntu / localhost); (d) usar zookeeper que se incluye con esta versión de Kafka; (e) ejemplo de Productor en ejecución (sin cambios, disponible en cwiki.apache.org/confluence/display/KAFKA/); (f) ejecutar el ejemplo de Grupo de consumidores (sin cambios, ConsumerGroupExample); (g) configurar correctamente un tema (kafka-create-topic)

Algunos de los pasos que he tomado: (a) detenido / iniciado repetidamente al cuidador del zoológico, a los corredores de kafka; (b) hizo que el productor emitiera mensajes antes de que comenzara el consumidor; (c) hizo que el consumidor se ejecutara antes que el productor (y luego el productor enviara mensajes); (d) verificado que el consumidor de consola de kafka (kafka-console-consumer) funciona y puede consumir mensajes emitidos por el productor; (e) sin errores / excepciones en los registros

En todos los casos que he intentado, el consumidor (ConsumerGroupExample) se cuelga esperando un mensaje a pesar de la evidencia de que hay muchos mensajes en la cola.

¿Hay un problema de configuración que me falta?

¡Cualquier ayuda es muy apreciada!

3
  • 3
    No tengo idea de cómo usar Kafka, pero ¿no pasó el personaje principal de Kafka en "El juicio" toda su vida esperando un mensaje? Así que hay una especie de ironía kafkiana si tienes el mismo problema :) :)
    ajb
    19 de enero de 2014 a las 23:21
  • 4
    Supongo que el programa se despertó una mañana y vio que se había convertido en un error.
    yshavit
    19 de enero de 2014 a las 23:45
  • También enfrenté el mismo problema. incluso después de limpiar zookeeper y kafka tmp dir, todavía me enfrento al mismo problema, el consumidor se cuelga.
    Shri
    16/02/15 a las 12:11
0

No estoy seguro de cuál es la causa raíz del problema, pero se solucionó cuando borré los datos de zookeeper y kafka (en / tmp de forma predeterminada) y reinicié tanto a zookeeper como a kafka brokers