¿Eliminar un grupo de consumidores mediante el script kafka-consumer-groups.sh es una forma segura de eliminar metadatos de grupos de consumidores?

0

Estoy usando consumidores kafka multiproceso para un solo tema kafka de 60 particiones, con cada hilo de consumidor asignado a cada partición. Una vez que se completa el consumo, cada hilo de consumidor se cierra mediante el método KafkaConsumer.close ().

Durante la reconsumación con el mismo ID de grupo de consumidor, (la búsqueda al comienzo se usa por huella de consumidor), 1 o 2 subprocesos de consumidor no consumen desde sus particiones asignadas. Si se proporciona una nueva identificación de grupo de consumidores, este problema no aparece.

Entonces, si se usa el siguiente script para eliminar un grupo de consumidores.
bin / kafka-consumer-groups.sh --bootstrap-servers "3 Servidores: puerto" --delete --group group1

¿Es una forma segura de eliminar los metadatos del grupo de consumidores y si también desconecta las conexiones TCP activas de todos los consumidores asignados a este grupo?

Comparta sus opiniones al respecto.

0

Si siempre busca el principio del tema, puede deshabilitar la confirmación automática y establecer el restablecimiento de la compensación automática al más temprano. Entonces tu aplicación siempre comienza a consumir desde el principio.

De lo contrario, personalmente restablecería el grupo en lugar de eliminarlo.

https://kafka.apache.org/documentation/#basic_ops_consumer_group

Solo puede restablecer y eliminar un grupo cuando no hay consumidores activos