Comandos básicos do Kafka

Esta é uma pré-visualização de arquivo. Entre para ver o arquivo original

* Mensagens são armazenadas em uma partição de tópicos na ordem de envio\
* Os consumidores elram as mensagem na ordem que foram armazenadas
* A mesma chave sempre irá para a mesma partição
tar -xvf Descompact arquivo pelo terminal linux
Verificar se o kafka esta funcionando 
 bin/kafka-topics.sh
Adicionar kafk na basch
Criar pasta data dentro da pasta do kafka
Dentro da pasta data criar a pasta zookeeper
 * Configurar zookeeper - nano config/zookeeper.properties
 * dentro do properties configurar o caminho da past zookeeper no dataDir
Iniciar zookeeper
 * bin/zookeeper-server-start.sh config/zookeeper.properties
Configurar servidor kafka 
 * nano config/server.properties
 * alterar caminho do log.dirs para o caminho da pasta data/kafka que esta dentro da pasta do kafka
Inciar kafka
 * kafka-server-start.sh config/server.properties
Criar topico
 * kafka-topics.sh --bootstrap-server localhost:9092 --topic first_topic --create --partitions 3 --replication-factor 1
Informações sobre o topico
 * kafka-topics.sh --bootstrap-server localhost:9092 --topic first_topic --describe
Deletar um topico 
 * kafka-topics.sh --bootstrap-server localhost:9092 --topic second_topic --delete
Enviar dados 
 * kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic first_topic
ACKS
 * kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic first_topic --producer-property acks=all
Pega todos os dados
 * kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic first_topic --from-beginning
Pega os dados apartir daquele ponto (stream)
 * kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic first_topic
Grupos pegando dado ao vivo
 * kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic first_topic --group my-first-application 
Grupos pegando os dados desde o inicio
 * kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic first_topic --group my-second-application --from-beginning
Ver os grupos existentes
 * kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
Descrição de um grupo
 * kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-second-application
Ver as mensagens que estão faltando no grupo e recuperar as mensagens
 * kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic first_topic --group my-first-group
Resetar grupo 
 * kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-first-application --reset-offsets --to-earliest --execute --topic first_topic
 * kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic first_topic --group my-third-application