Visão Geral

O curso Apache Kafka Fundamentals, Architecture & Administration apresenta os fundamentos, a arquitetura e as principais atividades de administração da plataforma Apache Kafka, preparando os participantes para implementar, configurar, operar, monitorar e solucionar problemas em ambientes Kafka.

Durante o treinamento, os participantes compreenderão a arquitetura distribuída do Kafka, incluindo brokers, topics, partitions, replicas, producers, consumers, consumer groups, offsets e clusters, além dos mecanismos de alta disponibilidade, replicação, retenção e processamento de eventos.

O curso também aborda administração de clusters, segurança, gerenciamento de tópicos, configuração de produtores e consumidores, monitoramento, troubleshooting, performance e boas práticas para ambientes de produção.

Os laboratórios são realizados em um ambiente prático, permitindo que os participantes executem operações reais de administração e troubleshooting de um cluster Kafka.

Objetivo

Após realizar este curso Apache Kafka Fundamentals, Architecture & Administration, você será capaz de:

• Compreender os fundamentos do Apache Kafka
• Compreender a arquitetura interna do Kafka
• Identificar os principais componentes de um cluster Kafka
• Criar e administrar Kafka topics
• Trabalhar com partitions e replicas
• Configurar producers e consumers
• Compreender consumer groups
• Gerenciar offsets
• Compreender mecanismos de retenção de eventos
• Configurar replicação e alta disponibilidade
• Administrar clusters Kafka
• Monitorar brokers e aplicações
• Identificar problemas de performance
• Diagnosticar problemas de producers e consumers
• Implementar mecanismos de segurança
• Trabalhar com ACLs e autenticação
• Configurar parâmetros de brokers, producers e consumers
• Executar operações de manutenção
• Realizar troubleshooting de clusters Kafka
• Aplicar boas práticas para ambientes de produção
• Projetar uma arquitetura Kafka escalável e resiliente

Publico Alvo

• Administradores de sistemas
• Administradores de Apache Kafka
• Engenheiros de infraestrutura
• Engenheiros DevOps
• Engenheiros de plataforma
• Arquitetos de soluções
• Arquitetos de software
• Desenvolvedores
• Engenheiros de dados
• Data Engineers
• Engenheiros de integração
• Profissionais de Cloud
• Profissionais de SRE
• Tech Leads
• Profissionais responsáveis por plataformas de mensageria e event streaming

Pre-Requisitos

• Conhecimentos básicos de Linux
• Conhecimentos básicos de redes TCP/IP
• Conhecimentos básicos de sistemas distribuídos
• Conhecimentos básicos de linha de comando
• Conhecimentos básicos de arquitetura de software
• Conhecimentos básicos de mensageria são recomendados
• Conhecimentos de Java ou Python são desejáveis para os laboratórios de desenvolvimento

Informações Gerais

Metodologia

O treinamento utiliza uma abordagem teórico-prática, combinando:

• Fundamentos conceituais
• Arquitetura
• Demonstrações
• Exercícios
• Laboratórios hands-on
• Administração de cluster
• Simulação de falhas
• Troubleshooting
• Performance tuning
• Projeto final

Resultado Esperado

Ao final do curso, o participante estará preparado para compreender, instalar, configurar, administrar, monitorar e solucionar problemas em ambientes Apache Kafka, além de projetar clusters adequados para aplicações de integração, streaming de dados, microservices e arquiteturas orientadas a eventos.

Materiais

Conteúdo Programatico

Módulo 1 – Introdução ao Apache Kafka

1. O que é Apache Kafka
2. História e evolução do Kafka
3. Kafka como Event Streaming Platform
4. Kafka versus Message Broker tradicional
5. Principais características
6. Casos de uso
7. Event Streaming
8. Publish/Subscribe
9. Streaming de dados
10. Integração de sistemas
11. Processamento de eventos
12. Data Pipelines
13. Microservices e Kafka
14. Arquiteturas orientadas a eventos

Módulo 2 – Arquitetura do Apache Kafka

1. Visão geral da arquitetura
2. Kafka Cluster
3. Kafka Broker
4. Controller
5. Topics
6. Partitions
7. Replicas
8. Producers
9. Consumers
10. Consumer Groups
11. Offsets
12. Logs
13. Records
14. Leader e Followers
15. Replication
16. Metadata
17. Comunicação entre componentes

Módulo 3 – Kafka e KRaft

1. Evolução da arquitetura do Kafka
2. ZooKeeper e Kafka
3. Introdução ao KRaft
4. Kafka Raft Metadata Mode
5. Controllers
6. Controller quorum
7. Metadata management
8. Broker roles
9. Controller roles
10. Configuração de clusters KRaft
11. Migração conceitual de ZooKeeper para KRaft
12. Boas práticas para novos ambientes Kafka

Módulo 4 – Topics e Partitions

1. Criando topics
2. Listando topics
3. Alterando topics
4. Excluindo topics
5. Partitions
6. Partition leaders
7. Partition followers
8. Replication factor
9. Partition assignment
10. Rebalancing
11. Partition distribution
12. Estratégias de particionamento
13. Chaves de mensagens
14. Ordenação de eventos
15. Retenção de dados

Módulo 5 – Producers

1. Arquitetura do Kafka Producer
2. Produção de eventos
3. Producer configuration
4. Bootstrap servers
5. Acknowledgements
6. acks
7. Batching
8. Compression
9. Buffering
10. Retries
11. Delivery timeout
12. Idempotent producer
13. Message keys
14. Partitioners
15. Throughput
16. Producer performance

Módulo 6 – Consumers

1. Arquitetura do Kafka Consumer
2. Consumer configuration
3. Consumer groups
4. Consumer offsets
5. Polling
6. Commit automático
7. Commit manual
8. Rebalancing
9. Consumer lag
10. Partition assignment
11. Consumer scalability
12. Offset management
13. Reset de offsets
14. Troubleshooting de consumers

Módulo 7 – Consumer Groups

• Conceito de Consumer Group
• Distribuição de partitions
• Group coordinator
• Consumer membership
• Rebalancing
• Static membership
• Partition assignment strategies
• Consumer scalability
• Consumer lag
• Problemas de rebalanceamento
• Boas práticas para Consumer Groups

Módulo 8 – Replicação e Alta Disponibilidade

1. Replication Factor
2. Leader/Follower
3. In-Sync Replicas
4. ISR
5. Replica synchronization
6. Leader election
7. Unclean leader election
8. Fault tolerance
9. Broker failure
10. Partition availability
11. Data durability
12. Configuração de replicação
13. Estratégias de alta disponibilidade

Módulo 9 – Retenção e Armazenamento

1. Kafka Log
2. Segment files
3. Log segments
4. Log retention
5. Time-based retention
6. Size-based retention
7. Log compaction
8. Compacted topics
9. Cleanup policies
10. Storage management
11. Disk utilization
12. Capacity planning
13. Gerenciamento de armazenamento

Módulo 10 – Administração de Kafka

1. Inicialização e parada de brokers
2. Configuração de brokers
3. Configuração dinâmica
4. Configurações de topics
5. Gerenciamento de partitions
6. Alteração do replication factor
7. Partition reassignment
8. Broker maintenance
9. Cluster expansion
10. Cluster balancing
11. Capacity planning
12. Gerenciamento de recursos
13. Procedimentos operacionais

Módulo 11 – Kafka CLI

Utilização das principais ferramentas de linha de comando:

1. kafka-topics
2. kafka-console-producer
3. kafka-console-consumer
4. kafka-consumer-groups
5. kafka-configs
6. kafka-reassign-partitions
7. kafka-metadata-quorum
8. kafka-storage

Operações práticas:

1. Criar topics
2. Excluir topics
3. Produzir eventos
4. Consumir eventos
5. Consultar offsets
6. Resetar offsets
7. Consultar consumer groups
8. Alterar configurações
9. Verificar status do quorum
10. Administrar partitions

Módulo 12 – Segurança do Apache Kafka

1. Kafka Security Overview
2. Authentication
3. Authorization
4. Encryption
5. TLS/SSL
6. SASL
7. SASL/PLAIN
8. SASL/SCRAM
9. ACLs
10. Access Control
11. User permissions
12. Topic permissions
13. Consumer permissions
14. Producer permissions
15. Security best practices

Módulo 13 – Kafka Connect

1. Introdução ao Kafka Connect
2. Source Connectors
3. Sink Connectors
4. Workers
5. Connectors
6. Tasks
7. Standalone Mode
8. Distributed Mode
9. Connector configuration
10. Data integration
11. Offset management
12. Error handling
13. Dead Letter Queue
14. Monitoramento do Kafka Connect

Módulo 14 – Schema Management

1. Necessidade de schemas
2. Event schemas
3. Schema evolution
4. Schema compatibility
5. Apache Avro
6. JSON Schema
7. Protobuf
8. Schema Registry
9. Producer schema
10. Consumer schema
11. Backward compatibility
12. Forward compatibility
13. Full compatibility

Módulo 15 – Monitoramento e Observabilidade

1. Kafka Metrics
2. Broker metrics
3. Producer metrics
4. Consumer metrics
5. Consumer lag
6. Throughput
7. Latency
8. Request rate
9. Error rate
10. Disk utilization
11. Network utilization
12. CPU utilization
13. JVM metrics
14. JMX
15. Prometheus
16. Grafana
17. Alerting
18. Dashboards operacionais

Módulo 16 – Performance Tuning

1. Kafka performance fundamentals
2. Throughput
3. Latency
4. Producer tuning
5. Consumer tuning
6. Broker tuning
7. Batch size
8. Compression
9. Fetch size
10. Buffer memory
11. Network threads
12. I/O threads
13. JVM configuration
14. Disk performance
15. Partition sizing
16. Consumer parallelism
17. Performance bottlenecks

Módulo 17 – Troubleshooting

1. Metodologia de troubleshooting
2. Broker unavailable
3. Under-replicated partitions
4. Offline partitions
5. Consumer lag
6. Producer errors
7. Consumer errors
8. Authentication failures
9. Authorization failures
10. Disk full
11. High CPU
12. High memory usage
13. Network bottlenecks
14. Rebalancing excessivo
15. Partition imbalance
16. ISR problems
17. Controller problems
18. KRaft quorum problems
19. Análise de logs
20. Diagnóstico por métricas

Módulo 18 – Arquitetura de Produção

1. Dimensionamento de cluster
2. Número de brokers
3. Número de partitions
4. Replication factor
5. Storage sizing
6. Network sizing
7. CPU e memória
8. Alta disponibilidade
9. Disaster Recovery
10. Multi-datacenter
11. Multi-region
12. Cluster replication
13. Segurança
14. Monitoramento
15. Backup e recuperação
16. Capacity planning
17. Arquitetura para produção

Laboratórios Práticos

Laboratório 1 – Instalação do Apache Kafka

• Preparar ambiente Linux
• Instalar Apache Kafka
• Configurar KRaft
• Inicializar cluster
• Iniciar brokers
• Validar cluster

Laboratório 2 – Criando e Administrando Topics

• Criar topics
• Configurar partitions
• Configurar replication factor
• Alterar configurações
• Consultar metadata
• Excluir topics

Laboratório 3 – Producers e Consumers

• Criar producer
• Criar consumer
• Produzir eventos
• Consumir eventos
• Trabalhar com keys
• Testar diferentes partitions

Laboratório 4 – Consumer Groups

• Criar consumer groups
• Adicionar consumidores
• Distribuir partitions
• Simular rebalance
• Monitorar consumer lag
• Resetar offsets

Laboratório 5 – Replicação

• Criar topic replicado
• Analisar leaders e followers
• Simular falha de broker
• Observar leader election
• Recuperar broker
• Validar sincronização

Laboratório 6 – Administração de Cluster

• Alterar configurações
• Reassignment de partitions
• Expansão de cluster
• Balanceamento
• Manutenção de broker

Laboratório 7 – Segurança

• Configurar TLS
• Configurar autenticação
• Criar usuários
• Configurar ACLs
• Restringir acesso a topics
• Testar permissões

Laboratório 8 – Monitoramento

• Configurar métricas
• Monitorar brokers
• Monitorar consumer lag
• Criar dashboards
• Identificar anomalias

Laboratório 9 – Troubleshooting

Cenários simulados:

• Broker indisponível
• Consumer parado
• Consumer lag elevado
• Partition offline
• ISR reduzido
• Erro de autenticação
• Erro de autorização
• Problema de armazenamento
• Problema de performance

Laboratório 10 – Projeto Final

Os participantes deverão projetar e implementar um cluster Kafka de referência, contemplando:

• Cluster KRaft
• Brokers
• Topics
• Partitions
• Replication
• Producers
• Consumers
• Consumer Groups
• Security
• Monitoring
• Troubleshooting
• Capacity Planning

Projeto de Arquitetura

Como atividade final, os participantes poderão desenvolver uma arquitetura para um cenário empresarial, como:

Sistema de processamento de pedidos orientado a eventos

Fluxo:

Aplicação → Kafka Producer → Kafka Topic → Consumer Group → Microservices → Banco de Dados

O projeto deverá considerar:

• Alta disponibilidade
• Escalabilidade
• Replicação
• Segurança
• Retenção
• Observabilidade
• Consumer lag
• Disaster Recovery
• Estratégia de particionamento