Visão Geral

Este curso aborda métodos e práticas para planejamento de capacidade em plataformas de Event Streaming, com foco em garantir desempenho, escalabilidade, disponibilidade e crescimento sustentável. O participante aprenderá a dimensionar brokers, storage, CPU, memória, rede, partitions, replication e consumidores, utilizando métricas de throughput, latency, event rate, retention e consumer lag. O conteúdo também explora capacity modeling, load testing, forecasting, sizing de clusters, expansão horizontal, multi-region architectures e planejamento para Apache Kafka, Apache Pulsar e outras plataformas de streaming.

Objetivo

Após realizar este curso, você será capaz de:

• Compreender os princípios de capacity planning para plataformas de streaming
• Dimensionar clusters de Event Streaming
• Calcular requisitos de CPU, memória, storage e rede
• Planejar capacidade de brokers, partitions e consumers
• Estimar crescimento de volume e retenção de dados
• Identificar gargalos e limites de capacidade
• Utilizar métricas históricas para forecasting
• Planejar expansão horizontal e vertical
• Avaliar cenários de crescimento e picos de carga
• Desenvolver planos de capacidade para ambientes de produção

Publico Alvo

• Arquitetos de Soluções
• Arquitetos de Data Platforms
• Engenheiros de Streaming
• Engenheiros de Dados
• Engenheiros de SRE
• Engenheiros DevOps
• Engenheiros de Cloud
• Administradores de Message Brokers
• Engenheiros de Plataforma

Pre-Requisitos

• Conhecimentos de Event Streaming
• Familiaridade com Apache Kafka ou Apache Pulsar
• Conhecimentos básicos de infraestrutura e Linux
• Noções de métricas de desempenho
• Conhecimentos básicos de monitoramento e observabilidade

Conteúdo Programatico

Module 1: Event Streaming Capacity Planning Fundamentals

1. Capacity planning concepts
2. Scalability and performance
3. Capacity versus utilization
4. Throughput and latency requirements
5. Event rate modeling
6. Capacity planning lifecycle

Module 2: Workload and Traffic Modeling

1. Event volume analysis
2. Message size estimation
3. Events per second
4. Peak versus average traffic
5. Traffic patterns
6. Producer and Consumer workloads
7. Workload forecasting

Module 3: Infrastructure Sizing

1. CPU sizing
2. Memory sizing
3. Network bandwidth
4. Storage capacity
5. Storage IOPS
6. Disk throughput
7. Infrastructure constraints

Module 4: Partitioning and Replication Capacity

1. Partition sizing
2. Partition distribution
3. Replication factor
4. Replication overhead
5. Broker balancing
6. Partition growth planning
7. Cluster sizing strategies

Module 5: Storage and Retention Planning

1. Data retention requirements
2. Storage growth calculations
3. Compression impact
4. Replication storage requirements
5. Log segment management
6. Storage expansion
7. Long-term capacity forecasting

Module 6: Consumer and Processing Capacity

1. Consumer throughput
2. Consumer Group scaling
3. Consumer lag
4. Processing capacity
5. Stream processing workloads
6. Backpressure
7. Consumer capacity planning

Module 7: Performance Testing and Forecasting

1. Load testing
2. Stress testing
3. Benchmark design
4. Performance baselines
5. Capacity thresholds
6. Growth forecasting
7. What-if analysis

Module 8: Event Streaming Capacity Planning Workshop

1. Production workload analysis
2. Cluster sizing exercise
3. CPU, memory, storage and network calculations
4. Partition and replication planning
5. Growth and peak-load modeling
6. Capacity monitoring strategy
7. Scaling and expansion planning
8. Final Event Streaming capacity plan