Visão Geral

Este curso apresenta a administração do Kafka Connect, componente do ecossistema Apache Kafka responsável pela integração de dados entre o Kafka e sistemas externos. O participante aprenderá a instalar, configurar, administrar e monitorar clusters Kafka Connect, gerenciar conectores Source e Sink, implementar transformações de mensagens (SMTs), garantir alta disponibilidade e aplicar boas práticas para integração de bancos de dados, aplicações corporativas, serviços em nuvem e plataformas de Big Data.

Objetivo

Após realizar este curso, você será capaz de:

• Instalar e administrar ambientes Kafka Connect
• Configurar e gerenciar conectores Source e Sink
• Implementar pipelines de integração utilizando Kafka Connect
• Monitorar desempenho e disponibilidade dos conectores
• Aplicar boas práticas de segurança, escalabilidade e alta disponibilidade
• Diagnosticar e solucionar problemas operacionais em ambientes Kafka Connect

Publico Alvo

• Administradores de Middleware
• Engenheiros de Dados
• Administradores de Sistemas
• Profissionais DevOps e Platform Engineering
• Arquitetos de Soluções
• Engenheiros de Integração

Pre-Requisitos

• Conhecimentos equivalentes ao curso Apache Kafka Administration
• Familiaridade com Apache Kafka
• Conhecimentos básicos sobre bancos de dados
• Noções de integração de sistemas

Conteúdo Programatico

Module 1: Introduction to Kafka Connect

1. Kafka Connect architecture
2. Distributed and standalone modes
3. Workers and connectors
4. Source and Sink connectors
5. Kafka Connect ecosystem
6. Enterprise integration use cases

Module 2: Installing and Configuring Kafka Connect

1. Kafka Connect installation
2. Worker configuration
3. Plugin management
4. Connector deployment
5. Configuration files
6. REST API administration

Module 3: Connector Administration

1. Source connector administration
2. Sink connector administration
3. Connector lifecycle management
4. Task management
5. Offset management
6. Connector reconfiguration

Module 4: Data Transformation and Integration

1. Single Message Transforms (SMTs)
2. Data serialization
3. Schema Registry integration
4. Error handling
5. Dead Letter Queue concepts
6. Data validation strategies

Module 5: Monitoring, Security and Performance

1. Monitoring Kafka Connect
2. Metrics collection
3. Authentication and authorization
4. TLS configuration
5. Performance optimization
6. High availability best practices

Module 6: Kafka Connect Administration Workshop

1. Kafka Connect deployment
2. Source connector implementation
3. Sink connector implementation
4. SMT configuration laboratory
5. Monitoring and troubleshooting exercises
6. Final Kafka Connect administration project