Visão Geral

O Curso Kafka Cluster Administration" oferece uma visão abrangente da administração de clusters Kafka, abordando os principais aspectos relacionados à implantação, configuração, gerenciamento, monitoramento e solução de problemas em clusters Kafka.

Aqui está uma visão geral do que você pode esperar aprender no curso de administração de clusters Kafka:

• Introdução ao Apache Kafka: Uma introdução aos conceitos básicos do Apache Kafka, incluindo sua arquitetura e componentes fundamentais, como produtores, consumidores, corretores e tópicos.
• Implantação de clusters Kafka: Exploração das diferentes opções de implantação de clusters Kafka, incluindo modos autônomos, clusters de um nó e clusters de vários nós. Compreensão das melhores práticas para a implantação de Kafka em ambientes de produção.
• Configuração de clusters Kafka: Aprendizado sobre as diversas opções de configuração disponíveis para corretores Kafka, produtores e consumidores. Como otimizar a configuração do cluster Kafka para melhorar o desempenho e a confiabilidade.
• Gerenciamento de tópicos: Aprender a criar, modificar e excluir tópicos Kafka. Compreender a importância da divisão em partições e da replicação de tópicos, e como configurá-los de forma eficiente.
• Ingestão de dados: Explorar diferentes técnicas para a ingestão de dados no Kafka, incluindo o uso de produtores, Kafka Connect e outras ferramentas de integração de dados. Configurar e gerenciar pipelines de ingestão de dados.
• Monitoramento e métricas de cluster: Exploração de diversas ferramentas e técnicas para monitorar clusters Kafka. Aprender a coletar e analisar métricas importantes, como taxa de transferência, latência e utilização de disco, para garantir a saúde e o desempenho do cluster.
• Retenção de dados e limpeza: Compreender o conceito de retenção de dados no Kafka e como configurá-lo. Aprender sobre compactação de log e políticas de exclusão para gerenciar a retenção de dados de forma eficiente.
• Alta disponibilidade e tolerância a falhas: Configurar clusters Kafka para alta disponibilidade e tolerância a falhas. Compreender mecanismos de replicação e eleição de líderes para garantir a durabilidade e a disponibilidade dos dados.
• Segurança e autenticação: Explorar recursos de segurança do Kafka, incluindo autenticação, autorização e criptografia. Configurar a comunicação segura entre os componentes do Kafka.
• Atualizações e manutenção do cluster: Compreender as melhores práticas para atualizar clusters Kafka para versões mais recentes. Aprender a realizar tarefas de manutenção de rotina, como adicionar/remover corretores, reequilibrar partições e lidar com falhas.
• Solução de problemas e ajuste de desempenho: Aprender técnicas para identificar e resolver problemas comuns em clusters Kafka. Compreender como otimizar o desempenho do Kafka ajustando os parâmetros de configuração.

O QUE E KAFKA?

O Kafka é uma plataforma de streaming distribuída, desenvolvida pela Apache Software Foundation. Ele é projetado para lidar com grandes volumes de dados em tempo real, permitindo a ingestão, armazenamento e processamento de fluxos de dados de maneira escalável e durável.

Em termos simples, o Kafka pode ser considerado como um sistema de mensagens, onde os dados são publicados por produtores e consumidos por consumidores. No entanto, o Kafka vai além de um simples sistema de mensagens, fornecendo recursos avançados que o tornam adequado para casos de uso de streaming de dados em tempo real.

Aqui estão alguns conceitos fundamentais do Kafka:

1. Tópicos: São categorias ou canais aos quais os produtores publicam mensagens e dos quais os consumidores consomem mensagens. Os tópicos são divididos em partições para permitir a distribuição paralela e o dimensionamento horizontal.
2. Produtores: São os componentes responsáveis por enviar mensagens para os tópicos no Kafka. Eles podem ser aplicativos ou sistemas que geram dados em tempo real.
3. Consumidores: São os componentes que leem e processam as mensagens dos tópicos do Kafka. Os consumidores podem ser aplicativos ou sistemas que desejam acessar e processar os dados em tempo real.
4. Corretores: São os servidores do Kafka que gerenciam o armazenamento e a replicação das mensagens. Os corretores são responsáveis pelo recebimento das mensagens dos produtores, armazenamento em logs e disponibilização para os consumidores.
5. Partições: Cada tópico é dividido em uma ou mais partições. As partições permitem que os dados sejam distribuídos e processados em paralelo. Cada partição é ordenada e durável, garantindo a sequência e a recuperação dos dados.
6. Grupos de Consumidores: Os consumidores podem ser organizados em grupos, onde cada grupo tem um conjunto exclusivo de partições para consumir. Isso permite que o Kafka dimensione a carga de consumo distribuindo as partições entre os consumidores do grupo.
7. Retenção de Dados: O Kafka mantém as mensagens por um período de tempo configurável, mesmo depois de serem consumidas. Isso permite que os consumidores acessem e processem dados históricos, além de garantir a durabilidade dos dados em caso de falhas.

Objetivo

Neste Curso Kafka Cluster Administration, abordaremos o que é o ZooKeeper, sua arquitetura, sua função no Apache Kafka e a configuração, instalação e configuração em várias máquinas!

Este curso revela exatamente como seu Cluster Kafka em várias máquinas deve ser instalado e configurado. Começaremos entendendo os fundamentos do Kafka, o tamanho do cluster e a configuração. Também teremos um aprendizado prático sobre AWS Setup, Single Broker Setup, Multi Broker Setup, Testing the Cluster, Kafka Manager (Cluster Management), Demonstrando Kafka Resiliency etc. , Rede, RAM, CPU, SO (Sistema Operacional) etc. Você aprenderá como executar o Kafka em produção na AWS, como alterar uma configuração do Kafka Broker e também abordaremos as configurações avançadas do Kafka.

Publico Alvo

O público-alvo para o Curso Kafka Cluster Administration, inclui profissionais de TI, engenheiros de dados, arquitetos de soluções, administradores de sistemas, desenvolvedores e qualquer pessoa interessada em aprender a configurar, implantar e gerenciar clusters Kafka em ambientes de produção.

Mais especificamente, o curso pode ser útil para:

• Administradores de sistemas: Que desejam adquirir conhecimentos específicos sobre a administração do Kafka, incluindo implantação, configuração, monitoramento e solução de problemas.
• Engenheiros de dados: Que trabalham com arquiteturas de streaming de dados em tempo real e desejam aprender como utilizar o Kafka como plataforma central para processamento de dados.
• Arquitetos de soluções: Que estão envolvidos na concepção e implementação de soluções de streaming de dados, onde o Kafka desempenha um papel importante.
• Desenvolvedores: Que desejam entender como integrar aplicativos e sistemas existentes ao Kafka, além de aprender a usar a API do Kafka para desenvolver produtores e consumidores de maneira eficiente.
• Profissionais de análise de dados: Que desejam explorar o potencial do Kafka para ingestão e processamento de dados em tempo real, como parte de pipelines de dados analíticos.
• Gerentes de projeto: Que precisam entender os recursos, a escalabilidade e as implicações operacionais do Kafka para tomar decisões informadas sobre o uso da plataforma em projetos.

Pre-Requisitos

• Compreensão básica dos conceitos do sistema linux/unix
• Familiaridade com a interface de linha de comando (CLI)
• Familiaridade com um editor de texto
• Experiência com gerenciamento de sistemas/aplicativos/infraestrutura ou com implantações/automação

Materiais

Conteúdo Programatico

Course Introduction Architecture

1. Kafka Cluster Setup Introduction
2. Cloud Provider Target Architecture
3. Cost of the tutorial

Zookeeper Quorum Setup

1. What is Zookeeper?
2. Zookeeper Role in a Kafka Cluster
3. Zookeeper Quorum Sizing
4. Zookeeper Configuration
5. Hands-On: Zookeeper AWS Setup
6. How to SSH Into our Servers?
7. Hands-On: Single Zookeeper Machine Setup
8. Hands-On: Zookeeper Service Setup
9. Using the Zookeeper Command Line Interface (CLI)
10. Hands-On: Zookeeper Quorum setup - Part 1 AWS
11. Hands-On: Zookeeper Quorum Setup - Part 2 Zookeeper
12. Zookeeper Four Letter Words
13. Zookeeper Internal File System
14. Factors impacting Zookeeper Peformance
15. Note: Zookeeper in AWS
16. Hands-On: Web tools AWS machine Docker setup
17. Management Tools for Zookeeper & Zoonavigator demo