Visão Geral

Este Curso Apache Kafka Streams & KSQL, fornece habilidades para usar o Confluent KSQL para transformar, enriquecer, filtrar e agregar fluxos de dados em tempo real usando uma linguagem semelhante a SQL. Você aprenderá a usar a biblioteca Streams para construir aplicativos e, em seguida, aprenderá como testá-los, monitorá-los, protegê-los, escalá-los e integrá-los.

Objetivo

Após realizar este Curso Apache Kafka Streams & KSQL você será capaz de:

• Identifique padrões comuns e casos de uso para processamento de stream em tempo real
• Entenda a arquitetura de alto nível do Apache Kafka® Streams
• Escreva aplicativos em tempo real com a API Kafka Streams para filtrar, transformar, enriquecer, agregar e unir fluxos de dados
• Descrever como o KSQL combina os recursos de processamento de fluxo elástico, tolerante a falhas e de alto desempenho do Kafka Streams com a simplicidade de uma sintaxe semelhante ao SQL
• Crie consultas KSQL que mostrem seu equilíbrio entre poder e simplicidade
• Teste, proteja, implante e monitore aplicativos Kafka Streams e consultas KSQL

Publico Alvo

• Desenvolvedores de aplicativos,
• arquitetos, engenheiros de DevOps e cientistas de dados que precisam interagir com clusters Kafka para criar aplicativos em tempo real para filtrar, transformar, enriquecer, agregar e unir fluxos de dados para descobrir anomalias, analisar comportamento ou monitorar sistemas complexos.

Pre-Requisitos

• Familiarizado com o desenvolvimento de aplicativos profissionais em Java (preferencial), .NET, C#, Python ou outra linguagem de programação importante.
• Forte conhecimento da arquitetura Kafka, bem como conhecimento do desenvolvimento de aplicativos cliente Kafka.

Materiais

Conteúdo Programatico

Motivation and Concepts for Streams

1. Motivation and Use Cases for Real-Time Streaming
2. High Level Comparison of Kafka Streams and KSQL
3. Stream Processing Concepts

Kafka Streams Architecture

1. Kafka Streams’ Place in the Kafka Ecosystem
2. High Level Architecture Design
3. Kafka Streams Data Types

Writing Kafka Streams Applications

1. Anatomy of a Kafka Streams Application
2. Kafka Streams DSL — Stateless Operations
3. Kafka Streams DSL — Aggregations
4. Kafka Streams DSL — Windowed aggregations
5. Kafka Streams DSL — Joins
6. Kafka Streams DSL — Summary
7. Processor API
8. Optimizations

Testing Kafka Streams Applications

1. Get streams of data into and out of Kafka with Kafka Connect and REST Proxy
2. Maintain data formats and ensure compatibility with Schema Registry and Avro
3. Build real-time streaming applications with Confluent KSQL & Kafka Streams

The Confluent Platform

1. Unit Tests
2. Integration Tests
3. Stress Tests
4. End-to-end Tests

Introduction to KSQL

1. Sample Use Cases
2. End-to-end Examples
3. Interacting with KSQL

Using KSQL

1. Data Manipulation
2. Aggregations
3. Testing

Deployment

1. Parallelism
2. Elasticity
3. Fault tolerance
4. Capacity planning
5. Troubleshooting
6. KSQL-specific considerations

Security

1. Security Overview
2. Access Control
3. Examples
4. KSQL-specific considerations

Monitoring

1. JMX
2. Confluent Control Center
3. KSQL-specific Considerations