Visão Geral

Apache Hadoop é uma das estruturas mais populares para processamento de Big Data em clusters de servidores. Este curso se concentra em técnicas avançadas de programação que serão benéficas para desenvolvedores Hadoop experientes.

Objetivo

Após realisar este Curso Advanced Hadoop For Developers, você será capaz de:

• Porco Avançado
• Colmeia Avançada
• HBase avançado (SQL)

Publico Alvo

Desenvolvedores

Pre-Requisitos

• Confortável com a linguagem de programação Java (a maioria dos exercícios de programação são em java)
• Confortável em ambiente Linux (ser capaz de navegar na linha de comando do Linux, editar arquivos usando vi/nano)
• Frequentou o “Hadoop for Developers” ou tem conhecimento prático de Hadoop.

Informações Gerais

Curso Hadoop For Developers Advanced

Materiais

Conteúdo Programatico

Data Management in HDFS

1. Various Data Formats (JSON / Avro / Parquet)
2. Compression Schemes
3. Data Masking
4. Labs : Analyzing different data formats; enabling compression

Advanced Pig

1. User-defined Functions
2. Introduction to Pig Libraries (ElephantBird / Data-Fu)
3. Loading Complex Structured Data using Pig
4. Pig Tuning
5. Labs : advanced pig scripting, parsing complex data types

Advanced Hive

1. User-defined Functions
2. Compressed Tables
3. Hive Performance Tuning
4. Labs : creating compressed tables, evaluating table formats and configuration

Section 4 : Advanced HBase

1. Schema Modelling
2. Compression
3. Bulk Data Ingest
4. Wide-table / Tall-table comparison
5. HBase and Pig
6. HBase and Hive
7. HBase Performance Tuning
8. Labs : tuning HBase; accessing HBase data from Pig & Hive; Using Phoenix for data modeling