Visão Geral

Curso Transformers e Modelos Fundacionais. Este curso apresenta uma visão aprofundada e estruturada sobre a arquitetura Transformers e o conceito de Modelos Fundacionais, que revolucionaram o campo do Deep Learning e da Inteligência Artificial moderna. O curso cobre desde os fundamentos matemáticos e computacionais da atenção até arquiteturas em larga escala, estratégias de pré-treinamento, fine-tuning e aplicações em linguagem natural, visão computacional e sistemas multimodais. O foco está na compreensão arquitetural, escalabilidade e uso prático em ambientes de pesquisa e produção.

Objetivo

Após realizar este curso Transformers e Modelos Fundacionais, você será capaz de:

• Compreender a arquitetura completa dos Transformers
• Entender o mecanismo de atenção e self-attention
• Analisar matematicamente o funcionamento do multi-head attention
• Diferenciar pré-treinamento, fine-tuning e adaptação de modelos
• Compreender o conceito e o papel dos modelos fundacionais
• Avaliar aplicações práticas e arquiteturais em larga escala

Publico Alvo

•  
• Engenheiros de machine learning e deep learning
• Cientistas de dados
• Engenheiros de software interessados em IA avançada
• Pesquisadores e arquitetos de soluções em IA
•  

Pre-Requisitos

•  
• Programação intermediária em Python
• Fundamentos de redes neurais e deep learning
• Álgebra linear e cálculo diferencial
• Noções de backpropagation
•  

Materiais

Conteúdo Programatico

Module 1: Introduction to Transformers

1. Limitations of RNNs and CNNs for sequence modeling
2. Evolution towards attention-based models
3. Transformer architecture overview
4. Encoder, decoder and encoder-decoder models

Module 2: Attention Mechanisms

1. Attention intuition and mathematical formulation
2. Query, key and value representations
3. Scaled dot-product attention
4. Masked attention and causal attention

Module 3: Multi-Head Attention and Positional Encoding

1. Multi-head attention architecture
2. Linear projections and dimensionality
3. Positional encoding strategies
4. Relative and rotary positional embeddings

Module 4: Transformer Blocks and Training

1. Feed-forward networks inside transformers
2. Residual connections and layer normalization
3. Backpropagation through attention
4. Computational complexity and scaling laws

Module 5: Pretraining Strategies

1. Language modeling objectives
2. Masked language models
3. Autoregressive models
4. Contrastive and self-supervised learning

Module 6: Foundation Models

1. Definition and characteristics of foundation models
2. Scaling data, parameters and compute
3. Emergent capabilities
4. Ethical and societal considerations

Module 7: Fine-Tuning and Adaptation

1. Full fine-tuning
2. Parameter-efficient fine-tuning (PEFT)
3. Prompt tuning and instruction tuning
4. Reinforcement learning from human feedback

Module 8: Multimodal and Advanced Applications

1. Vision transformers
2. Text-to-image and multimodal models
3. Retrieval-augmented generation
4. Deployment considerations for large models