Currículo

Aprendizagem Automática Avançada AAA

Contextos

ECTS

6.0 (para cálculo da média)

Objectivos

OA1: Conhecer as principais arquiteturas de redes neuronais para o processamento de dados sequenciais OA2: Aplicar versões simplificadas de algumas das arquiteturas de processamento de dados sequenciais a problemas concretos OA3: Descrever o funcionamento de modelos generativos, tais como as Generative Adversarial Networks, Variational Autoencoders e modelos baseados em Fluxo e modelos autoregressivos OA4: Descrever a arquitetura de modelos baseados em transformadores e auto-atenção, tais como BERT, GPT-2 e GPT-3, bem como variantes destes modelos OA5: Aplicar modelos pré-treinados baseados em transformadores a casos de estudo, fazendo uso de transferência de apendizagem OA6: Conhecer as atuais tendências na aplicação de modelos de língua a problemas reais

Programa

Introduction, Revisiting Neural Networks (Feed Forward networks, Backpropagation) P1: Sequential data - Recurrent Neural Networks - Learning challenges and solutions - Conditional sequence models - LSTMs - CNNs for sequential data - Learning with attention- ELMO as a case study P2: Generative Modeling - GANs - Variational autoencoders (VAE) - Flow-based models - Autoregressive models P3: Transformers & self-attention - BERT, GPT2 and GPT-3, and BART - Transfer learningP4: Recent Trends: - LaMDA: Language Models for Dialog Applications- Responsibility first

Método de Avaliação

Avaliação periódica: Teste Intermédio (25%) + PROJETO (35%) + Teste Final (40%). Os alunos vão a exame final caso tenham optado por este regime, ou não tenham obtido nota positiva na avaliação periódica. O exame final é composto por um teste individual que cobre toda a matéria. A assiduidade não é requisito essencial de aprovação.

Carga Horária

Bibliografia

Principal

• --:

Secundária

Disciplinas de Execução

2024/2025 - 1º Semestre