Currículo

Aprendizagem Automática Avançada AAA

Contextos

ECTS

6.0 (para cálculo da média)

Objectivos

OA1: Conhecer as principais arquiteturas de redes neuronais para o processamento de dados sequenciais OA2: Aplicar versões simplificadas de algumas das arquiteturas de processamento de dados sequenciais a problemas concretos OA3: Descrever a arquitetura de modelos baseados em transformadores e auto-atenção, tais como BERT, GPT-2 e GPT-3, bem como variantes destes modelos OA4: Aplicar modelos pré-treinados baseados em transformadores a casos de estudo, fazendo uso de transferência de apendizagem OA5: Descrever o funcionamento de modelos generativos, tais como as Generative Adversarial Networks, Variational Autoencoders e modelos baseados em Fluxo e modelos autoregressivos OA6: Conhecer as atuais tendências na aplicação de modelos de língua a problemas reais

Programa

Introduction and fundamental concepts revision P1: Revisiting Neural Networks - Feed Forward networks and backpropagation - Regularization Techniques: Dropout, weight decay, early stopping - Hyperparameter Tuning: Grid search, random search, Bayesian optimization P2: Sequential data - Recurrent Neural Networks - Conditional sequence models - LSTMs - CNNs for sequential data - Attention Mechanisms in sequential models P3: Transformers - Transformer architecture and attention - Processing Natural Language - Transformer Language Models - Multimodal Transformers - Applications, dialog systems, recent trends P4: Generative Modeling - Generative Adversarial Networks (GANs) - Variational autoencoders (VAE) - Autoregressive models

Método de Avaliação

Avaliação ao longo do semestre: Minitestes (15%) + Projeto (35%) + Teste Final (50%), realizado em 1ª época (em simultâneo com o exame). É exigida uma nota mínima de 8 valores em cada componente de avaliação. Os alunos vão a exame final (1ª época, 2ª época e época especial) caso tenham optado por este regime ou não tenham obtido nota positiva na avaliação periódica. O exame final é composto por um teste individual que cobre toda a matéria. A nota final do Projeto é fixada para cada aluno através de uma prova oral e dependerá do código, relatório e desempenho do aluno na oral. As perguntas dos testes podem envolver aspectos relacionados com o Projeto.

Carga Horária

Bibliografia

Principal

• - Deep Learning: Ian Goodfellow, Yoshua Bengio, Aaron Courville 2016 MIT Press - Deep Learning - Foundations and Concepts, Christopher M. Bishop , Hugh Bishop, Springer 2024, ISBN 978-3-031-45467-7 - Probabilistic Machine Learning: An Introduction, Murphy, Kevin, (2022), https://probml.github.io/pml-book/book1.html:

Secundária

• - Eli Stevens, Luca Antiga, Thomas Viehmann (2020) Deep learning in Python/ Pytorch, Manning Publications (Free book) - Aurélien Géron, “Hands-On Machine Learning with Scikit-Learn and TensorFlow”, O’Reilly, 2017:

Disciplinas de Execução

2025/2026 - 1º Semestre

2024/2025 - 1º Semestre