Ficha Unidade Curricular (FUC)

Informação Geral / General Information

Carga Horária / Course Load

Área científica / Scientific area

Inteligência Artificial

Departamento / Department

Departamento de Ciências e Tecnologias da Informação

Ano letivo / Execution Year

2025/2026

Pré-requisitos / Pre-Requisites

Conhecimentos de Álgebra Linear, Cálculo diferencial, Probabilidades e programação em Python e ter frequentado a UC de Introdução à Aprendizagem Automática

Objetivos Gerais / Objectives

Desenvolver, tanto ao nível teórico como ao nível da sua implementação, conceitos e técnicas fundamentais em aprendizagem automática ao nível da aprendizagem profunda. Aplicar os conceitos e abordagens à resolução de problemas em áreas, tais como o processamento de linguagem natural, processamento de imagem e processamento de fala.

Objetivos de Aprendizagem e a sua compatibilidade com o método de ensino (conhecimentos, aptidões e competências a desenvolver pelos estudantes) / Learning outcomes

OA1: Conhecer as principais arquiteturas de redes neuronais para o processamento de dados sequenciais OA2: Aplicar versões simplificadas de algumas das arquiteturas de processamento de dados sequenciais a problemas concretos OA3: Descrever a arquitetura de modelos baseados em transformadores e auto-atenção, tais como BERT, GPT-2 e GPT-3, bem como variantes destes modelos OA4: Aplicar modelos pré-treinados baseados em transformadores a casos de estudo, fazendo uso de transferência de apendizagem OA5: Descrever o funcionamento de modelos generativos, tais como as Generative Adversarial Networks, Variational Autoencoders e modelos baseados em Fluxo e modelos autoregressivos OA6: Conhecer as atuais tendências na aplicação de modelos de língua a problemas reais

Conteúdos Programáticos / Syllabus

Introduction and fundamental concepts revision P1: Revisiting Neural Networks - Feed Forward networks and backpropagation - Regularization Techniques: Dropout, weight decay, early stopping - Hyperparameter Tuning: Grid search, random search, Bayesian optimization P2: Sequential data - Recurrent Neural Networks - Conditional sequence models - LSTMs - CNNs for sequential data - Attention Mechanisms in sequential models P3: Transformers - Transformer architecture and attention - Processing Natural Language - Transformer Language Models - Multimodal Transformers - Applications, dialog systems, recent trends P4: Generative Modeling - Generative Adversarial Networks (GANs) - Variational autoencoders (VAE) - Autoregressive models

Demonstração da coerência dos conteúdos programáticos com os objetivos de aprendizagem da UC / Evidence that the curricular unit's content dovetails with the specified learning outcomes

OA1 e OA2 são abordados em P2, com foco em redes neuronais para dados sequenciais. OA3 e OA4 são cobertos em P3, dedicados a modelos transformadores, suas variantes e aplicações. OA5 é tratado em P4, relativo a modelos generativos. OA6 é assegurado pela discussão de tendências e aplicações de modelos de linguagem em P3 e P4.

Avaliação / Assessment

Avaliação ao longo do semestre: Minitestes (15%) + Projeto (35%) + Teste Final (50%), realizado em 1ª época (em simultâneo com o exame). É exigida uma nota mínima de 8 valores em cada componente de avaliação. Os alunos vão a exame final (1ª época, 2ª época e época especial) caso tenham optado por este regime ou não tenham obtido nota positiva na avaliação periódica. O exame final é composto por um teste individual que cobre toda a matéria. A nota final do Projeto é fixada para cada aluno através de uma prova oral e dependerá do código, relatório e desempenho do aluno na oral. As perguntas dos testes podem envolver aspectos relacionados com o Projeto.

Metodologias de Ensino / Teaching methodologies

Esta unidade curricular está estruturada em aulas teóricas para exposição da matéria e em aulas teórico-práticas para resolução de problemas e utilização prática de ferramentas. Além da assiduidade às aulas espera-se do aluno um tempo de trabalho autónomo para consulta da bibliografia, revisão de matéria dada, resolução de exercícios propostos e resposta a problemas para avaliação.

Demonstração da coerência das metodologias de ensino e avaliação com os objetivos de aprendizagem da UC / Evidence that the teaching and assessment methodologies are appropriate for the learning outcomes

O alinhamento entre cada componente de avaliação e os objetivos definidos para a UC é feito da seguinte forma: - O Teste Intermédio avalia os objetivos de aprendizagem OA1, OA2 e OA3. - O PROJETO permitirá avaliar os objetivos OA4, OA5 e OA6 - O Teste Final cobre toda a matéria, permitindo assim avaliar todos os objetivos de aprendizagem

Observações / Observations

--

Bibliografia Principal / Main Bibliography

- Deep Learning: Ian Goodfellow, Yoshua Bengio, Aaron Courville 2016 MIT Press - Deep Learning - Foundations and Concepts, Christopher M. Bishop , Hugh Bishop, Springer 2024, ISBN 978-3-031-45467-7 - Probabilistic Machine Learning: An Introduction, Murphy, Kevin, (2022), https://probml.github.io/pml-book/book1.html

Bibliografia Secundária / Secondary Bibliography

- Eli Stevens, Luca Antiga, Thomas Viehmann (2020) Deep learning in Python/ Pytorch, Manning Publications (Free book) - Aurélien Géron, “Hands-On Machine Learning with Scikit-Learn and TensorFlow”, O’Reilly, 2017

Data da última atualização / Last Update Date

2025-07-24