Currículo

Introdução à Aprendizagem Profunda IaAP

Contextos

ECTS

6.0 (para cálculo da média)

Objectivos

OA1:Explicar os princípios fundamentos da aprendizagem profunda e a sua evolução no contexto da IA. OA2:Formular problemas de aprendizagem profunda identificando dados, modelos, parâmetros, funções de perda, métricas de avaliação e critérios de generalização. OA3:Descrever e analisar redes neuronais densas, incluindo funções de activação, profundidade, composição de funções, capacidade de representação, expressividade e limitações práticas. OA4:Treinar redes neuronais utilizando métodos de optimização, compreendendo o papel da retropropagação, da inicialização de pesos e da estabilidade do treino. OA5:Avaliar e melhorar o desempenho de modelos de aprendizagem profunda, identificando limitações, riscos de sobreajuste e subajuste e compromissos entre desempenho, interpretabilidade e custo computacional. OA6:Compreender arquitecturas modernas, incluindo redes convolucionais, redes residuais, Transformers, modelos pré-treinados e modelos generativos, incluindo VAEs e modelos de difusão.

Programa

CP1 — Fundamentos de aprendizagem profunda: enquadramento na aprendizagem automática; tipos de aprendizagem; dados, modelos, parâmetros, perdas e generalização. CP2 — Redes neuronais rasas e densas: redes rasas/profundas; funções de activação; composição, profundidade, representação e expressividade. CP3 — Treino de redes neuronais: funções de perda; optimização por gradiente; retropropagação e inicialização de pesos. CP4 — Avaliação, generalização e regularização: treino/validação/teste; métricas; sobreajuste/subajuste; weight decay, dropout, data augmentation e early stopping. CP5 — Redes convolucionais e residuais: convolução, filtros, pooling, CNNs, redes residuais, transfer learning e encoder-decoder. CP6 — Transformers e modelos pré-treinados: sequências, tokenização, embeddings, atenção, Transformer, fine-tuning, inferência e LLMs. CP7 — Modelos generativos e difusão: autoencoders, espaços latentes, VAEs, reconstrução, amostragem e introdução à difusão.

Método de Avaliação

A unidade curricular pode ser realizada através de 2 modalidades de avaliação: 1 - Avaliação ao longo do semestre A avaliação ao longo do semestre é composta por: + (80%) 2 testes: 1 teste realizado a meio do semestre, em data a definir, e um 2.º teste realizado na primeira data da época de exame; + (20%) questionários _online_ sobre os trabalhos práticos, a realizar na plataforma de e-learning. A presença na aula prática é obrigatória para a avaliação ser considerada. A nota final é calculada através de uma média ponderada destas 2 vertentes de acordo com os pesos apresentados tendo em conta que: - A aprovação na componente dos testes obriga à obtenção de uma nota mínima de 7,5 valores em ambos os testes; - A falta a 3 ou mais sessões práticas resulta na reprovação automática nesta componente da avaliação; - Para efeitos do cálculo da nota final, os trabalhos práticos correspondentes a sessões em que o aluno faltou são cotados com 0 valores. A reprovação em qualquer das componentes de avaliação ao longo do semestre obriga à realização da avaliação por exame final. 2 - Avaliação por exame final A avaliação por exame final é composta por 1 único exame realizado em qualquer das épocas de exame disponíveis, que corresponderá a 100% da nota final. A qualquer momento, e independentemente da modalidade de avaliação, poderá ser exigida ao estudante a realização de uma prova oral destinada à confirmação da classificação obtida, da autoria do trabalho realizado e/ou da demonstração das competências avaliadas na unidade curricular.

Carga Horária

Bibliografia

Principal

• - Prince, S. J. D. (2023). Understanding Deep Learning. MIT Press. (acesso aberto: https://udlbook.github.io/udlbook/) - Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2023). Dive into Deep Learning. (acesso aberto: https://d2l.ai) - Raschka, S., Liu, Y., & Mirjalili, V. (2022). Machine Learning with PyTorch and Scikit-Learn. Packt. - Tunstall, L., von Werra, L., & Wolf, T. (2022). Natural Language Processing with Transformers. O'Reilly.:

Secundária

• - Goodfellow, I., Bengio, Y., & Courville, A. (2016). *Deep Learning*. MIT Press. - Documentação oficial do PyTorch e tutoriais da Hugging Face.:

Disciplinas de Execução