Currículo

Modelos de Linguagem Generativos 04946

Contextos

ECTS

6.0 (para cálculo da média)

Objectivos

No final da UC, cada estudante deverá ser capaz de: OA1. Compreender os fundamentos teóricos dos modelos de linguagem generativos (LLMs) e da arquitetura Transformer. OA2. Explorar técnicas de treino e ajuste para a personalização de LLMs. OA3. Implementar, treinar, testar e validar LLMs utilizando bibliotecas como Hugging Face e PyTorch. OA4. Aplicar LLMs a tarefas práticas do Processamento Computacional da Língua (PCL) como o reconhecimento de entidades nomeadas, a análise de sentimento, a geração de texto, a sumarização e a tradução. OA5. Avaliar o desempenho dos modelos em tarefas de PCL utilizando métricas e benchmarks adequados. OA6. Melhorar o desempenho dos LLMs através da utilização de técnicas de Geração Aumentada por Recuperação de Informação (RAG, Retrieval-Augmented Generation). OA7. Aplicar modelos de linguagem multimodais e compreender os seus usos principais, como analisar o conteúdo de imagens, identificar objetos específicos e criar legendas automáticas.

Programa

CP1. Conceitos fundamentais dos LLMs e da arquitetura Transformer, incluindo mecanismos de atenção e codificação posicional. CP2. Aplicação prática de LLMs usando ferramentas como Hugging Face e PyTorch para a criação e otimização de modelos. CP3. Métodos de treino e ajuste de modelos para personalização para diferentes contextos. CP4. Implementação de soluções para tarefas como reconhecimento de entidades nomeadas, análise de sentimento, geração de texto, sumarização e tradução. CP5. Métricas apropriadas para avaliar o desempenho dos modelos em tarefas de PCL. CP6. Modelos de Geração Aumentada por Recuperação de Informação (RAG, Retrieval-Augmented Generation) para melhorar o desempenho dos LLMs. CP7. Modelos de linguagem multimodais e exploração de tarefas como classificação de imagens, deteção de objetos e descrição de conteúdos.

Método de Avaliação

Nesta UC apenas é possível obter aprovação por avaliação ao longo do semestre, não sendo contemplada a modalidade de avaliação por exame. A avaliação consiste em 2 componentes: 1. Trabalhos de grupo realizados ao longo do semestre: - Apresentação de um artigo científico (5%). - Ajuste de um LLM para um domínio específico (10%). - Desenvolvimento de um estudo de caso com correta avaliação do modelo (40%). - Criação de um modelo para aprimorar o LLM desenvolvido no trabalho 2 (25%). 2. Teste de avaliação (20%). A média dos trabalhos de grupo e do teste de avaliação exige uma nota mínima de 9,5 valores. Melhoria de nota só pode ser feita repetindo o processo de avaliação no ano seguinte. A presença nas sessões síncronas não é obrigatória.

Carga Horária

Bibliografia

Principal

• "Dan Jurafsky and James H. Martin. Speech and Language Processing (2024 pre-release) (https://web.stanford.edu/~jurafsky/slpdraft/) Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning (https://www.deeplearningbook.org/) Delip Rao and Brian McMahan. Natural Language Processing with PyTorch Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers (https://transformersbook.com/) : . .

Secundária

Disciplinas de Execução