Currículo
Técnicas Avançadas para Modelos de Linguagem 05234
Contextos
Groupo: Aprendizagem Automática Aplicada > Pós-Graduação de 2º Ciclo > Optativas
ECTS
6.0 (para cálculo da média)
Objectivos
No final da UC, o estudante deve ser capaz de: OA1. Analisar e explicar arquiteturas avançadas de LLMs, incluindo Transformers modernos, Mixture-of-Experts e modelos multimodais. OA2. Implementar técnicas contemporâneas de treino e alinhamento, tais como SFT, RLHF, DPO, RLAIF e métodos de self-improvement. OA3. Utilizar modelos open-source de última geração (LLaMA, Mistral, Qwen) para construir pipelines completos de pré-processamento, fine-tuning e inferência. OA4. Avaliar modelos com métricas apropriadas (perplexidade, robustez, diversidade) e suites de avaliação avançada. OA5. Diagnosticar limitações, identificar riscos e aplicar boas práticas de segurança, alignment e governança internacional. OA6. Desenvolver soluções práticas baseadas em LLMs que respondam a desafios reais, integrando conhecimento técnico com pensamento crítico e ético.
Programa
CP1: Arquiteturas modernas de LLMs, tais como Transformers; Mixture-of-Experts; arquiteturas multimodais; trade-offs entre performance, custo e escalabilidade. CP2: Técnicas avançadas de treino e alinhamento: SFT; Reinforcement Learning from Human Feedback (RLHF); Direct Preference Optimization (DPO); RLAIF; self-improvement e reflexão iterativa. CP3: Avaliação da performance dos modelos: Perplexidade; robustness testing; adversarial evaluation; evaluation suites (MMLU, MT-Bench, TruthfulQA, etc.). CP4: Pipelines com modelos open-source (LLaMA, Mistral, Qwen; LoRA/QLoRA); quantização; CP5: Segurança, limitações e alignment internacional: Taxonomias de riscos; mitigação de alucinações; alignment internacional (OECD, NIST, AI Act, UNESCO); governança e documentação.
Método de Avaliação
Nesta UC, e devido ao seu caráter eminentemente prático, apenas é possível obter aprovação por avaliação ao longo do semestre, não sendo contemplada a modalidade de avaliação por exame. A avaliação consiste em 3 componentes: 1. Mini-trabalho 1 (30%): Implementação de um exercício orientado de pré-treino parcial com arquiteturas modernas de LLMs. 2. Mini-trabalho 2 (30%): Aplicação prática de RLHF, DPO ou RLAIF num modelo open-source, e análise de performance com métricas. 3. Projeto Final (40%): Construção de uma solução avançada baseada em LLMs que integre uma ou mais técnicas exploradas na UC. A avaliação inclui código, relatório técnico e apresentação oral. Para aprovação é necessária uma classificação final mínima de 10 valores, considerando a ponderação das três componentes. Em caso de reprovação, o estudante deverá repetir a UC no ano letivo seguinte. A 1.ª e 2.ª épocas servem apenas para agendamento formal de apresentações ou entregas. A presença nas aulas não é obrigatória, mas recomenda-se fortemente a participação ativa nas sessões síncronas devido ao caráter avançado dos conteúdos. Aplicam-se o RGACC, o REEE e o Código de Conduta Académica.
Carga Horária
Carga Horária de Contacto -
Trabalho Autónomo - 125.0
Carga Total -
Bibliografia
Principal
- 1. Burkov, A. (2025). The hundred-page language models book. True Positive. 2. Elixir, C. (2025). Mastering open source LLMs: Customize, deploy, and fine-tune LLaMA, Mistral. 3. Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media.: --- ---