Currículo

Big Data (Dtda) 04109

Contextos

ECTS

6.0 (para cálculo da média)

Objectivos

No final da UC os alunos deverão ser capazes de: OA1. Compreender e identificar os problemas associados ao processamento de grandes quantidades de informação OA2. Compreender os conceitos e ecossistema da Big Data. OA3. Saber desenhar e concretizar soluções de armazenamento de dados em ambiente distribuído e tolerantes a falhas. OA4. Saber extrair, manipular e carregar grandes quantidades de informação de frontes de dados não estruturadas OA5. Saber manipular e processar bases de dados não relacionais. OA6. Compreender e saber aplicar os modelos de programação e computação distribuídos. OA7. Compreender e saber aplicar técnicas para tratamento de estruturas JSON e fluxo de dados em tempo real. OA8. Desenvolver a criatividade, inovação tecnológica, pensamento crítico. OA9. Desenvolver a autoaprendizagem, revisão por pares, trabalho em equipa, expressão escrita e oral.

Programa

CP1. O conceito de Big Data, os problemas aplicáveis e o respetivo ecossistema. CP2. Introdução às bases de dados não relacionais e ao MongoDB. CP3. Arquitetura de computação para Big Data: (1) redundante e tolerante a falhas e (2) distribuída para suportar grandes volumes de dados. Exemplo da plataforma Hadoop e do seu sistema de ficheiros distribuído. CP4. O modelo de programação MapReduce. CP5. O desenho de bases de dados no MongoDB. CP6. A manipulação de estruturas JSON e de dados em tempo real. CP7. O processo de ETL (Extract, Transform and Load) aplicado a datasets com dados reais desnormalizados e desenvolvimento de aplicações de processamento de Big Data em ambientes Spark e MongoDB.

Método de Avaliação

Dada a natureza prática e de aplicação desta UC, segue-se o modelo de avaliação ao longo do semestre (ALS) por projeto, não contemplando exame final. A avaliação é constituída por 3 blocos de avaliação (BA), e cada BA é constituído por um ou vários momentos de avaliação. Essa mesma constituição respeita a seguinte distribuição: - BA1: 8 tarefas semanais [2,5% * 8 = 20% no total] - BA2: 2 mini-testes [15% cada * 2 = 30% no total] - BA3: Projeto de laboratório [50%] Cada bloco de avaliação (BA1, BA2 e BA3) exige uma nota mínima de 8,5 valores. As tarefas semanais permitem aos alunos responderem a pequenos desafios semanais práticos relacionados com o conhecimento adquirido. Os mini-testes visam aferir o conhecimento teórico subjacente aos conteúdos programáticos. O projeto de laboratório poderá ser realizado individualmente ou em grupo, onde consiste na elaboração de um projeto prático que posteriormente será alvo de discussão oral individual. Em qualquer elemento de avaliação, o docente ou coordenador da UC poderá solicitar, em qualquer momento durante o semestre, uma discussão oral individual destinada à confirmação da autoria dos trabalhos apresentados e/ou à aferição dos conhecimentos e competências demonstrados pelo estudante. A utilização de ferramentas de inteligência artificial generativa é permitida apenas como instrumento de apoio ao processo de aprendizagem, não podendo, em momento algum, substituir a autoria intelectual e a responsabilidade individual do estudante sobre qualquer elemento de avaliação entregue. O estudante é integralmente responsável pelo conteúdo submetido, devendo ser capaz de o justificar, explicar e defender perante o docente e/ou coordenador. Para esclarecimento adicional, é indispensável a leitura de outros documentos de referência para o processo de avaliação, tais como o Guia para uma Utilização Responsável da Inteligência Artificial em Trabalhos Académicos (Conselho Científico, 21/04/2026), o Código de Conduta Académica (CCA) e o Regulamento Disciplinar de Discentes (RDD). A presença física do aluno é obrigatória em todos os elementos de avaliação, sob pena de reprovação à UC e/ou de atribuição de 0 valores ao elemento de avaliação. Para obter aprovação na UC, o estudante deverá alcançar uma nota final mínima de 10 valores, resultante da soma ponderada de todos os elementos de avaliação. Um estudante é considerado reprovado a esta UC caso não obtenha aprovação na ALS. A 1.ª Época e 2.ª Época poderão ser utilizadas para realização de momentos de avaliação. A presença nas aulas não é obrigatória.

Carga Horária

Bibliografia

Principal

• 1. Nudurupati, S. (2021). Essential PySpark for Scalable Data Analytics: A beginner’s guide to harnessing the power and ease of PySpark 3. Packt Publishing. 2. Sardar, T. H. (2023). Big data computing: Advances in technologies, methodologies, and applications. CRC Press. 3. Tandon, A., Ryza, S., Laserson, U., Owen, S., & Wills, J. (2022). Advanced analytics with PySpark: Patterns for learning from data at scale using Python and Spark. O’Reilly Media.:

Secundária

• :

Disciplinas de Execução