Currículo

Big Data (Dtda) 04109

Contextos

ECTS

6.0 (para cálculo da média)

Objectivos

No final da UC os alunos deverão ser capazes de: OA1. Compreender e identificar os problemas associados ao processamento de grandes quantidades de informação OA2. Compreender os conceitos e ecossistema da Big Data. OA3. Saber desenhar e concretizar soluções de armazenamento de dados em ambiente distribuído e tolerantes a falhas. OA4. Saber extrair, manipular e carregar grandes quantidades de informação de frontes de dados não estruturadas OA5. Saber manipular e processar bases de dados não relacionais. OA6. Compreender e saber aplicar os modelos de programação e computação distribuídos. OA7. Compreender e saber aplicar técnicas para tratamento de estruturas JSON e fluxo de dados em tempo real. OA8. Desenvolver a criatividade, inovação tecnológica, pensamento crítico. OA9. Desenvolver a autoaprendizagem, revisão por pares, trabalho em equipa, expressão escrita e oral.

Programa

CP1. O conceito de Big Data, os problemas aplicáveis e o respetivo ecossistema. CP2. Introdução às bases de dados não relacionais e ao MongoDB. CP3. Arquitetura de computação para Big Data: (1) redundante e tolerante a falhas e (2) distribuída para suportar grandes volumes de dados. Exemplo da plataforma Hadoop e do seu sistema de ficheiros distribuído. CP4. O modelo de programação MapReduce. CP5. O desenho de bases de dados no MongoDB. CP6. A manipulação de estruturas JSON e de dados em tempo real. CP7. O processo de ETL (Extract, Transform and Load) aplicado a datasets com dados reais desnormalizados e desenvolvimento de aplicações de processamento de Big Data em ambientes Spark e MongoDB.

Método de Avaliação

Dada a natureza prática e de aplicação desta UC, segue-se o modelo de avaliação ao longo do semestre (ALS), não contemplando exame final. A avaliação é constituída por 3 blocos de avaliação (BA), e cada BA é constituído por um ou vários momentos de avaliação. Essa mesma constituição respeita a seguinte distribuição: - BA1: 8 tarefas semanais [2,5% * 8 = 20% no total] - BA2: 2 mini-testes [15% cada * 2 = 30% no total] - BA3: Projeto de laboratório [50%] Cada bloco de avaliação (BA1, BA2 e BA3) exige uma nota mínima de 8,5 valores. Em qualquer BA, poderá ser necessária uma discussão oral individual para aferir o domínio dos conhecimentos, em qualquer momento no decorrer do semestre As tarefas semanais permitem aos alunos responderem a pequenos desafios semanais práticos relacionados com o conhecimento adquirido. Os mini-testes visam aferir o conhecimento teórico subjacente aos conteúdos programáticos. O projeto de laboratório poderá ser realizado individualmente ou em grupo, onde consiste na elaboração de um projeto prático que posteriormente será alvo de discussão oral individual. Para obter aprovação na UC, o estudante deverá alcançar uma nota final mínima de 10 valores, resultante da soma ponderada de todos os elementos de avaliação. Um estudante é considerado reprovado caso não obtenha aprovação na ALS. A 1ª Época e 2ª Época poderão ser utilizadas para realização de momentos de avaliação, como realização de discussões orais e/ou apresentação de projetos. A presença nas aulas não é obrigatória. Para além do RGACC, recomenda-se a leitura de outros documentos de referência para o processo de avaliação, tais como o Regulamento de Estudantes com Estatuto Especial (REEE) e o Código de Conduta Académica (CCA).

Carga Horária

Bibliografia

Principal

• 1. Nudurupati, S. (2021). Essential PySpark for Scalable Data Analytics: A beginner’s guide to harnessing the power and ease of PySpark 3. Packt Publishing. 2. Sardar, T. H. (2023). Big data computing: Advances in technologies, methodologies, and applications. CRC Press. 3. Tandon, A., Ryza, S., Laserson, U., Owen, S., & Wills, J. (2022). Advanced analytics with PySpark: Patterns for learning from data at scale using Python and Spark. O’Reilly Media.:

Secundária

• :

Disciplinas de Execução

2024/2025 - 2º Semestre

2024/2025 - 2º Semestre