Currículo

Processamento de Big Data 03600

Contextos

Groupo: Ciência de Dados > 1º Ciclo > Unidades Curriculares Obrigatórias

ECTS

6.0 (para cálculo da média)

Objectivos

No final da UC os alunos deverão ser capazes de: OA1: compreender e conhecer as principais plataformas para processamento de grandes quantidades de informação OA2: compreender e saber aplicar os modelos de programação/computação distribuídos OA3: compreender as etapas associadas a um projeto de machine learning para grandes quantidades de informação OA4: saber aplicar técnicas de redução de dimensionalidade OA5: aplicar técnicas de aprendizagem supervisionada ou não supervisionada em problemas de grande dimensão

Programa

CP1: Plataformas computacionais para big data CP2: Pipeline de machine learning para big data CP3: Redução de dimensionalidade CP4: Aprendizagem supervisionada/não supervisionada para larga escala CP5: Casos de estudo: PageRank e Sistemas de Recomendação

Método de Avaliação

Esta UC contempla as seguintes modalidades de avaliação: (1) avaliação ao longo do semestre; (2) avaliação por exame. (1) Avaliação ao longo do semestre A nota final é composta por: • Teste escrito individual (70%), com nota mínima de 8,0; • Trabalho de grupo (30%). O trabalho de grupo tem uma entrega intercalar que contará 30% e uma entrega no final do semestre que contará 70%. Quem não entregar a parte correspondente à entrega intercalar passa automaticamente para a modalidade de avaliação por exame. O trabalho terá uma apresentação/discussão oral sendo a nota final individual. (2) avaliação por exame A nota final será a obtida num único exame escrito, incluindo o exame de época especial.

Carga Horária

Carga Horária de Contacto -

Trabalho Autónomo - 113.0

Carga Total -

Bibliografia

Principal

- Practical Data Science with Hadoop and Spark: Designing and Building Effective Analytics at Scale, Ofer Mendelevitch, Casey Stella and Douglas Eadline, Addison-wesley, 2016. - Advanced Analytics with Spark: Patterns for Learning from Data at Scale, Sandy Ryza et al., O'Reilly Media, 2017. - Learning Spark: Lightning-Fast Big Data Analysis, Holden Karau, A. Konwinski, P. Wendell and M. Zaharia, O'Reilly Media, 2015. - Big Data: Algorithms, Analytics, and Applications, Kuan-Ching Li et al., Chapman and Hall/CRC, 2015. - Mining of Massive Datasets, A. Rajaraman, J. Ullman, 2011, Cambridge University Press.:

Secundária

- The elements of statistical learning, Trevor Hastie, Robert Tibshirani, and Jerome Friedman. Springer, 2001 - All of Statistics: A concise course in Statistical Inference, L.Wasserman, Springer, 2003.: