[MÚSICA] [MÚSICA] Capturar a informação. O início de projeto de Big Data consiste na determinação do objetivo do estudo. Para atingir o objetivo deve-se definir quais os dados que precisam ser armazenados. As informações podem ser extraídas, por exemplo, da internet, das redes sociais e de sensores. Todas as informações devem ser capturadas e armazenadas no Data Lake. A forma mais fácil de capturar dados de mídias sociais online é por meio de uma API. Algumas empresas de mídias sociais disponibilizam APIs. Processar, modelar e visualizar. O processamento e a modelagem dos dados são divididos três pilares: Tecnologias de Big Data; Ferramentas de Analytics e Ferramentas de BI. [MÚSICA] Tecnologia. Para processar o imenso volume de dados do Big Data são necessárias tecnologias que possam oferecer escalabilidade, disponibilidade e flexibilidade. Inicialmente, as empresas com a necessidade de aumentar os recursos computacionais como: disco, memória e velocidade, faziam a troca de equipamento ou de algum componente. Essa estratégia possui algumas desvantagens: custo de atualização dos equipamentos, escalabilidade limitada, pois não é possível aumentar o processamento para momentos de pico. O Hadoop trouxe inovação ao processamento de dados. Ele é projeto open source da Apache Software Foundation, criado por Dough Cutting e Mike Cafarella. O Hadoop permite processamento de dados várias unidades de disco de forma distribuída, com tolerância a falhas. O cluster Hadoop é formado por conjunto de processadores. O HDFS é o componente do Haddop responsável pelo armazenamento distribuído dos dados. O arquivo a ser processado é dividido por padrão, blocos de tamanho 64 megabites. Suponha arquivo dividido quatro blocos, A1, A2, A3 e A4 de 64 megabites cada. Por padrão são realizadas três réplicas de cada bloco para processamento. A figura apresenta exemplo de processamento de cluster Hadoop, onde o arquivo está dividido quatro blocos e processado com três réplicas. Desta forma, o processamento é realizado de forma mais rápida, e com réplicas. Caso o processamento de bloco falhe existem outros blocos que estão realizando a mesma operação. Processar com Haddop é muito seguro, é uma forma barata. O Hadoop é muito eficiente, você coloca vários discos e a operação é feita de forma distribuída. Ele é muito eficiente e muito recomendado para projetos de Big Data. Ferramentas de Analytics e de BI. A modelagem das informações pode ser feita por meio, por exemplo, dos softwares. SAS, R, IBM SPSS, IBM Model, e o super computador o IBM Watson, que é sistema de computação cognitiva. A linguagem de programação Python também é muito utilizada projetos de Big Data. A visualização de dados pode ser feita por meio de ferramentas de Business Intelligence: Qlik, Power BI e Tableau, por exemplo. Neste bloco foram apresentadas algumas formas de processamento de dados: como processar com Hadoop, como processar de forma distribuída, como utilizar algumas formas de Analytics. Posso usar o SAS, por exemplo, o SPSS. Existem muitos softwares já desenvolvidos para a fase de modelagem, para a parte de modelo. E na parte de visualização, na camada de BI, existem muitas empresas mundiais que fornecem serviços de extrema qualidade. Até a próxima aula. [MÚSICA]
