Bloco 5 - Capturar, Processar, Modelar e Visualizar.

Loading...

來自 Fundação Instituto de Administração 的課程

Introdução ao Big Data

78 個評分

Fundação Instituto de Administração

Introdução ao Big Data

78 個評分

Este curso é indicado para profissionais que desejam entender de forma fácil o que é Big Data, conhecer algumas tecnologias de Big Data, ter acesso a algumas aplicações de Analytics, Internet das Coisas - IOT e de Big Data. Ao final do curso você será capaz de participar de um projeto de Big Data contribuindo com estratégias e direcionando o projeto para a escolha da adequada técnica de análise de dados.

從本節課中

Contextualização e Etapas de um projeto de Big Data.

Nesta aula será apresentada a necessidade de trabalhar com Big Data, será apresentado o papel do cientista de dados, serão considerados aspectos de armazenagem de informação. De forma detalhada serão apresentadas as fases de um projeto de Big Data. Serão apresentados os 7 Vs do Big Data. Serão destacadas as ferramentas de analytics de BI e a importância do Hadoop.

Bloco 1 - Definição do Big Data.8:54

Bloco 2 - 7 V's do Big Data.8:04

Bloco 3 - Cientista de Dados.4:42

Bloco 4 - Definir, Preparar e Armazenar.7:49

Bloco 5 - Capturar, Processar, Modelar e Visualizar.5:00

與講師見面

Alessandra Montini
Professora Doutora
LABDATA

[MÚSICA] [MÚSICA]

Capturar a informação.

O início de projeto de Big Data consiste na determinação do objetivo do estudo.

Para atingir o objetivo deve-se definir quais os dados que

precisam ser armazenados.

As informações podem ser extraídas, por exemplo,

da internet, das redes sociais e de sensores.

Todas as informações devem ser capturadas e armazenadas no Data Lake.

A forma mais fácil de capturar dados de mídias sociais

online é por meio de uma API.

Algumas empresas de mídias sociais disponibilizam APIs.

Processar, modelar e visualizar.

O processamento e a modelagem dos dados são divididos três pilares:

Tecnologias de Big Data; Ferramentas de Analytics e Ferramentas de BI.

[MÚSICA] Tecnologia.

Para processar o imenso volume de dados do Big Data são

necessárias tecnologias que possam oferecer escalabilidade,

disponibilidade e flexibilidade.

Inicialmente, as empresas com a necessidade de aumentar os

recursos computacionais como: disco, memória e velocidade,

faziam a troca de equipamento ou de algum componente.

Essa estratégia possui algumas desvantagens: custo de

atualização dos equipamentos, escalabilidade limitada,

pois não é possível aumentar o processamento para momentos de pico.

O Hadoop trouxe inovação ao processamento de dados.

Ele é projeto open source da Apache Software Foundation,

criado por Dough Cutting e Mike Cafarella.

O Hadoop permite processamento de dados várias unidades

de disco de forma distribuída, com tolerância a falhas.

O cluster Hadoop é formado por conjunto de processadores.

O HDFS é o componente do Haddop

responsável pelo armazenamento distribuído dos dados.

O arquivo a ser processado é dividido por padrão,

blocos de tamanho 64 megabites.

Suponha arquivo dividido quatro blocos, A1, A2,

A3 e A4 de 64 megabites cada.

Por padrão são realizadas três réplicas de cada bloco para processamento.

A figura apresenta exemplo de processamento de cluster Hadoop,

onde o arquivo está dividido quatro blocos e processado com três réplicas.

Desta forma, o processamento é realizado de forma mais rápida, e com réplicas.

Caso o processamento de bloco falhe existem outros blocos que

estão realizando a mesma operação.

Processar com Haddop é muito seguro, é uma forma barata.

O Hadoop é muito eficiente,

você coloca vários discos e a operação é feita de forma distribuída.

Ele é muito eficiente e muito recomendado para projetos de Big Data.

Ferramentas de Analytics e de BI.

A modelagem das informações pode ser feita por meio, por exemplo, dos softwares.

SAS, R, IBM SPSS,

IBM Model, e o super computador o IBM Watson,

que é sistema de computação cognitiva.

A linguagem de programação Python também é muito utilizada projetos de Big Data.

A visualização de dados pode ser feita por meio de ferramentas de

Business Intelligence: Qlik, Power BI e Tableau, por exemplo.

Neste bloco foram apresentadas algumas formas de

processamento de dados: como processar com Hadoop,

como processar de forma distribuída, como utilizar algumas formas de Analytics.

Posso usar o SAS, por exemplo, o SPSS.

Existem muitos softwares já desenvolvidos para a fase de modelagem,

para a parte de modelo.

E na parte de visualização, na camada de BI,

existem muitas empresas mundiais que fornecem serviços de extrema qualidade.

Até a próxima aula.

[MÚSICA]

探索我們的目錄

免費加入並獲得個性化推薦、更新和優惠。

Coursera 致力於普及全世界最好的教育，它與全球一流大學和機構合作提供在線課程。

© 2018 Coursera Inc. 保留所有權利。

通過 App Store 下載

通過 Google Play 獲取