[SOM] [SOM]
Etapas de projeto de Big Data.
A implantação de projeto de Big Data envolve cinco fases.
A tomada de decisão deve ser realizada com base nos resultados
obtidos pelo projeto de Big Data.
[SOM] O sucesso de projeto de Big Data depende de uma boa pergunta.
Os executivos precisam ter bem claro propósito para a empresa.
É necessário ter objetivo a ser atingido.
O projeto precisa ser viável para ser realizado no tempo desejado.
Perguntas frequentes para equipes de Big Data.
Qual o custo de implantação do projeto?
Qual o valor agregado ao negócio?
Qual o retorno financeiro?
Qual o aumento esperado de mercado?
[SOM] Preparar o ambiente e armazenar a informação.
Para definição da forma mais adequada para armazenamento da informação,
deve-se ter atenção com relação a escalabilidade,
alta disponibilidade e flexibilidade.
Escalabilidade.
A quantidade de usuários que acessam o banco de dados pode crescer e
decrescer rapidamente.
A empresa deve estar pronta para uma solução escalável,
por exemplo, deve estar pronta para o pico de venda uma data comerativa.
Alta disponibilidade.
O acesso a informação deve estar sempre disponível.
Os bancos, por exemplo, devem estar com seus sistemas sempre disponíveis.
O banco de dados nunca pode sair do ar.
O sistema sempre deve estar funcionando.
O cliente sempre deve ser privilegiado.
Alta disponibilidade é fundamental para todas as empresas.
Flexibilidade.
A forma de armazenamento da informação deve ser flexível para
que se possa armazenar dados estruturados e não estruturados
que serão processados com a utilização de diversas tecnologias.
Além da preocupação com a escalabilidade, alta disponibilidade e flexibilidade,
para determinar a melhor estratégia de armazenar as informações,
deve-se considerar a estrutura do banco de dados.
Custo dos equipamentos.
Custo da equipe de Big Data.
Aspectos de segurança da informação.
Como as informações serão processadas?
Quais os softwares e aplicativos envolvidos no projeto?
Como os dados serão gerenciados pela equipe?
O ideal é criar único repositório, para que todas as
informações estejam disponíveis a todos os usuários.
Este repositório é denominado Data Lake.
No Data Lake as informações são armazenadas de forma bruta,
da forma que foram coletadas na fonte de dados.
O Data Lake pode ser criado na empresa, com a utilização, por exemplo,
da Cloudera que é uma das principais fornecedoras de soluções,
suporte e serviços de software para Big Data.
Para criação de Data Lake, vários membros da empresa devem participar.
A equipe de Ti, a área de modelagem, a área de negócios e os diretores.
Quando as informações da empresa estão desorganizadas, equivale a lago poluído.
Deve-se verificar se as informações são verídicas.
É muito difícil elaborar projeto de Big Data quando não é feito
Data Lake de forma adequada.
Alguns casos, as bases de dados possuem informação incorreta,
como idade negativa, por exemplo.
O Data Lake pode ser criado na Nuvem.
A Microsoft oferece serviço de armazenagem de dados.
A Azure Data Lake possibilita armazenar dados de qualquer tamanho,
forma e velocidade, bem como, realizar todo o tipo de
processamento e análise diferentes plataformas e linguagem.
O Azure remove as complexidades relacionadas a ingerir
e armazenar os dados, enquanto acelera a execução das análises.
O Big Data trouxe inovação na forma de armazenar as informações.
Pode-se utilizar bancos de dados SQL e NOSQL.
Dependendo do objetivo do projeto, pode-se utilizar bancos de dados com
cada uma das características, orientado a chave-valor, orientado a coluna,
orientado a documentos ou orientado a gráficos.
[SOM] Cloud Computing.
Segundo a definição de Cloud Computing, de acordo com o NIST,
Cloud Computing é modelo que permite acesso sob demanda,
via redes de computadores a conjunto compartilhado de recursos
computacionais que podem ser rapidamente provisionado e liberado,
com o mínimo de esforço administrativo ou interação com o provedor dos serviços.
A empresa pode optar por armazenar os dados uma Cloud privada,
Cloud pública ou uma Cloud híbrida.
Cloud pública é de uso público.
Uma organização é dona da infraestrutura e vende os serviços.
Uma Cloud pública pode-se dimensionar a quantidade de
servidores de acordo com a necessidade da empresa.
Exemplos de períodos com grande utilização: venda de Natal,
entrega de imposto de renda, promoções, vendas de ingresso, Black Friday.
A utilização de software e dos serviços disponíveis ocorrem de
acordo com a necessidade do cliente.
Pode-se utilizar na Nuvem email como Gmail e Hotmail,
Google Docs, Microsoft Office 365.
São serviços disponíveis na Nuvem.
Na Cloud pública o pagamento é feito de acordo com a utilização.
Isso tem uma vantagem porque a empresa não precisa investir
previamente num pack tecnológico.
Ela utiliza e paga conforme a utilização como é feito, por exemplo,
com a conta de luz.
A Cloud privada é de uso exclusivo de uma empresa quando deseja-se
nível muito alto de segurança e confidencialidade.
Utiliza-se uma Cloud privada.
O ambiente de Nuvem híbrido é a combinação do do
ambiente público com o ambiente privado.
Alguns casos, a empresa pode fazer modelo misto,
colocamos a parte mais confidencial internamente, dentro da empresa e
as outras informações, podem ser armazenadas numa Cloud pública.
Neste bloco foram apresentados alguns exemplos de bancos de dados
e formas para armazenar a informação.
[SOM]
