Google anuncia serviço que analisa fluxos de dados em tempo real

<>Antecipando os que muitos enxergam como o próximo passo na análise de Big Data, o Google anunciou hoje, durante a sessão de abertura da Google I/O, uma ferramenta de pré-visualização de dados chamada Google Cloud Dataflow, capaz de produzir análises em tempo real, dando aos usuários a capacidade de visualizar tendências e de ser alertados para eventos enquanto eles acontecem.

"Há uma enorme quantidade de dados sendo criados, e por isso você precisa encontrar uma maneira de usá-los de uma forma mais inteligente", disse Brian Goldfarb, diretor de marketing da Google Cloud Platform. "Com Big Data, os modelos de programas são diferentes. As tecnologias são diferentes", completa.

De acordo com ele, o Google Cloud Dataflow "é um serviço totalmente gerenciado, que permite criar pipelines de dados para consumo, tratamento e análise de quantidades arbitrárias de dados, tanto no modo streaming quanto em  batch, usando o mesmo modelo de programação", disse Goldfarb.

O Google Cloud Dataflow é projetado para que o usuário possa se concentrar na elaboração de uma análise adequada, sem se preocupar com a criação e manutenção com a modelagem dos dados e a infraestrutura de processamento.

O serviço pode  ser usado para a análise de sentimento ao vivo, por exemplo,  em torno de um produto, usando fluxos de dados de redes sociais como o Twitter. Também poderia ser usado como uma ferramenta de segurança para identificar logs de atividades incomuns.

"Há um monte de diferentes aplicação de negócios aos quais a ferramenta pode servir. Em muitos setores centrados em dados, como varejo ou petróleo e gás, uma tecnologia como esta poderia abrir a porta para a obtenção de análises diferenciadas", disse Goldfarb.

De acordo com a Google, o Cloud Dataflow é baseado em tecnologias que a empresa construiu internamente para seu próprio uso, seguindo o modelo de programação do  MapReduce, que é usado no Hadoop.

A análise de fluxo de dados em tempo real parece ser o próximo passo lógico na análise do Big Data, um campo  onde o Hadoop é pioneiro, ao oferecer uma maneira de analisar grandes quantidades de dados não estruturados espalhados por vários servidores. Originalmente, o Hadoop MapReduce é usado como plataforma para escrever programas que analisam os dados.

O problema, segundo a equipe do Google,  é que o MapReduce só pode analisar os dados em batch, o que significa que todos os dados devem ser coletados antes que possam ser analisados. Uma série de novos programas de software foram desenvolvidas para contornar essa limitação, como o Twitter Storm e o Apache Spark, disponíveis como código aberto para rodar em Hadoop.

A abordagem do  Google para o que ela mesmo considera  ser o sucessor do MapReduce utiliza uma série de tecnologias integradas pela empresa, nomeadamente a Flume e a Millwheel.
O serviço fornece um kit de desenvolvimento de software que pode ser usado para construir modelagens e análises complexas. Como o MapReduce, o Cloud Dataflow usa a linguagem de programação Java. No futuro, outros idiomas podem vir a ser suportados.

<>

Site: IDG Now!
Data: 25/06/2014
Hora: 17h20
Seção: Internet
Autor: ------
Fotos: Divulgação
Link: http://idgnow.com.br/internet/2014/06/25/google-anuncia-servico-que-analisa-fluxos-de-dados-em-tempo-real/