Análise e Discussão Big Data Dicas

Data lake: mergulhe em dados

data lake
2

Os dados chegam até nós cada vez mais em formatos diversos, fontes variadas e volumes maiores. A complexidade deste tipo de trabalho só aumenta e onde guardá-los é uma preocupação igualmente frequente.

A melhor forma de pesquisar e ter acesso aos dados sem que eles se tornem um amontoado é um grande alerta e, ao mesmo tempo, oportunidade para os projetos de Big Data.

Big Data é uma realidade que terá que se reestruturar para comportar o seu tamanho. O que é “big” se tornará ainda maior. Se podemos tirar proveito e criar insights para o negócio por meio de dados, nada mais natural do que querer acumular o máximo deles.

E que tal um mar, ou um lago, de dados? Já ouviu falar do termo data lake? Ele existe e é como nadar em possibilidades.

O conceito de data lake

A expressão data lake tem um pai. James Dixon criou o termo para falar de algo diferente dos dados que chegam até nós embalados, limpos e de consumo fácil: são os dados em grandes volumes e em seu estado natural, vindos de todos os tipos de fontes, onde os usuários podem “mergulhar” e tirar amostras. Um lago cheio de dados.

Ainda de acordo com Dixon, para que se tenha acesso a um volume de dados tão grande e oriundo de fontes diversas, é preciso construir uma nova forma de capturá-los, processá-los e guardá-los. Mas, apesar de ser mais difícil armazená-los, eles ampliam as possibilidades de utilização.

A Forbes concorda. Em um dos artigos publicados na revista de negócios, é dito que a análise de grandes bases de dados é uma explosão e que as empresas ainda não sabem do seu verdadeiro potencial para os negócios. E antes mesmo que se recuperem, terão que “surfar” na onda do data lake, criando uma nova arquitetura tanto para adquirir como para compreender as informações que têm em mãos. As empresas terão que ir além das técnicas tradicionais de análise de dados.


Leia também: Tipos de análise de Big Data: você conhece todos os 4?


Acumuladores

Mas para que serviriam tantos dados? Vindos de todos os lugares, não seriam um amontoado sem controle e impossíveis de processar?

Tomemos como exemplo um hospital. Os dados colhidos referentes a um paciente são enormes: prontuários, consultas já realizadas ou agendadas, especialidades acionadas, cirurgias, ficha cadastral, notas de médicos, raio X. Entre eles, há os que foram colocados e indexados devidamente em um banco de dados e outros ainda soltos e sem sistematização.

É o caso do UC Irvine Medical Center, localizado na Califórnia, EUA, que mesmo confrontado com esta realidade de dados, armazenou todos os seus registros nos formatos de origem para análise posterior. Hoje o hospital tem se beneficiado com a análise destes dados para diferentes contextos. Seja no acesso ao paciente no que diz respeito à prevenção, para evitar futuras reinternações, ou cedendo para o governo números que possam virar projeções de investimento na área de saúde ou controle de epidemias.

Você pode até não saber o que fazer com eles agora, mas certamente eles servirão no futuro. Reforçamos: é claro que os dados que você possui de forma ordenada são mais eficientes, mas todos são seus, independentemente de estarem estruturados ou não – por isso, mantenha-os por perto.

Como dissemos acima, as possibilidades são relevantes e infinitas. Quer dar um mergulho? Conte-nos como você pretende fazer isso.

Baixe_aqui_seu_Ebook (3)

Related Post