8 tendências de Big Data em 2017

22
5

Empresas que investem em soluções de Big Data já estão, naturalmente, na vanguarda do mundo de negócios. Essa posição, no entanto, é dinâmica e quem quer se manter na linha de frente da tecnologia já está de olho nas tendências de Big Data em 2017.

Pensando nisto, conversamos com Thiago Cardoso, Daniel Galinkin e Gabriel Campos, cientistas de dados da Hekima, para saber dos especialistas quais serão as principais novidades no trabalho com grandes volumes de dados.

Quer descobrir o que surgirá de novo e o que perderá força, neste ano, em relação a Data Science? Então leia o artigo de hoje!

Data preparation

As empresas especializadas em Big Data Analytics sempre tiveram uma atenção especial ao processo de construir ferramentas e criar algoritmos que viabilizassem o trabalho de análise e extração de valor de grandes volumes de dados. Com isso, chegou-se ao patamar atual de existirem bastantes opções de infraestrutura, mas com alguns aspectos do trabalho com dados ainda a serem melhorados e amadurecidos.

Um deles é a preparação dos dados, ou data preparation. Este termo refere-se ao processo de coletar, combinar, estruturar e organizar dados para análise.

O aumento da atenção a data preparation dá-se pois de nada adianta ter todo um arcabouço para processar dados se eles ainda estiverem um passo atrás em sua estruturação. Data preparation vem para colocar os dados em um nível em que eles podem ser trabalhados.

Banner Simplicidata

Governança de dados

Data preparation vem junto de outra forte tendência de Big Data em 2017: governança de dados. Agora que as empresas já conseguem coletar, analisar e compreender os dados muito bem, outros tipos de trabalhos serão feitos com eles.

Estamos falando, dentre outras coisas, de aumentar a segurança e privacidade dos dados (melhorando a anonimização e limitando o acesso a eles) e mapear a árvore genealógica deles (entender como um dado é gerado) – ou seja, descobrir que, a partir dos dados A, B e C, que foram combinados para gerar o dataset D, que por sua vez foi combinado com o dataset E, chegou-se ao dado F, que está sendo trabalhado agora.


Leia também: Como fazer boas perguntas para os seus dados?


Integração de dados

Ainda ligado a data preparation e governança, temos a integração de dados como outra das tendências de Big Data em 2017. De nada adianta ter um modelo de análise de dados muito bom se ele não estiver integrado ao dia a dia da empresa. É essencial saber como fazer o deploy desse modelo (colocar os algoritmos para rodar) com os processos da companhia da forma mais transparente, fluida e fácil possível.

Vamos pegar como exemplo uma academia. Suponha que seja feito um algoritmo de churn para ajudar a prever quais são os alunos que irão cancelar a matrícula ao fim do mês. O que será feito com este insight? Uma mensagem automatizada de SMS ou e-mail será enviada para os alunos em risco de sair? Algum funcionário da academia entrará em contato com eles?

Em suma, este algoritmo funcionando não terá utilidade se não houver um processo ou ação tomada a partir do resultado gerado por ele.

Baixe_aqui_seu_Ebook_10 (7)

Cursos de Big Data

Os cursos de Big Data continuarão crescendo em 2017. Cada vez mais profissionais de diferentes áreas, do marketing à engenharia de software, precisarão ter a expertise de análise de dados devido ao crescente número de projetos envolvendo Big Data.

add-banner (1)

Self-service Big Data

Como abordado no tópico acima, profissionais de diversas formações vêm se aprofundando e até mesmo migrando para a área de Big Data. Contudo, a engenharia de dados é um trabalho complexo e ferramentas essenciais para realizá-lo, como Hadoop, não são triviais de se dominar. É um processo bem trabalhoso e que demanda bastante conhecimento técnico.

Por isso, ferramentas que simplificam a análise de dados se tornarão cada vez mais relevantes e também figuram entre as tendências de Big Data em 2017.

Tais tecnologias automatizam as tarefas do cientista de dados, permitindo a ele focar no que realmente importa – a análise dos dados em si – e se preocupar menos com aspectos técnicos, como subestruturas e configurações de máquina. O trabalho de análise de dados torna-se muito mais estratégico e menos operacional.


Leia também: Cientista de dados: que profissão é essa?


Streaming de dados

Em 2017, surgirão muitas tecnologias de streaming de dados, principalmente relacionadas a Internet das Coisas. Por meio do streaming, todo o trabalho com os dados é feito em tempo real: agregação, processamento e extração de informações.

Um bom exemplo de ferramenta de streaming de dados (além de ser uma “revelação” dos sistemas de Big Data) é o Apache Flink, que chegou para competir com o Spark. Inclusive o último update do próprio Spark foi focado em tratar dados em tempo real, que chegam em velocidade constante.

Convergência entre Big Data e BI

Mais uma das tendências de Big Data em 2017 é que as ferramentas de Business Intelligence tradicionais irão tender a caminhar em direção às tecnologias de Big Data Analytics. As aplicações de data warehouse acabarão migrando para ferramentas de Big Data, como Hadoop, Impala e Spark, pois pode-se aproveitar a mesma infraestrutura delas.

Desta forma, em vez de se ter equipes e ferramentas separadas para BI e Data Science, existirá uma vertente única. A mesma infraestrutura será compartilhada para gerar tanto insights de business intelligence quanto insights para o dia a dia do negócio – afinal, são coisas interligadas.


Leia também: Business Intelligence e Big Data: qual a diferença?


Dados em nuvem

Quando focamos apenas no contexto brasileiro, podemos afirmar que uma tendência do trabalho com dados neste ano é a migração gradual das empresas para a nuvem.

Elas têm, cada vez mais, observado as vantagens do trabalho com dados em nuvem. Segurança (nos Estados Unidos, onde este processo está mais avançado, AWS e Azure já conseguiram autorização do governo norte-americano a hospedar dados governamentais) e facilidade para lidar com demandas elásticas (grandes volumes de dados) são algumas delas.

Data centers, que têm atrelados a eles preocupações como manter a estrutura funcionando, resfriar e energizar as máquinas, tendem a perder espaço.

Estas são as 8 principais tendências de Big Data em 2017 apontadas pelos cientistas de dados da Hekima. Você tem mais alguma a acrescentar em nossa lista? Compartilhe sua opinião conosco nos comentários!

Sobre o autor:

juliano_ferreira_hekima_editJuliano é membro da equipe de Marketing da Hekima e cuida da área de Sucesso do Cliente. É apaixonado por leitura e escrita e, nas horas vagas, não dispensa uma cerveja ou uma partida de Fifa (quiçá ambas as coisas juntas).

Top