Big Data
- Definição
O que é exatamente big data?
Para realmente compreender o big data, é recomendável conhecer um pouco de sua história. Aqui está a definição do Gartner, criada por volta de 2001 (que ainda é considerada a definição mais confiável): Big data são dados com maior variedade que chegam em volumes crescentes e com velocidade cada vez maior. Isso é conhecido como os três Vs.
Simplificando, big data é um conjunto de dados maior e mais complexo, especialmente de novas fontes de dados. Esses conjuntos de dados são tão volumosos que o software tradicional de processamento de dados simplesmente não consegue gerenciá-los. No entanto, esses grandes volumes de dados podem ser usados para resolver problemas de negócios que você não conseguiria resolver antes.
- Os cinco Vs do Big Data
- Volume
A quantidade de dados importa. Com o big data, você terá que processar grandes volumes de dados não estruturados de baixa densidade. Podem ser dados de valor desconhecido, como feeds de dados do Twitter, fluxos de cliques em uma página da web ou em um aplicativo para dispositivos móveis, ou ainda um equipamento habilitado para sensores. Para algumas empresas, isso pode utilizar dezenas de terabytes de dados. Para outras, podem ser centenas de petabytes.- Velocidade
Velocidade é a taxa mais rápida na qual os dados são recebidos e talvez administrados. Normalmente, a velocidade mais alta dos dados é transmitida diretamente para a memória, em vez de ser gravada no disco. Alguns produtos inteligentes habilitados para internet operam em tempo real ou quase em tempo real e exigem avaliação e ação em tempo real.- Variedade
Variedade refere-se aos vários tipos de dados disponíveis. Tipos de dados tradicionais foram estruturados e se adequam perfeitamente a um banco de dados relacional. Com o aumento de big data, os dados vêm em novos tipos de dados não estruturados. Tipos de dados não estruturados e semiestruturados, como texto, áudio e vídeo, exigem um pré-processamento adicional para obter significado e dar suporte a metadados.- Valor e Verdade
Dados possuem valor intrínseco. Mas isso é inútil até que esse valor seja descoberto. Igualmente importante: Quão confiáveis são seus dados, e quanto você pode confiar neles?
Atualmente, o big data se tornou essencial. Pense em algumas das maiores empresas de tecnologia do mundo. Uma grande parte do valor que eles oferecem vem de dados, que eles analisam constantemente para produzir mais eficiência e desenvolver novos produtos.
Recentes avanços tecnológicos reduziram exponencialmente o custo de armazenamento e computação de dados, tornando mais fácil e menos dispendioso armazenar mais dados do que nunca. Agora, com um volume de big data maior, mais barato e mais acessível, você pode tomar decisões de negócios mais precisas.
Encontrar valor em big data não é só uma questão de analisá-lo (o que é um outro benefício). É um processo de descoberta completo que exige analistas perspicazes, usuários de negócios e executivos que fazem as perguntas certas, reconhecem padrões, fazem suposições bem-informadas e preveem comportamentos.
- Como funciona
O big data fornece novas informações que abrem novas oportunidades e modelos de negócios. Os primeiros passos envolvem três ações principais:
- Integrar
O big data reúne dados de diversas fontes e aplicativos diferentes. Mecanismos tradicionais de integração de dados, como o ETL (extrair, transformar e carregar), geralmente não estão aptos à tarefa. Isso requer novas estratégias e tecnologias para analisar conjuntos de big data em terabytes ou até mesmo em escala de petabytes.
O que é exatamente big data?
Para realmente compreender o big data, é recomendável conhecer um pouco de sua história. Aqui está a definição do Gartner, criada por volta de 2001 (que ainda é considerada a definição mais confiável): Big data são dados com maior variedade que chegam em volumes crescentes e com velocidade cada vez maior. Isso é conhecido como os três Vs.
Simplificando, big data é um conjunto de dados maior e mais complexo, especialmente de novas fontes de dados. Esses conjuntos de dados são tão volumosos que o software tradicional de processamento de dados simplesmente não consegue gerenciá-los. No entanto, esses grandes volumes de dados podem ser usados para resolver problemas de negócios que você não conseguiria resolver antes.
- Volume
- Velocidade
- Variedade
- Valor e Verdade
Dados possuem valor intrínseco. Mas isso é inútil até que esse valor seja descoberto. Igualmente importante: Quão confiáveis são seus dados, e quanto você pode confiar neles?
Atualmente, o big data se tornou essencial. Pense em algumas das maiores empresas de tecnologia do mundo. Uma grande parte do valor que eles oferecem vem de dados, que eles analisam constantemente para produzir mais eficiência e desenvolver novos produtos.
Recentes avanços tecnológicos reduziram exponencialmente o custo de armazenamento e computação de dados, tornando mais fácil e menos dispendioso armazenar mais dados do que nunca. Agora, com um volume de big data maior, mais barato e mais acessível, você pode tomar decisões de negócios mais precisas.
Encontrar valor em big data não é só uma questão de analisá-lo (o que é um outro benefício). É um processo de descoberta completo que exige analistas perspicazes, usuários de negócios e executivos que fazem as perguntas certas, reconhecem padrões, fazem suposições bem-informadas e preveem comportamentos.
O big data fornece novas informações que abrem novas oportunidades e modelos de negócios. Os primeiros passos envolvem três ações principais:
- Integrar
O big data reúne dados de diversas fontes e aplicativos diferentes. Mecanismos tradicionais de integração de dados, como o ETL (extrair, transformar e carregar), geralmente não estão aptos à tarefa. Isso requer novas estratégias e tecnologias para analisar conjuntos de big data em terabytes ou até mesmo em escala de petabytes.
Durante a integração, você precisa inserir os dados, processá-los e verificar se estão formatados e disponíveis de forma que seus analistas de negócios possam começar a utilizá-los.
- Gerenciar
Big data exige armazenamento. Sua solução de armazenamento pode estar na nuvem, no local ou em ambos. Você pode armazenar seus dados da forma que desejar e trazer os requisitos de processamento desejados e os mecanismos de processo necessários para esses conjuntos de dados sob demanda. Muitas pessoas escolhem a solução de armazenamento de acordo com a localização atual dos dados. A nuvem está gradualmente ganhando popularidade porque é compatível com as suas necessidades atuais de computação e permite que você crie recursos conforme necessário.
- Analisar
Seu investimento em big data é compensado quando você analisa seus dados e age com base neles. Obtenha mais clareza com uma análise visual dos seus conjuntos de dados variados. Explore ainda mais os dados para fazer novas descobertas. Compartilhe suas descobertas com os outros. Crie modelos de dados com machine learning e inteligência artificial. Faça seus dados funcionarem.
Durante a integração, você precisa inserir os dados, processá-los e verificar se estão formatados e disponíveis de forma que seus analistas de negócios possam começar a utilizá-los.
- Gerenciar
Big data exige armazenamento. Sua solução de armazenamento pode estar na nuvem, no local ou em ambos. Você pode armazenar seus dados da forma que desejar e trazer os requisitos de processamento desejados e os mecanismos de processo necessários para esses conjuntos de dados sob demanda. Muitas pessoas escolhem a solução de armazenamento de acordo com a localização atual dos dados. A nuvem está gradualmente ganhando popularidade porque é compatível com as suas necessidades atuais de computação e permite que você crie recursos conforme necessário.
- Analisar
Seu investimento em big data é compensado quando você analisa seus dados e age com base neles. Obtenha mais clareza com uma análise visual dos seus conjuntos de dados variados. Explore ainda mais os dados para fazer novas descobertas. Compartilhe suas descobertas com os outros. Crie modelos de dados com machine learning e inteligência artificial. Faça seus dados funcionarem.
- Desafios
Embora o big data seja uma grande promessa, ele também traz seus desafios.
Para começar, o big data é… grande. Apesar de novas tecnologias terem sido desenvolvidas para o armazenamento de dados, os volumes de dados estão dobrando em tamanho a cada dois anos. As empresas ainda se esforçam para acompanhar a evolução de seus dados e encontrar maneiras de armazená-los com eficiência.
Mas armazenar os dados não é o suficiente. Eles devem ser usados para serem úteis, e isso depende da curadoria. Dados limpos ou relevantes para o cliente e organizados de maneira que permita uma análise significativa exigem muito trabalho. Cientistas de dados gastam de 50 a 80 por cento de seu tempo curando e preparando dados antes de serem usados.
Por fim, a tecnologia de big data está mudando em ritmo acelerado. Há alguns anos, o Apache Hadoop era a tecnologia popular usada para lidar com big data. Em seguida, o Apache Spark foi introduzido em 2014. Hoje, uma combinação das duas estruturas parece ser a melhor abordagem. Manter-se atualizado com a tecnologia de big data é um desafio contínuo.
Nenhum comentário: