Você já parou para pensar na quantidade e variedade de dados que geramos e armazenamos a cada dia? Bancos, companhias aéreas, operadoras de telefonia, serviços de busca on-line e redes varejistas são apenas alguns dos inúmeros exemplos de empresas que convivem diariamente com grandes volumes de informações. Mas apenas ter dados não basta: é importante conseguir e saber usá-los. É aí que o conceito de Big Data entra em cena.
Neste texto, você verá o que é Big Data, entenderá o porquê de este nome estar cada vez mais presente no vocabulário dos ambientes de Tecnologia da Informação (TI) e compreenderá os motivos que levam o conceito a contribuir para o cotidiano de empresas, governos e demais instituições.
As duas leis e
suas vertentes
A evolução da tecnologia tem seguido a Lei de Moore, que prevê que a capacidade de processamento e
armazenamento dobra a cada 18 meses, e isso tem nos proporcionado cada vez mais
capacidade de armazenamento.
Por outro lado, a Lei de Parkinson,
quando aplicada a computação, determina que toda a capacidade disponível tende
a ser ocupada, e isso nos dá mais dados para armazenar e, principalmente,
analisar, o que tem se tornado inviável com ferramentas convencionais.
É aí que entram as ferramentas de análise de Big Data, que permitem o tratamento de
grandes quantidades de informações, estruturadas ou não, para gerar novas
análises e entendimento sobre as informações existentes.
Arquiteturas de
Big Data
O grande diferencial dessas ferramentas é a
capacidade de processamento distribuído, o que permite criar um cluster
dedicado com vários servidores, com grande capacidade de processamento e
armazenamento, sem a necessidade de equipamentos especializados e normalmente
tolerantes a falha.
Em termos de arquitetura, as ferramentas de Big Data utilizam a capacidade de
processamento e armazenamento em paralelo, ao invés de utilizar um computador
único cada vez maior.
Casos de Uso
Estima-se que apenas 20% dos dados de uma empresa
são dados estruturados, usados para a tomada de decisões, e é aí que entra a
capacidade das novas ferramentas, que vão além do banco de dados relacional,
permitindo correlacionar dados de diversas fontes e nos mais variados formatos,
como documentos, planilhas, emails, imagens e até vídeos.
Desafios
O primeiro desafio do Big Data é a coleta de dados para dentro do cluster. Normalmente
fala-se de enormes quantidades de dados sendo gerados em uma taxa maior do que
um servidor seria capaz de processar e armazenar, e é aí que entram os clusters,
com vários nós capturando essas informações e distribuindo entre os outros nós
do cluster para manter a tolerância a falha.
O segundo desafio é processar essas
informações. Como elas estão distribuídas, a aplicação deve ser capaz de
consumir pequenas partes das informações e gerar pequenas partes de dados
processados, que depois serão calculados em conjunto para criar o resultado
final. Isso normalmente requer um desenvolvimento específico para o
processamento desses dados.
A parte mais simples é a exibição dos resultados,
os arquivos gerados normalmente são resumos das informações, agrupando conforme
necessário, de forma que alguém possa entender e tomar uma decisão sobre
aqueles dados.
Conclusão dos fatos
Big
Data é uma tecnologia que é realidade para grandes
empresas. Tem tido rápida adoção para pesquisas, análise de negócios, detecção
de fraudes, entendimento de comportamento dos consumidores, entre outros; mas
os requisitos iniciais estão longe da realidade da maioria das pequenas e
médias empresas, principalmente no Brasil.
Também as aplicações ainda são muito específicas e
normalmente desenvolvidas sob demanda, o que aumenta ainda mais os custos
iniciais de implantação e desenvolvimento.
Mas a predominância principalmente de ferramentas open
source, a capacidade de executar sobre hardware comum e a tendência de
aparecerem novos fornecedores nesse mundo deve trazer essa realidade em breve
para pequenas e médias empresas.
Editores,
João Paulo Barbosa Sardinha (RA: 71301700189)
Aldime Moraes Silva (RA: 71301700108)
Saulo Senna (RA: 71301770718)
Josué Ribeiro Guimarães (RA: 71301700111)
Mônica Landim Chaikosky (RA: 71301700176)
Patrícia Beck Lima (RA: 71301700137)
Com tudo conectado, nem a imaginação será mais uma barreira para termos um mundo conectado, tendo como base a inteligência dos softwares.
ResponderExcluirLogo seremos surpreendidos com os "New Softwares" de inteligência artificial.
ExcluirEste comentário foi removido pelo autor.
ResponderExcluirEste comentário foi removido pelo autor.
ResponderExcluirCom o advento da competitividade, inovar torna-se essencial para as organizações que almejam uma posição interessante no mercado. Usar ferramentas modernas de gestão (como o big data) pode levar a empresa ter um diferencial competitivo e deixá-la VIVA por mais tempo. Armazenar e tratar o universo de informações recebidas diariamente também pode levar gestores a tomar decisões mais rápidas e precisas, oferendo ganhos de curto, médio e longo prazo.
ResponderExcluirEste comentário foi removido pelo autor.
ResponderExcluirO Big Data vem para juntar os dados e nos entregar o resultado. E não é só isso. De uma maneira inteligente, proporciona melhor gestão e influencia a tomada de decisão de uma maneira mais excelente.
ResponderExcluirO Big Data veio para transformar o mundo das metodologias e análises, tornando-se uma nova forma de interpretar, olhar as informações, e as transformar em dados relevantes. O objetivo é prever o futuro, ajustando a tomada de decisão estratégica, visando expansão de negócios e domínio do mercado atuante.
ResponderExcluirInclusive pode-se encontrar casos de uso em que Big Data permitiu a redução do número de fraudes, aumento de lucros, conquista de eleitores, redução de custos na produção, eficiência energética, aumento de segurança, entre outros benefícios tão almeijados em diversos domínios.
ResponderExcluirBem lembrado Anderson. O Big Data já é presente.
ExcluirPor ter a capacidade de processar grandes volumes de dados, somando velocidade e variedade, o Big Data contribui no gerenciamento do conhecimento com mais qualidade, unindo e interpretando as informações, assim ajudando no desenvolvimento de novos produtos, cooperando também na otimização dos processos de negócio, que poderá ser feita com mais facilidade, assim minimizando os riscos e proporcionando decisões com mais confiança.
ResponderExcluirMas não basta apenas o Big data. Pois, a gestão é que determina o futuro da organização. O importante mesmo é filtrar e saber o que guardar, para que possa ser aplicado visando algum retorno.
ResponderExcluirHá pouco tempo se dizia: “Quem tem a informação tem o poder”. Só que o volume de informações hoje produzido, principalmente com o advento da tecnologia, inviabiliza muitos gestores em suas tomadas de decisões.
ResponderExcluirO fato de se ter a informação, mas não saber utilizá-la tem comprometido sobremaneira as organizações em todo o mundo.
Desta forma, o que chamamos hoje de BIG DATA deve ser, essencialmente, filtrado, criticado e analisado para que as decisões tomadas debaixo desses dados sejam cândidos e não maculados com informações ultrapassadas, ou mesmo equivocadas.
Saber armazenar tais dados, mesmo em proporções gigantescas é uma das principais tarefas das organizações do presente e do futuro.
Muito bom Solimar. O Big Data, como você colocou, não é apenas o reconhecimento do gigantesco volume de informações que as empresas geram por dia na interação com os seus públicos. O importante é: como tratar essas informações para que elas orientem as decisões gerenciais, com vistas a melhoraria da satisfação do clientes e da rentabilização do negócio a longo prazo.
ExcluirO Big Data pode entregar informações extremamente importantes para a melhoria do desempenho de qualquer tipo de empresa. Pode melhorar o sistema de logística, fazer com que a empresa entenda melhor o perfil do cliente, aponta caminhos diferentes e mais eficientes do que os usados pelos concorrentes entre muitos outros benefícios. Trazendo assim melhores resultados com menos riscos.
ResponderExcluirA ferramenta Big Data reúne várias fontes de informações como o streaming data rede de dispositivos interligados, redes sociais e fontes publicamente disponíveis, um acervo que garantirá o sucesso na gestão das informações e sua aplicação. Porém temos que nos preocupar na proteção destas informações, pois no último dia 12/05, 74 países foram vítimas de um ataque cibernético, onde sequestraram dados de computadores de várias áreas, incluindo bancário, saúde e segurança. Para alguns pesquisadores esse ataque foi “amador” porém deve ser respeitado. Essa situação nos leva a se questionar, com toda essa tecnologia estamos realmente protegidos?
ResponderExcluirÉ um conjunto de dados de grande volume e que necessita de ferramentas especiais para lidar com grandes quantidades, de forma que todas as informações possam ser encontradas, analisadas e também aproveitadas no tempo necessário.
ResponderExcluirA questão muito importante do Big Data é que ele auxilia na estruturação e filtragem dos dados, relacionando todos que estão disponíveis e gerando uma informação mais consistente de análise. Desta forma ele otimiza o processo, tanto na questão de confiabilidade de análise quando na velocidade a qual a análise é realizada.
ResponderExcluirO Big Data vem para facilitar a gestão do enorme volume de informações geradas nos ambientes corporativos, que além de rápidas, são extremamente importantes para a evolução do negócio. Informação segura, agilidade no processo, filtro, análise de dados, são fatores necessários e decisórios nas empresas e ajudam a alcançar o sucesso.
ResponderExcluirSempre pensando no futuro, o Big Data proporciona uma melhora na gestão e na tomada da decisão. Agilidade no processo e na análise dos dados são os pilares que proporcionam uma melhor análise na tomada de decisão.
ResponderExcluirAcredito na resolução de problemas através de dados. O Big Data é algo muito abrangente e mais útil do que se faz desde a era da informação. Precisamos aprender a lidar com todos os dados que foram armazenados ao longo do tempo. São muitos termos e tecnologias que produzem e consomem dados como por exemple: agricultura de precisão, "Big Data", internet das coisas, sensoriamento remoto, drones, Business Process Management (BPM), inteligência artificial e a computação cognitiva.
ResponderExcluirPrecisamos consumir os dados e transformar em informação estratégica.
O Big Data está se tornando uma nova forma de olhar e interpretar tantas informações! Trata-se de grandes volumes de dados armazenados, velocidade e variedade! Tudo que as empresas precisam!!
ResponderExcluir"entre outros; mas os requisitos iniciais estão longe da realidade da maioria das pequenas e médias empresas, principalmente no Brasil." Nota-se que Big Data, é um novo modelo de grande eficacia e facilitação para variadas empresas, é uma pena que uma ferramenta tao necessária não seja de acessibilidade a todos "empresários", independente do ramo de atuação que necessitem de informação tao relevantes para a conquista de um sucesso maduro e duradouro.
ResponderExcluirÉ verdade Juliana. Essa tecnologia ainda não chegou para todos. Entretanto, as pequenas e médias empresas podem aprender com o resultado das grandes. E logo essa tecnologia se tornará acessível.
ExcluirO Big data é uma excelente ferramenta que pode analisar o comportamento dos clientes e ajudar na construção de uma estratégia de marketing focada em resultados, porém com o alto custo não é muito acessível a pequenas empresas, que essa realidade mude, e acredito que com os avanços tecnológicos irá mudar e em breve todos terão acesso.
ResponderExcluirÉ isso aí, Rebeca.
ExcluirO Marketing será com certeza um grande ganhador com a análise desses grandes dados, mas não será o único. Todas as áreas das empresas ganharão. E logo, como você disse, será acessível a todos.
Big data foi desenvolvido para unir e interpretar informações,prevendo tendências e ajudando na tomada de decisões estratégicas.
ResponderExcluirEntende-se com a leitura desse artigo que a importância do Big Data não gira em torno da quantidade de dados que você tem, mas em torno do que você faz com eles. Você pode analisar dados de qualquer fonte para encontrar respostas que permitam 1) redução de custos, 2) redução de tempo, 3) desenvolvimento de novos produtos e ofertas otimizadas, 4) decisões mais inteligentes. O potencial do uso do Big Data é imenso, imagino que pode ou é usado em bancos, governo, saúde, varejo, para ensino, etc. Entendi que o valor principal de big data não vem dos dados em sua forma bruta, mas do processamento e análise destes dados e os insights, produtos e serviços que surgem desta análise. As mudanças radicais nas tecnologias e abordagens de gerenciamento de big data devem ser acompanhadas, de forma semelhante, por mudanças dramáticas na forma como os dados suportam decisões e geram inovação de produtos e serviços.
ResponderExcluirParabéns Turma.
ResponderExcluirComo esse post é mais técnico é natural que alguns apresentem dificuldade de um comentário para profundo. Mas todos os comentários demonstraram que leram o artigo e entenderam.
A importância do big data não gira em torno da quantidade de dados,mas em torno do que você faz com eles, quando você compreende esta ferramenta ganha-se custo e tempo, toma decisões inteligentes entre outros.
ResponderExcluir