Arquitetura básica de Big Data
A complexidade que envolve o gerenciamento de todas as características do Big Data exige que tratemos sua arquitetura de modo específico, o que, mais uma vez, o diferencia dos sistemas de banco de dados tradicionais que teriam dificuldade em lidar com operações de dados em sistemas heterogêneos. Esses sistemas são chamados de data lake, que, literalmente, pode ser traduzido como “lago de dados”. Basicamente, trata-se de um enorme repositório de arquivos e objetos de dados. Portanto, as soluções da arquitetura de Big Data precisam ser eficientes para que possam produzir resultados com tempos de resposta aceitáveis.
Conceitos sobre Big Data
De modo geral, associamos o termo Big Data a um grande volume de dados e entendemos que este viabiliza a aplicação de métodos estatísticos e outras análises para extrairmos informações importantes. No entanto, Big Data é bem mais amplo que essa percepção, pois abrange conjuntos de dados que não podem
ser tratados pelos métodos tradicionais de gestão da informação, ou seja, serem adquiridos, reconhecidos,
gerenciados e processados em um tempo aceitável. Assim, o Big Data pode ser visto como uma fronteira para inovação, competição e produtividade.
Ref. Pós-graduação Ciência de Dados e Big Data pela UNESA