Arquitetura de Big Data

 Arquitetura básica de Big Data

A complexidade que envolve o gerenciamento de todas as características do Big Data exige que tratemos sua arquitetura de modo específico, o que, mais uma vez, o diferencia dos sistemas de banco de dados tradicionais que teriam dificuldade em lidar com operações de dados em sistemas heterogêneos. Esses sistemas são chamados de data lake, que, literalmente, pode ser traduzido como “lago de dados”. Basicamente, trata-se de um enorme repositório de arquivos e objetos de dados. Portanto, as soluções da arquitetura de Big Data precisam ser eficientes para que possam produzir resultados com tempos de resposta aceitáveis.

Conceitos sobre Big Data

De modo geral, associamos o termo Big Data a um grande volume de dados e entendemos que este viabiliza a aplicação de métodos estatísticos e outras análises para extrairmos informações importantes. No entanto, Big Data é bem mais amplo que essa percepção, pois abrange conjuntos de dados que não podem

ser tratados pelos métodos tradicionais de gestão da informação, ou seja, serem adquiridos, reconhecidos,

gerenciados e processados em um tempo aceitável. Assim, o Big Data pode ser visto como uma fronteira para inovação, competição e produtividade.

Ref. Pós-graduação Ciência de Dados e Big Data pela UNESA 

Python Pandas: importando arquivo csv

 P15: Importação de CSV padrão para um DataFrame 

import pandas as pd 

paises = pd.read_csv("c:/bases/paises.csv",index_col="sigla") 

print(paises) 

Simples, não? A saída do programa demonstra que a importação foi perfeita:

 

Referência: Pandas Python. Eduardo Correa Editora Casa do Código.

O que é uma Startup?

 O que é uma startup?

Uma startup é uma organização desenhada para criar e experimentar soluções para um problema de um conjunto de pessoas.

Eric Ries fez uma boa defnição no seu livro Lean Startup:

Uma startup é uma instituição humana desenhada para criar um novo produto ou serviço em condições de extrema incerteza. [11] –Eric Ries Um ponto a comentar dessa defnição é que ela é focada no produto ou serviço, e não nas pessoas e nos problemas que essas pessoas têm e que os produtos ou serviços devem resolver.

O produto ou serviço nada mais é do que uma solução para o problema de um conjunto de pessoas. Se nos focarmos no produto ou serviço, corremos o risco de nos perdermos em detalhes técnicos e nos esquecermos do propósito principal de nossas ações, as pessoas e seus problemas e necessidades.

Também não diria que são condições de extrema incerteza. São condições sim de incerteza, mas não de incerteza extrema. Você simplesmente não sabe se a solução que imaginou de fato vai resolver o problema das pessoas. Se não resolver, você vai ter que ajustar ou mudar até achar uma solução que resolva, ou até mesmo procurar um novo problema. É incerto? Sem dúvida! É extremamente incerto? Não acredito que a palavra “extremo” caiba aqui. Apenas acho que é incerto. Aliás, qualquer busca de solução de qualquer problema é um caminho incerto.

Outro ponto a comentar é o termo “instituição” . Esse termo vem do verbo ins-tituir, ou seja, fundar, criar, erigir, estabelecer. Vejo mais o trabalho nas startups acontecendo como uma organização de pessoas do que como uma instituição. Uma organização, como o nome mesmo diz, é algo mais orgânico, mais fuido. Já uma instituição parece necessitar de um ato de criação.

É claro que é muito fácil comentar em cima do trabalho dos outros, por isso, volto a dizer, Eric Ries fez uma boa defnição de startup no seu livro Lean Startup.

Gostei bastante quando a li pela primeira vez.

O que proponho abaixo é apenas uma “refatoração” da defnição do Eric Ries:

Extraído: Guia da Startup - Joaquim Torres. Editora Casa do Código.