Big Data: Definição e Histórico

Prévia do material em texto

Write 
 
Sign up 
Sign In 
 
Big Data: Definição e Um 
Breve Histórico 
 
 
 
StratioBD do Brasil 
· 
Follow 
7 min read 
· 
Feb 19, 2019 
 
 
8 
2 
https://medium.com/m/signin?operation=register&redirect=https%3A%2F%2Fmedium.com%2Fnew-story&source=---two_column_layout_nav-----------------------new_post_topnav-----------
https://medium.com/m/signin?operation=register&redirect=https%3A%2F%2Fmedium.com%2Fnew-story&source=---two_column_layout_nav-----------------------new_post_topnav-----------
https://medium.com/m/signin?operation=register&redirect=https%3A%2F%2Fmedium.com%2Fnew-story&source=---two_column_layout_nav-----------------------new_post_topnav-----------
https://medium.com/m/signin?operation=register&redirect=https%3A%2F%2Fmedium.com%2Fnew-story&source=---two_column_layout_nav-----------------------new_post_topnav-----------
https://medium.com/m/signin?operation=login&redirect=https%3A%2F%2Fmedium.com%2F%40stratiobd%2Fbig-data-defini%C3%A7%C3%A3o-e-um-breve-hist%C3%B3rico-a389abcf6a3&source=post_page---two_column_layout_nav-----------------------global_nav-----------
https://medium.com/@stratiobd?source=post_page-----a389abcf6a3--------------------------------
https://medium.com/@stratiobd?source=post_page-----a389abcf6a3--------------------------------
https://medium.com/@stratiobd?source=post_page-----a389abcf6a3--------------------------------
https://medium.com/m/signin?actionUrl=https%3A%2F%2Fmedium.com%2F_%2Fsubscribe%2Fuser%2Fc74eb0f26930&operation=register&redirect=https%3A%2F%2Fmedium.com%2F%40stratiobd%2Fbig-data-defini%C3%A7%C3%A3o-e-um-breve-hist%C3%B3rico-a389abcf6a3&user=StratioBD+do+Brasil&userId=c74eb0f26930&source=post_page-c74eb0f26930----a389abcf6a3---------------------post_header-----------
https://medium.com/m/signin?actionUrl=https%3A%2F%2Fmedium.com%2F_%2Fvote%2Fp%2Fa389abcf6a3&operation=register&redirect=https%3A%2F%2Fmedium.com%2F%40stratiobd%2Fbig-data-defini%25C3%25A7%25C3%25A3o-e-um-breve-hist%25C3%25B3rico-a389abcf6a3&user=StratioBD+do+Brasil&userId=c74eb0f26930&source=-----a389abcf6a3---------------------clap_footer-----------
https://medium.com/m/signin?actionUrl=https%3A%2F%2Fmedium.com%2F_%2Fvote%2Fp%2Fa389abcf6a3&operation=register&redirect=https%3A%2F%2Fmedium.com%2F%40stratiobd%2Fbig-data-defini%25C3%25A7%25C3%25A3o-e-um-breve-hist%25C3%25B3rico-a389abcf6a3&user=StratioBD+do+Brasil&userId=c74eb0f26930&source=-----a389abcf6a3---------------------clap_footer-----------
https://medium.com/@stratiobd?source=post_page-----a389abcf6a3--------------------------------
 
Por: Vinícius Miranda da Silva 
Big Data é um termo que ronda muitas empresas há algum 
tempo e grande parte dessas empresas a conhecem 
superficialmente não conseguindo extrair todos os benefícios 
desse montante de dados porque não possuem conhecimento 
suficiente para tal. Para a maioria ainda cabe a questão, o que é 
Big Data? Nesse artigo traremos um explicação breve e histórica 
sobre o dimensionamento de grande volume de dados ou Big 
Data e nos artigos seguintes discutiremos tecnologias, processos 
e outros aspectos relacionados a esse tema e que impulsionaram 
outras áreas como Ciência de Dados e Inteligência Artificial. 
A história de como os dados se tornaram grandes começa muitos 
anos antes do atual alvoroço em torno dos grandes volumes de 
dados, ou pelo termo Big Data lançado por volta de 2005 por 
Roger Magoulas da O’Reilly Media. 
A evolução do Big Data inclui uma série de etapas preliminares 
para sua fundação, mas até hoje permanece o ponto de que Big 
Data é um termo relativo dependendo de quem está discutindo 
isso. O Big Data para uma das FANG (Facebook, Amazon, 
Netflix e Google) é muito diferente do Big Data para uma 
empresa de serviços financeiros de tamanho médio. 
No entanto, se houver uma definição que melhor representa o 
termo Big Data seria a da pesquisa Big Data: A Survey na qual 
Big Data, 
“refere-se a um grande conjunto de dados gerados e 
armazenados com os quais os aplicativos de processamento 
de dados tradicionais ainda não conseguem lidar em um 
tempo tolerável”. 
O seu surgimento está relacionado com o aumento exponencial 
de dados gerados e a seguir discutiremos o crescimento do 
termo Big Data em vários períodos. 
Evolução do conceito de Big Data ao longo do tempo 
O uso de Big Data e a necessidade de entender todos os 
recursos disponíveis já existem há muito mais tempo. Na 
verdade, os primeiros registros de uso de dados para rastrear e 
controlar empresas datam de 7.000 anos atrás, quando a 
https://link.springer.com/article/10.1007%2Fs11036-013-0489-0
contabilidade foi introduzida na Mesopotâmia para registrar o 
crescimento de colheitas e rebanhos. 
Os princípios contábeis continuaram a melhorar e, em 1662, 
Graunt publicou Natural and Political Observations upon the 
Bills of Mortality, que lança as bases para a demografia e torna-
se uma das obras pioneiras no estudo atuarial de mortalidade. 
Esta obra continha um rudimento de tábua de vida, obtida 
através de dados sobre enterros em Londres. Por causa de seu 
trabalho, Graunt pode ser considerado o pai da estatística. A 
partir daí, os princípios contábeis melhoraram, mas não 
aconteceu nada relevante até o século XX, onde inicia-se a era da 
informação. 
Século 20 — A Era da Informação 
O primeiro grande projeto de dados foi criado em 1937 e foi 
encomendado pela administração de Franklin D. Roosevelt nos 
EUA. Depois que a Lei de Seguridade Social tornou-se lei em 
1937, o governo teve que acompanhar a contribuição de 26 
milhões de americanos e mais de 3 milhões de empregadores. 
A IBM conseguiu o contrato para desenvolver uma máquina de 
leitura de cartões perfurados para este projeto massivo de 
escrituração contábil. 
Em 1927, Fritz Pfleumer, um engenheiro austro-alemão, 
desenvolveu um meio de armazenar informações 
magneticamente em fita. Pfleumer havia inventado um método 
para colar faixas de metal em papéis de cigarro (para evitar que 
https://en.wikisource.org/wiki/Natural_and_Political_Observations_Made_upon_the_Bills_of_Mortality_(Graunt_1676)
https://en.wikisource.org/wiki/Natural_and_Political_Observations_Made_upon_the_Bills_of_Mortality_(Graunt_1676)
https://www.wired.com/2012/06/how-social-security-saved-ibm/?utm_campaign=datafloq&utm_medium=ref&utm_source=datafloq
https://books.google.com.br/books?id=7WrCSCqMk5gC&pg=PA48&dq=%22Fritz+Pfleumer%22+tape&lr=&as_brr=0&ei=iJ0WSI2UFpK2sgOk7bWXCA&sig=ip1yqhaVfcSOacllUhcu24RLjXA&redir_esc=y#v=onepage&q=%22Fritz%20Pfleumer%22%20tape&f=false
os lábios de um fumante fossem manchados pelos mortalhas 
disponíveis na época) e decidiu usar essa técnica para criar uma 
tira magnética, que poderia então ser usada para substituir a 
tecnologia de gravação de fios. Depois de experimentos com 
uma variedade de materiais, ele se estabeleceu em um papel 
muito fino, listrado com pó de óxido de ferro e revestido com 
verniz, para sua patente em 1928. 
A primeira máquina de processamento de dados surgiu em 1943 
e foi desenvolvida pelos britânicos para decifrar os códigos 
nazistas durante a Segunda Guerra Mundial. Esse dispositivo, 
chamado Colossus, procurava padrões em mensagens 
interceptadas a uma taxa de 5.000 caracteres por segundo. 
Reduzindo assim a tarefa de semanas para meras horas. Dois 
anos depois, em 1945, John Von Neumann publicou um artigo 
sobre o Computador Eletrônico Variável Discreto Eletrônico 
(EDVAC), a primeira discussão “documentada” sobre 
armazenamento de programas, e lançou as bases da arquitetura 
de computadores hoje. 
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.705.4726&rank=1
 
Foto. EDVAC: Electronic Discrete Variable Automatic Computer 
Em 1952, a National Security Agency (NSA) é criada e, dentro de 
10 anos, contrata mais de 12.000 criptologistas. Eles são 
confrontados com a sobrecarga de informações durante a 
Guerra Fria, quando começam a coletar e processar 
automaticamente os sinaisde inteligência. 
Em 1965, o governo dos Estados Unidos decidiu construir o 
primeiro centro de dados para armazenar mais de 742 milhões 
de declarações fiscais e 175 milhões de conjuntos de impressões 
digitais, transferindo todos esses registros para a fita magnética 
do computador, que precisava ser armazenada em um único 
https://blog.adafruit.com/2018/01/01/on-the-history-of-edvac-the-electronic-discrete-variable-automatic-computer-retrocomputing-history/
https://nsarchive2.gwu.edu/NSAEBB/NSAEBB278/02.PDF
https://ejournals.library.vanderbilt.edu/index.php/vurj/article/download/4065/2121
local. Mais tarde, o projeto saiu do temor de Big Brother, mas 
é geralmente aceito que esse foi o início da era do 
armazenamento eletrônico de dados. 
Em 1989, o cientista de computação britânico Tim Berners-
Lee inventou a World Wide Web. Ele queria facilitar o 
compartilhamento de informações através de um sistema 
de hipertexto. Pouco ele poderia saber no momento o impacto 
de sua invenção. A partir dos anos 90, a criação de dados é 
estimulada à medida que mais e mais dispositivos são 
conectados à Internet. 
Século 21 — A era do Big Data 
Dando continuidade na evolução da idéia de big data e 
observações relativas à explosão de dados ou informações a 
seguir estão alguns marcos, referentes ao século presente, na 
história do dimensionamento de volumes de dados. 
Peter Lyman e Hal R. em outubro de 2000 na Varian na UC 
Berkeley publicam: “How Much Information?”. É o primeiro 
estudo abrangente de quantificar, em termos de armazenamento 
de computador, a quantidade total de informações novas e 
originais (sem contar cópias) criado no mundo anualmente e 
armazenados em quatro mídias físicas: papel, filme, óptico (CDs 
e DVDs) e magnético. O estudo concluiu que, em 1999, o mundo 
produziu cerca de 1,5 exabytes de informações exclusivas, ou 
cerca de 250 megabytes para cada homem, mulher e criança na 
Terra. Também constata que 
https://webfoundation.org/about/vision/history-of-the-web/
http://groups.ischool.berkeley.edu/archive/how-much-info-2003/printable_report.pdf
“uma grande quantidade de informações únicas é criada e 
armazenada por indivíduos” 
num evento chamado de democratização dos dados e que 
também é o que mais cresce. Lyman e Varian afirmam que 
“até hoje, a maioria das informações textuais é ‘nascida 
digital’, e dentro de alguns anos isso também será verdade 
para imagens.” 
Os mesmos pesquisadores descobriram que o mundo produziu 
cerca de 5 exabytes de novas informações em 2002 e que 92% 
das novas informações foram armazenadas em mídia magnética, 
principalmente em discos rígidos. 
Doug Laney em fevereiro de 2001 , analista do Grupo Meta, 
publica uma nota de pesquisa intitulada “Gestão de dados 3D: 
Controlar o volume de dados, velocidade e variedade”. Uma 
década mais tarde, os “3 Vs” tornaram-se as três dimensões 
geralmente aceitas que definem big data, embora o termo em si 
não apareça e não esteja especificado na nota de Laney. 
Em 2005, Roger Mougalas da O’Reilly Media cunhou o termo 
Big Data pela primeira vez, apenas um ano depois de criar o 
termo Web 2.0. Na época, referia-se a um grande conjunto de 
dados que é quase impossível de gerenciar e processar usando as 
ferramentas tradicionais de Business Intelligence. Nesse mesmo 
ano o Hadoop foi criado pelo Yahoo! construído sobre o 
MapReduce do Google. O objetivo era indexar toda a World 
https://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf
http://radar.oreilly.com/2010/01/roger-magoulas-on-big-data.html
Wide Web e, atualmente, o Hadoop de código aberto é usado por 
muitas organizações para processar grandes quantidades de 
dados. 
À medida que mais redes sociais começam a aparecer e a Web 
2.0 evolui, muito mais dados são criados diariamente. As 
startups inovadoras começam lentamente a se aprofundar nessa 
enorme quantidade de dados e os governos também começam a 
trabalhar em projetos de Big Data. Em 2009, o governo 
indiano decidiu fazer uma varredura da íris, uma impressão 
digital e uma fotografia de todos os 1,2 bilhões de habitantes. 
Todos esses dados são armazenados no maior banco de dados 
biométricos do mundo. 
Em 2010, Eric Schmidt fala na conferência Techonomy em Lake 
Tahoe, na Califórnia, e ele afirma que: 
“havia 5 exabytes de informações criadas pelo mundo 
inteiro entre o alvorecer da civilização e 2003. Agora essa 
mesma quantidade é criada a cada dois dias”. 
Em 2011, o relatório da McKinsey sobre Big Data: a próxima 
fronteira para inovação, competição e produtividade, afirma 
que em 2018 os EUA enfrentariam uma escassez de 140.000–
190.000 cientistas de dados, além de 1,5 milhão de 
gerenciadores de dados. Em 2018, a matéria Data Analyst, the 
most in-demand job of the coming years indica, de acordo com 
o Fórum Económico Mundial e a IBM, que a demanda anual 
https://uidai.gov.in/
https://uidai.gov.in/
https://www.youtube.com/watch?utm_source=datafloq&utm_medium=ref&utm_campaign=datafloq&v=UAcCIsrAq70
https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/big-data-the-next-frontier-for-innovation
https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/big-data-the-next-frontier-for-innovation
https://www.morningfuture.com/en/article/2018/02/21/data-analyst-data-scientist-big-data-work/235/
https://www.morningfuture.com/en/article/2018/02/21/data-analyst-data-scientist-big-data-work/235/
para cientistas de dados, desenvolvedores e engenheiros de 
dados chegaria a 700.000 novos recrutamentos para 2020. 
Os acontecimentos anteriores dos quais discutiu-se antes são 
fundamentais para a concepção moderna de Big Data. Porém 
existem outros fatores além dos marcos históricos como o 
desenvolvimento de computadores, telefones inteligentes, 
internet e equipamentos sensoriais (Internet of Things) para 
fornecimento de dados. As mídias sociais modificaram a 
natureza dos volumes de dados de maneiras novas e ainda segue 
em desenvolvimento. As diversas soluções do mercado 
financeiro (cartões de crédito, gateways de pagamento, etc) 
também tiveram um papel importante ao fornecer quantidades 
cada vez maiores de dados, e consequentemente a evolução da 
tecnologia moderna está entrelaçada com a evolução do Big 
Data. 
Nos últimos anos, houve um aumento considerável nas startups 
de Big Data, todas tentando lidar com Big Data e ajudando as 
organizações a entender Big Data e cada vez mais as empresas 
estão lentamente adotando e avançando em direção ao Big Data. 
No entanto, embora pareça que o Big Data já existe há muito 
tempo, na verdade, o Big Data é tão grande quanto a Internet em 
1993. Então, cabe um último questionamento, qual é a previsão 
futura acerca do dimensionamento de grandes quantidades de 
dados? Ao que parece a Era do Big Data está apenas começando. 
 
https://gigaom.com/2012/02/26/big-data-adoption-issues-whats-the-big-deal/?utm_source=datafloq&utm_medium=ref&utm_campaign=datafloq
https://gigaom.com/2012/02/26/big-data-adoption-issues-whats-the-big-deal/?utm_source=datafloq&utm_medium=ref&utm_campaign=datafloq