A conectividade global e o Big Data: o crescimento exponencial dos dados na era digital
Resumo: Notou-se que os dados gerados na internet cresciam exponencialmente; estimava-se que até 2025 seriam produzidos 175 zettabytes, tendo em vista que até 2018 tinham sido criados aproximadamente 33 zettabytes. Diante disso, o objetivo deste trabalho foi apresentar um panorama da conectividade global e da produção massiva de dados que caracteriza a era digital contemporânea, bem como delinear os fundamentos conceituais do Big Data, seus cinco pilares (os “cinco V’s”), o processo de Extração, Transformação e Carregamento (ETL) e sua relação com o Business Intelligence (BI). A pesquisa foi realizada por meio de levantamento bibliográfico e análise exploratória de relatórios internacionais e literatura especializada. Concluiu-se que o volume, a variedade e a velocidade com que os dados são hoje produzidos tornam indispensável o domínio de metodologias de tratamento e análise, as quais constituem a base técnica sobre a qual se apoiam as estratégias de personalização e influência sobre o usuário discutidas em trabalho complementar.
Palavras-chave: Big Data; conectividade; dados; ETL; Business Intelligence.
Introdução
Em nossa atualidade, cada vez mais pessoas estão conectadas à internet. Segundo o relatório da União Internacional de Telecomunicações (UIT) de 2025, intitulado Facts and Figures, aproximadamente 6 bilhões de pessoas utilizam a internet. Com tantas pessoas conectadas, a quantidade de dados gerados por dia aumenta em uma velocidade ainda maior: segundo o relatório Data Age 2025, da International Data Corporation (IDC), a quantidade de dados gerados até 2018 era de 33 zettabytes, com previsão de que até 2025 fossem produzidos 175 zettabytes. Esse volume exorbitante de dados recebe um nome específico: Big Data, devido ao tamanho de tais informações, resultado do acúmulo de várias fontes que se torna mais extenso a cada momento.
Diante desse cenário, empresas inseridas no meio digital passaram a dispor de uma quantidade cada vez maior de informações sobre potenciais compradores e usuários de seus serviços, o que abriu caminho para o uso estratégico desses dados. Este artigo, primeira parte de uma investigação mais ampla sobre o impacto da análise de dados na tomada de decisão dos usuários, tem como objetivo apresentar o panorama de conectividade e crescimento de dados, bem como os fundamentos técnicos do Big Data, do ETL e do Business Intelligence, servindo de base conceitual para a discussão sobre persuasão, manipulação e proteção de dados desenvolvida em artigo complementar.
Conectividade mundial e crescimento da produção de dados
Usuários conectados à internet e a expansão da conectividade global
O Relatório de 2025 da UIT apresenta dados atualizados sobre o estado da conectividade global, evidenciando progressos significativos, mas também desafios persistentes na busca pela universalidade do acesso à internet. De acordo com o relatório, em 2025, aproximadamente 74% da população mundial, ou 6 bilhões de pessoas, estão online, representando um crescimento de 3,3% em relação ao ano anterior, quando 71% da população global tinha acesso à internet (ZAVAZAVA, 2025).
Esse avanço, embora significativo, revela que mais de um quarto da população global — cerca de 2,2 bilhões de indivíduos — permanece offline. O crescimento anual tem desacelerado em comparação com anos anteriores, passando de taxas superiores a 10% na década passada para os atuais 3,3%, sinalizando que as conquistas de conectividade tornam-se progressivamente mais difíceis à medida que se busca alcançar populações em regiões remotas ou economicamente desfavorecidas (ZAVAZAVA, 2025).
O uso da internet está fortemente relacionado ao nível de desenvolvimento econômico. Nos países de alta renda, 94% da população já está conectada, aproximando-se da universalidade, convencionalmente definida pela UIT como uma taxa de penetração de pelo menos 95% (ZAVAZAVA, 2025). Em contraste, apenas 23% da população dos países de baixa renda utiliza a internet, evidenciando uma lacuna de 71 pontos percentuais em relação aos países mais desenvolvidos (ZAVAZAVA, 2025).
Por região, na Comunidade dos Estados Independentes (CEI), Europa e Américas, entre 88% e 93% da população utiliza a internet, níveis próximos à universalidade. Na região Ásia-Pacífico e nos Estados Árabes, o uso situa-se em 77% e 70%, respectivamente, alinhados com a média global. A África destaca-se negativamente, com apenas 36% de sua população online — uma das maiores exclusões digitais do mundo, ainda que represente avanço em relação aos 25% de 2019. Nos países menos desenvolvidos e nos países em desenvolvimento sem litoral, apenas 34% e 38% da população, respectivamente, estão conectados, embora suas taxas de crescimento anual (7,4% e 5,5%) superem a maioria dos demais grupos (ZAVAZAVA, 2025).
Estimativa da produção de dados global e variedade de fontes
Com o aumento de pessoas conectadas à internet no mundo inteiro, mais dados são criados a cada momento. De acordo com a IDC, a soma dos dados globais, chamada de DataSphere, aumentará de 33 zettabytes (ZB) em 2018 para 175 ZB em 2025, representando uma taxa de crescimento anual composta de 61% (IDC, 2018). Esse volume massivo é impulsionado pela digitalização acelerada e pela proliferação de dispositivos conectados, como smartphones, computadores e sensores de Internet of Things — IoT (WOODIE, 2018).
O desafio crescente não é apenas gerar esses dados, mas também armazená-los e processá-los de maneira eficiente. A IDC estima que o setor de armazenamento enviará cerca de 42 ZB de capacidade nos próximos sete anos, com grande parte gerada por dispositivos de IoT, que deverão produzir 90 ZB até 2025. Além disso, cerca de 49% dos dados estarão armazenados em ambientes de nuvem pública, e quase 30% serão consumidos imediatamente após sua geração — o fenômeno dos “dados em tempo real” (IDC, 2018).
O DataSphere é composto por três principais locais de armazenamento: o “núcleo” (data centers e nuvem), a “borda” (infraestrutura edge, torres de celular, servidores locais) e os “endpoints” (smartphones, tablets, sensores, veículos). Segundo a IDC, a quantidade de dados armazenados no núcleo ultrapassará em mais do que o dobro a quantidade armazenada nos endpoints até 2024, revertendo a dinâmica observada em 2015 — mudança alimentada pela crescente demanda por serviços sensíveis à latência (IDC, 2018). Quanto às mídias de armazenamento, a IDC apontava predominância dos discos rígidos tradicionais (HDD), crescimento rápido das unidades de estado sólido (SSD) e adoção de tecnologias emergentes como a NVM-NAND, além de aumento surpreendente no uso de unidades de fita. Por fim, a IDC introduziu o Data Readiness Condition Index (DATCON), que classifica de 1 a 5 a prontidão das organizações para a transformação digital (IDC, 2018).
Big Data
História e definição
Embora o conceito de Big Data seja relativamente recente, as raízes de grandes conjuntos de dados remontam às décadas de 1960 e 1970, período marcado pela criação dos primeiros data centers e pelo desenvolvimento do banco de dados relacional (ORACLE, 2024). A partir de 2005, o crescimento acelerado de dados gerados por plataformas como Facebook e YouTube evidenciou a necessidade de soluções mais robustas: nesse ano foi lançado o Hadoop, estrutura de código aberto que simplificou o armazenamento e a análise de grandes conjuntos de dados, ao passo que o NoSQL ganhava popularidade. Ferramentas posteriores, como o Spark, tornaram o trabalho com Big Data mais acessível e econômico. O advento da IoT e do machine learning impulsionou ainda mais esse crescimento, ao permitir a captura de dados detalhados sobre comportamento e desempenho em tempo real, bem como a geração de novos insights a partir de algoritmos que aprendem com grandes volumes de informação (ORACLE, 2024).
Segundo Taurion (2013), o Big Data vai além de um simples armazenamento massivo de informações ou de ferramentas de Business Intelligence aplicadas a grandes volumes de dados; sua definição envolve múltiplas dimensões que vão além do volume, incluindo variedade, velocidade, veracidade e valor. O volume refere-se ao imenso acúmulo de dados oriundos de sensores, redes sociais e sistemas de ERP; a variedade diz respeito à diversidade das fontes e tipos de dados; e a velocidade caracteriza a necessidade de resposta em tempo real, especialmente relevante em gestão automatizada (TAURION, 2013).
A veracidade diz respeito à qualidade e confiabilidade da informação — dados inconsistentes comprometem análises e geram conclusões prejudiciais ao processo decisório —, enquanto o valor destaca o potencial dos dados analisados de agregar insights significativos ao negócio (TAURION, 2013). Taurion cita o McKinsey Global Institute, que vê o Big Data como consequência direta da revolução digital impulsionada pelas redes sociais, dispositivos móveis e computação em nuvem (McKinsey Global Institute apud TAURION, 2013), e o Gartner, que o define como prática de processamento de dados em volumes extremos que superam as tecnologias tradicionais (Gartner apud TAURION, 2013). Na analogia do autor, o Big Data equivale à invenção do microscópio: assim como este revelou organismos invisíveis a olho nu, o Big Data revela uma nova camada de informações invisíveis — o “shadow data” —, abrindo caminho para decisões mais precisas (TAURION, 2013).
Os cinco V’s
De acordo com a Cortex Intelligence (2022), o Big Data é estruturado em torno de cinco dimensões: volume, a quantidade massiva de dados gerados diariamente, impulsionada pela proliferação de dispositivos conectados e pela IoT, com previsão de que o volume global atinja 350 zettabytes; velocidade, o ritmo em que os dados são gerados e precisam ser processados para a tomada de decisão, viabilizado por plataformas automatizadas de data mining; variedade, a ampla diversidade de fontes — redes sociais, aplicativos, GPS, cookies, bancos de dados públicos e dispositivos IoT —, que não seguem padrões uniformes; veracidade, a confiabilidade dos dados diante do aumento de fake news, assegurada por regulamentações como a LGPD e o GDPR; e valor, considerado o “V” mais importante, pois de nada adianta captar um enorme volume de dados se estes não puderem ser transformados em insights úteis para orientar decisões estratégicas (CORTEX INTELLIGENCE, 2022).
Extração, Transformação e Carregamento (ETL)
O processo de Extract, Transform, Load (ETL) é metodologia essencial para a integração e o gerenciamento de dados, sobretudo em ambientes de Big Data, nos quais o volume, a velocidade e a variedade são elevados. Surgido para suprir a necessidade de consolidar e padronizar dados provenientes de bancos de dados, arquivos XML, sistemas de nuvem e APIs, o ETL estrutura-se em três etapas sequenciais (KHANDAVILLI, 2024).
A extração compreende a coleta de dados de múltiplas fontes seguida de validação inicial de qualidade — fase crítica, pois falhas na coleta comprometem as análises subsequentes. Na transformação, os dados passam por limpeza, remoção de duplicatas, normalização, padronização e agregação, garantindo confiabilidade e consistência (MUKHERJEE, 2024). Por fim, o carregamento integra os dados transformados ao destino — data warehouse, data lake ou outros bancos de dados —, podendo ocorrer em lote (batch processing) ou em tempo real, a depender da urgência das análises (KHANDAVILLI, 2024).
Ferramentas modernas como Talend, Pentaho e Integrate.io tornaram-se altamente escaláveis para projetos de Big Data, contribuindo ainda para a segurança e a privacidade dos dados por meio de criptografia em nível de campo, autenticação forte e controle de acesso — medidas fundamentais diante de regulamentações como a LGPD e o GDPR (MUKHERJEE, 2024; KHANDAVILLI, 2024).
Insights e Business Intelligence
O uso de Business Intelligence (BI) e Big Data tem transformado as estratégias empresariais. Bologa e Bologa (2011) afirmam que o BI se consolidou como instrumento fundamental na gestão contemporânea, possibilitando que dados de múltiplas fontes sejam integrados e transformados em informações estratégicas. Esses sistemas evoluíram a partir de soluções de suporte à decisão e sistemas especialistas, que visam auxiliar ou substituir o ser humano no processo decisório (BOLOGA; BOLOGA, 2011).
O valor dos dados não reside apenas em seu volume, mas na forma como são utilizados para revelar padrões e tendências: desde o início dos anos 2000, ferramentas como o Hadoop permitiram o armazenamento e processamento econômico desses grandes volumes (LANEY apud MILLER, 2005), viabilizando análises em tempo real que suportam decisões críticas — do monitoramento da cadeia de suprimentos à detecção de fraudes e ao atendimento ao cliente. Para lidar com essa complexidade, empresas têm investido em agentes de software, sistemas autônomos capazes de monitorar, analisar e atuar sobre dados em tempo real, reduzindo a sobrecarga de informações e automatizando tarefas (BOLOGA; BOLOGA, 2011).
A análise de Big Data permite ainda que as empresas conheçam profundamente seus clientes, estabelecendo personas segmentadas por características demográficas e comportamentais, o que possibilita campanhas direcionadas — cruzando critérios como valor vitalício e custo de aquisição para identificar clientes de alto valor (MILLER, 2024). A aplicação de machine learning, por sua vez, permite modelos preditivos baseados em padrões históricos, úteis na manutenção preditiva e no desenvolvimento de produtos (MILLER, 2024). Empresas que integram essas tecnologias relatam aumentos de 8 a 10% nos lucros, reforçando a eficácia das ferramentas de BI como componentes indispensáveis da gestão corporativa atual (MILLER, 2024).
Considerações finais
Este artigo apresentou o panorama da conectividade global e do crescimento exponencial da produção de dados, delineando os fundamentos conceituais do Big Data — sua história, seus cinco V’s, o processo de ETL e sua relação com o Business Intelligence. Observou-se que o volume, a variedade, a velocidade, a veracidade e o valor dos dados tornaram-se elementos estratégicos para as organizações, ao mesmo tempo em que impõem desafios técnicos de armazenamento, processamento e governança.
Esse arcabouço técnico, contudo, não é neutro: a mesma capacidade de coleta e análise que permite personalizar serviços e otimizar processos de negócio é a base sobre a qual se constroem estratégias de persuasão e, em muitos casos, de manipulação do comportamento do usuário. A discussão sobre esses limites éticos, bem como sobre o marco regulatório da Lei Geral de Proteção de Dados Pessoais (LGPD), é desenvolvida em artigo complementar a este.
Referências
BOLOGA, A.; BOLOGA, R. Business Intelligence using Software Agents. Database Systems Journal, 2011. Disponível em: https://www.researchgate.net/publication/320622320_Business_Intelligence_using_Software_Agents. Acesso em: 30 out. 2025.
CORTEX INTELLIGENCE. 5 V’s do Big Data: quais são e como se aplicam no seu negócio. 2022. Disponível em: https://www.cortex-intelligence.com/blog/os-5-vs-do-big-data. Acesso em: 5 out. 2025.
IDC — INTERNATIONAL DATA CORPORATION. Data Age 2025. 2018.
KHANDAVILLI, Preetipadma. What is the Importance of ETL from a Business Perspective?. 2024. Disponível em: https://hevodata.com/learn/importance-of-etl/. Acesso em: 29 out. 2025.
MILLER, Chris. What is Big Data Analytics and How It Helps You Understand Your Customers?. 2024. Disponível em: https://financesonline.com/what-is-big-data-analytics-and-how-it-helps-you-understand-your-customers/. Acesso em: 20 set. 2025.
MUKHERJEE, Rajendrani. ETL Technologies for Big Data: A Comparative Study. 2024. Disponível em: https://ieeexplore.ieee.org/document/7976926. Acesso em: 29 out. 2024.
ORACLE. What is Big Data?. 2024. Disponível em: https://www.oracle.com/br/big-data/what-is-big-data/. Acesso em: 5 ago. 2024.
TAURION, Cezar. Big data. 1. ed. Rio de Janeiro: Brasport, 2013. E-book. Disponível em: https://plataforma.bvirtual.com.br. Acesso em: 20 out. 2025.
WOODIE, Alex. Global DataSphere to Hit 175 Zettabytes by 2025, IDC Says. 2018. Disponível em: https://www.datanami.com/2018/11/27/global-datasphere-to-hit-175-zettabytes-by-2025-idc-says/. Acesso em: 20 ago. 2025.
ZAVAZAVA, Cosmas Luckyson. Facts and Figures. 2025. Disponível em: https://www.itu.int/itu-d/reports/statistics/2025/10/15/ff25-internet-use/. Acesso em: 24 out. 2025.
Publicado por Melquesedec de Souza Nascimento; Jhonatta Pietro de Oliveira