Atividade Big Data

Prévia do material em texto

FACULDADE CAPITAL FEDERAL – FECAF
 BIG DATA 
Soluções de Machine Learning 
TABOÃO DA SERRA- SP
2021
O que é BIG DATA?
      É a análise e interpretação de grandes volumes de dados diversos que precisam ser processados e armazenados,  são necessários algumas soluções específicas para big data, um grande volume de dados, que bem analisados trazem informações úteis, que em pouco volume de dados não seria possível, onde permita que os profissionais de TI possam trabalhar com diversos dados ao mesmo tempo, como por exemplo desembaralhar um punhado de cartas somente em olhar para elas, tudo o que você faz ou pesquisa na internet, vira informações geradas através do big data, possibilitando aprimorar os softwares de acordo com as características dos usuários. As ferramentas são capazes de escalar facilmente e empregar recursos disponíveis dos negócios, identificando padrões e relações entre os dados por meio de utilização de sofisticados algoritmos e modelos matemáticos estatísticos. Incorporar esses softwares de análise na rotina dos processos corporativos permite, assim, uma melhora na produtividade e um maior valor aos negócios.
      O conceito de big data se iniciou com os 3 V’s (velocidade, volume e variedade), que conforme se passaram o tempo, foi atualizado e o conceito foi padronizado para os 5 V’s, sendo eles:
      Velocidade: O Fluxo contínuo de dados em grandes quantidades, a ferramenta precisa ter um alto desempenho de análise, de tal forma que seja possível encontrar padrões rapidamente.
      Volume: Uma ferramenta de Big Data deve ser capaz de lidar com um grande volume de dados.
      Variedade: Outro aspecto é a capacidade de solução de Big Data de trabalhar com fluxos de dados variados.
        Veracidade: As soluções de Big Data devem estar preparadas para buscar por dados de fontes confiáveis que devem dar a possibilidade de filtrar quais conteúdos são relevantes para o negócio, além de eliminar aqueles que são confiáveis ou que não têm relevância.
     Valor: A solução deve ser capaz de agregar valor a processos e tornar os serviços mais competitivos. Ao identificar tendências e padrões que gerem possibilidades para o gestor tomar decisões com confiança e direcionar melhor a estratégia para conquistar clientes e/ou mais mercados.
Desvantagens do Big Data
      Big Data existe infraestrutura de TI adequada, poucas empresas têm tecnologia suficiente para lidar com o Big Data. Além disso, a mudança de mentalidade tanto das equipes de TI quanto dos executivos de negócio também é um grande desafio. A falta de mão de obra qualificada também é um desafio para as empresas, ou seja, as equipes que se qualificam em big data, precisam de alguns equipamentos de ponta, espaço e liberdade de trabalho, como poucas pessoas estão se qualificando na área, acaba sendo uma desvantagem para o mercado de trabalho.
       Big Data exige mão de obra cada vez mais qualificada, um problema de todo o mundo, é a falta de mão de obra qualificada para lidar com análise de dados também é um desafio para as empresas brasileiras, reunir qualidades como conhecimento de matemática, estatística e linguagem de programação não tem sido uma tarefa fácil.
       Quando se trata de infraestrutura de TI, como as ferramentas, é preciso fazer uma monitoração data center e ter um banco de dados com uma boa performance, que seja capaz de armazenar e provisionar a explosão de dados. A proteção dos mesmos também precisa ser considerada, com alguns firewalls, com controle de acesso e políticas adequadas a essa realidade, que será sempre falado daqui em diante.
        É preciso que as empresas sejam rápidas e eficazes, para gerar a mudança a partir dos insights que são gerados com a análise de dados, ou seja, se é possível captar, triar e minerar milhões de dados, com alta velocidade em poucos segundos, gerando informações relevantes para o negócio, também é preciso agir na mesma velocidade e qualidade, isso se trata de um desafio em adequar a rapidez das decisões ao poderio de informações gerados pela estruturação análise dos dados.
Big Data nos Negócios
        Na área financeira o big data acompanha as manifestações emocionais dos clientes através das mídias sociais, diagnosticando com antecedência as insatisfações e ganhando tempo para neutralizá-las. No setor público, com o cruzamento de dados de pessoas por meio de diferentes fontes, os gestores públicos podem identificar cenários de desvio de receitas, lavagem de dinheiro ou outros crimes financeiros.
Big Data e Machine Learning
Por meio de algoritmos e análise de grandes volumes de dados (Big Data), identificam-se padrões e criam-se conexões entre os dados. São análises estatísticas para prever respostas mais precisas. Entregam o melhor resultado preditivo com a menor chance de erro.
 O machine learning é um subconjunto da IA (Inteligência Artificial). Ou seja, toda a aprendizagem de máquina conta com o IA, mas nem toda solução IA tem aprendizado automático.
 Um aspecto que separa o machine learning de outros sistemas inteligentes é que o aprendizado automático da máquina é dinâmico e não requer intervenção humana para realizar certas mudanças. Isso o torna menos frágil e menos dependente de especialistas humanos.
O machine learning calcula o valor da vida útil do cliente de forma mais precisa, permitindo assim otimizar suas futuras interações com eles.
Algumas das vantagens para os clientes a partir das soluções com o uso de machine learning:
· Capacidade de processar quantidades praticamente ilimitadas de dados de fontes diversas;
· Processa, analisa e faz previsões em tempo real;
· Ajuda na conversão, atua sobre os resultados do aprendizado da máquina e tornam a mensagem de marketing muito mais dinâmica;
· Aprende com comportamentos passados para melhorar continuamente suas previsões com base em dados novos;
· Pode ser usado para identificar várias sub-segmentações do seu público-alvo, bem como criar micro-segmentos com base em padrões comportamentais que você não consegue detectar.
Exemplos de machine learning e big data juntos
· Cibersegurança: A aliança entre machine learning e big data é hoje um fator indispensável no mundo da segurança da informação.
Com algoritmos avançados que analisam dados massivos de e-mails legítimos e maliciosos, é possível prever e identificar comportamentos arriscados e perigosos, separando o joio do trigo.
· Cadeia de suprimentos: A cadeia de suprimentos (ou supply chain) foi e continua sendo transformada pela união entre big data e machine learning. O uso dessas tecnologias permite uma maior visibilidade, previsão e controle dos diversos fatores que podem afetar toda uma rede de suprimentos, é possível, por exemplo, antecipar e prever questões relativas à demanda, produção, controle de estoque, atrasos e até impactos causados por eventos externos, como greves e fenômenos naturais.
· Sistemas de recomendação: O e-mail da Netflix recomendando uma série que eles acham que você vai gostar, trata-se de mais uma forma de ação conjunta de machine learning e big data. Os chamados sistemas de recomendação também são usados por inúmeras outras empresas, como Spotify, Amazon e YouTube.
Os sistemas de recomendação cruzam grandes quantidades de dados (seus e de outros usuários com perfil semelhante) para oferecer recomendações personalizadas.
· Preços dinâmicos: Os sistemas analisam o comportamento dos usuários, a demanda no momento da compra, a demanda histórica para determinado período e o envolvimento do usuário com um anúncio ou campanha de marketing específica, dentre vários outros fatores.
A prática de precificação dinâmica é muito adotada no mercado, sendo exemplos clássicos a Uber, agências de viagem e companhias aéreas também fazem uso dessa tática.
· Manutenção preventiva de equipamentos: Sistemas que combinam machine learning e big data tem a capacidade de prever possíveis erros e falhas em máquinas, alertando para a necessidade de manutenção preventiva.
Soluções que utilizam o Machine Learning
· Leituraautomatizada de documentos: A leitura automatizada de documentos pode ser feita por meio da tecnologia de OCR, ou Optical Character Recognition (Reconhecimento Óptico de Caracteres).
· Soluções antifraude: O machine learning pode ser utilizado para mapear pontos fracos e padrões indicadores de fraude. Além disso, por fazer uma análise de dados mais rápida e eficaz do que outros meios, a tecnologia também permite tomar decisões estratégicas em relação a esses riscos com mais assertividade.
· Chatbots: As soluções de atendimento automatizadas possibilitam maior agilidade e eficácia no contato com o cliente em determinados momentos. Os chatbots usam o machine learning para aprender continuamente a partir dos dados colhidos em cada interação com um cliente.
· Assistentes pessoais: A Siri da Apple, a Cortana da Microsoft, a Alexa da Amazon e outras assistentes pessoais usam aplicações para identificação de linguagem, transcrição e processamento de linguagem natural, entre outras. Assim, elas conseguem entender comandos para solicitar determinado serviço ou executar um programa por exemplo, e proporcionar uma experiência altamente interativa e personalizada para o usuário.
Esses são alguns exemplos da utilização da tecnologia para atender à demanda dos clientes e usuários por mais dinamismo, agilidade e personalização em sua relação com as empresas e seus produtos/serviços.
Conclusão
Concluímos que o Big Data é uma estratégia para ajudar a facilitar processos e entender padrões de comportamentos de clientes, tornando assim os serviços e alguns produtos mais acessíveis e lucrativos, na era digital ele se torna ainda mais essencial por ser acessível facilitando cada vez mais esse processo interno de interação, por outro lado, concluímos que todos os serviços que usamos Big Data requer uma tecnologia de ponta, e técnicos em TI qualificados, podendo assim trazer uma forma mais lucrativa para empresa, e também um meio de triagem de dados em altíssima velocidade e eficácia.
E o machine learning possibilita mais assertividade, eficácia e agilidade em diversos processos do dia a dia de uma empresa, desde a validação de identidade até a tomada de decisões estratégicas.
Bibliografia
https://blog.neoway.com.br/o-que-e-big-data/
https://silversharksolutions.com.br/index.php/solucoes-com-uso-machine-learning/
https://blog.idwall.co/aprendizado-de-maquina-solucoes-machine-learning/