Aprenda a lidar com Big Data usando Apache Spark e Python

Visão geral do curso

Junte-se ao nosso curso abrangente sobre aprendizado de Apache Spark e Python juntos! Este curso inclui mais de 20 exemplos práticos de análise de grandes conjuntos de dados no Hadoop, que inclui integração de desktop ou Scala. Você aprenderá com instrutores experientes que trabalharam como engenheiros e gerentes seniores na Amazon e IMDb. Por favor, note que se você é novo em programação, recomendamos fazer um curso básico de Python antes de se inscrever neste curso.

Por que escolher o curso Apache Spark e Python para lidar com Big Data?

Ao fazer este curso, você aprenderá as habilidades para estruturar problemas de análise de dados usando o Spark e dominá-los por meio de mais de 20 exemplos práticos. Após a conclusão do curso, você será capaz de executar código para analisar grandes quantidades de dados em minutos. Este curso utiliza a familiar linguagem de programação Python. No entanto, se você preferir usar Scala para obter desempenho ideal no Spark, existem outros cursos disponíveis. O curso inclui exercícios envolventes, começando com exemplos simples de análise de dados de avaliações de filmes e textos de livros usando o Spark. Conforme você avança, enfrentará tarefas mais complexas e interessantes. Você descobrirá filmes semelhantes usando milhões de avaliações de filmes e até mesmo descobrirá novos filmes que você pode gostar. Você analisará grafos sociais de super-heróis e desenvolverá um sistema para encontrar o super-herói mais "popular" e determinar o "Grau de Separação" entre os super-heróis. Quão conectados estão todos os super-heróis da Marvel ao Homem-Aranha? Este curso ajudará você a encontrar a resposta. Além disso, este curso é focado na aprendizagem prática. Você passará a maior parte do tempo com o instrutor escrevendo, analisando e executando código real em seu próprio sistema e na nuvem usando o serviço Elastic MapReduce da Amazon. O curso inclui 7 horas de conteúdo em vídeo e, com mais de 20 exemplos práticos, você pode construir, executar e explorar a complexidade por conta própria.

Grade curricular do curso: Apache Spark e Python para lidar com Big Data

- Usando DataFrames e Structured Streaming no Spark 3 - Estruturando problemas de análise de big data com o Spark - Executando tarefas em clusters com Hadoop YARN usando o serviço Elastic MapReduce da Amazon - Instalando e executando o Apache Spark em desktops ou clusters - Processando e analisando grandes conjuntos de dados em CPUs múltiplos usando os Resilient Distributed Datasets do Spark - Implementando algoritmos iterativos como busca em largura usando o Spark - Respondendo a perguntas comuns de mineração de dados usando a biblioteca de aprendizado de máquina MLLib - Entendendo como trabalhar com dados estruturados usando o Spark SQL - Processando fluxos contínuos de dados em tempo real usando o Spark Streaming - Coordenando e solucionando problemas de trabalhos em grande escala em clusters - Compartilhando informações entre nós em um cluster Spark usando variáveis de transmissão e acumuladores - Entendendo como a biblioteca GraphX ajuda com problemas de análise de rede

Sobre o instrutor

Nosso instrutor, Frank Kane, é um ex-engenheiro e gerente sênior da Amazon e IMDb. Este curso foi completamente atualizado com novo conteúdo, focando mais no Spark 3, exemplos práticos adicionais e uma ênfase maior em DataFrames e Structured Streaming. O curso também abordará as últimas tecnologias do Spark, como Spark SQL, Spark Streaming e GraphX, além de modelos avançados como Gradient Boosted Trees. A análise de "Big Data" é uma habilidade altamente popular e valiosa no mundo da tecnologia atual. Este curso apresenta a você a tecnologia mais popular em big data, o Apache Spark. Empregadores, incluindo Amazon, eBay, NASA JPL e Yahoo, usam o Spark para extrair rapidamente significado de conjuntos de dados massivos em clusters Hadoop tolerantes a falhas. Você aprenderá as mesmas técnicas usando um sistema Windows no conforto de sua própria cadeira, o que não é tão desafiador quanto parece. Você pode progredir no seu próprio ritmo, de acordo com sua agenda. O curso conclui com uma visão geral de outras tecnologias baseadas no Spark, incluindo Spark SQL, Spark Streaming e GraphX. Se você tiver alguma dúvida ou preocupação relacionada ao curso, sinta-se à vontade para deixá-las na seção de perguntas e respostas. Por favor, certifique-se de escrever suas perguntas em inglês para que possamos fornecer as respostas apropriadas. Processar big data com o Apache Spark é uma habilidade crucial no mundo da tecnologia atual. Matricule-se agora e aproveite este curso! -Frank P.S. Aqui está uma avaliação de um de nossos alunos: "Estudei 'Apache Spark e Python para lidar com Big Data' com Frank Kane. Foi muito útil na construção de uma plataforma de big data para serviços em minha empresa. Recomendo muito este curso!" - Cleuton Sampaio De Melo Jr.