* Cantinho Satkeys

Refresh History
  • j.s.: dgtgtr a todos  4tj97u<z
    07 de Julho de 2025, 13:50
  • FELISCUNHA: Votos de um santo domingo para todo o auditório  4tj97u<z
    06 de Julho de 2025, 11:43
  • j.s.: [link]
    05 de Julho de 2025, 16:31
  • j.s.: dgtgtr a todos  4tj97u<z
    05 de Julho de 2025, 16:31
  • j.s.: h7t45 ao convidado de Honra batatinha pela sua ajuda
    05 de Julho de 2025, 16:30
  • FELISCUNHA: ghyt74  pessoal   4tj97u<z
    04 de Julho de 2025, 11:58
  • JPratas: dgtgtr Pessoal  101041 Vamos Todos Ajudar na Manutenção do Forum, Basta 1 Euro a Cada Um  43e5r6
    03 de Julho de 2025, 19:02
  • cereal killa: Todos os anos e preciso sempre a pedir esmolas e um simples gesto de nem que seja 1€ que fosse dividido por alguns ajudava, uma coisa e certa mesmo continuando isto vai levar volta a como se tem acesso aos tópicos, nunca se quis implementar esta ideia mas quem não contribuir e basta 1 € por ano não terá acesso a sacar nada, vamos ver desenrolar disto mais ate dia 7,finalmente um agradecimento em nome do satkeys a quem já fez a sua doação, obrigada
    03 de Julho de 2025, 15:07
  • m1957: Por favor! Uma pequena ajuda, não deixem que o fórum ecerre. Obrigado!
    03 de Julho de 2025, 01:10
  • j.s.: [link]
    02 de Julho de 2025, 21:09
  • j.s.: h7t45 ao membro anónimo pela sua ajuda  49E09B4F
    02 de Julho de 2025, 21:09
  • j.s.: dgtgtr a todos  4tj97u<z
    01 de Julho de 2025, 17:18
  • FELISCUNHA: Votos de um santo domingo para todo o auditório  4tj97u<z
    29 de Junho de 2025, 11:59
  • m1957: Foi de boa vontade!
    28 de Junho de 2025, 00:39
  • j.s.: passem f.v. por aqui [link]    h7t45
    27 de Junho de 2025, 17:20
  • j.s.: renovamos o nosso pedido para uma pequena ajuda para pagemento  do nosso forum
    27 de Junho de 2025, 17:19
  • j.s.: h7t45 aos convidados de honra Felizcunha e M1957 pela ajuda
    27 de Junho de 2025, 17:15
  • j.s.: dgtgtr a todos  4tj97u<z
    27 de Junho de 2025, 17:13
  • FELISCUNHA: ghyt74  pessoal  4tj97u<z
    27 de Junho de 2025, 11:51
  • JPratas: try65hytr A Todos  classic k7y8j0
    27 de Junho de 2025, 04:35

Autor Tópico: Master Big Data - Apache Spark/Hadoop/Sqoop/Hive/Flume  (Lida 109 vezes)

0 Membros e 1 Visitante estão a ver este tópico.

Offline mitsumi

  • Sub-Administrador
  • ****
  • Mensagens: 121842
  • Karma: +0/-0
Master Big Data - Apache Spark/Hadoop/Sqoop/Hive/Flume
« em: 23 de Agosto de 2020, 13:59 »

Master Big Data - Apache Spark/Hadoop/Sqoop/Hive/Flume
Video: .mp4 (1280x720, 30 fps(r)) | Audio: aac, 44100 Hz, 2ch | Size: 3.9 GB
Genre: eLearning Video | Duration: 86 lectures (8 hour, 22 mins) | Language: English
 In-depth course on Big Data - Apache Spark , Hadoop , Sqoop , Flume & Apache Hive, Big Data Cluster setup

What you'll learn

    Hadoop distributed File system and commands. Lifecycle of sqoop command. Sqoop import command to migrate data from Mysql to HDFS. Sqoop import command to migrate data from Mysql to Hive. Working with various file formats, compressions, file delimeter,where clause and queries while importing the data. Understand split-by and boundary queries. Use incremental mode to migrate the data from Mysql to HDFS. Using sqoop export, migrate data from HDFS to Mysql. Using sqoop export, migrate data from Hive to Mysql. Understand Flume Architecture. Using flume, Ingest data from Twitter and save to HDFS. Using flume, Ingest data from netcat and save to HDFS. Using flume, Ingest data from exec and show on console. Flume Interceptors.

Requirements

    No

Description

In this course, you will start by learning what is hadoop distributed file system and most common hadoop commands required to work with Hadoop File system.

Then you will be introduced to Sqoop Import

    Understand lifecycle of sqoop command.

    Use sqoop import command to migrate data from Mysql to HDFS.

    Use sqoop import command to migrate data from Mysql to Hive.

    Use various file formats, compressions, file delimeter,where clause and queries while importing the data.

    Understand split-by and boundary queries.

    Use incremental mode to migrate the data from Mysql to HDFS.

Further, you will learn Sqoop Export to migrate data.

    What is sqoop export

    Using sqoop export, migrate data from HDFS to Mysql.

    Using sqoop export, migrate data from Hive to Mysql.

Further, you will learn about Apache Flume

    Understand Flume Architecture.

    Using flume, Ingest data from Twitter and save to HDFS.

    Using flume, Ingest data from netcat and save to HDFS.

    Using flume, Ingest data from exec and show on console.

    Describe flume interceptors and see examples of using interceptors.

    Flume multiple agents

    Flume Consolidation.

In the next section, we will learn about Apache Hive

    Hive Intro

    External & Managed Tables

    Working with Different Files - Parquet,Avro

    Compressions

    Hive Analysis

    Hive String Functions

    Hive Date Functions

    Partitioning

    Bucketing

Finally You will learn about Apache Spark

    Spark Intro

    Cluster Overview

    RDD

    DAG/Stages/Tasks

    Actions & Transformations

    Transformation & Action Examples

    Spark Data frames

    Spark Data frames - working with diff File Formats & Compression

    Dataframes API's

    Spark SQL

    Dataframe Examples

    Spark with Cassandra Integration

Who this course is for:

    Who want to learn big data in detail

Download link:
Só visivel para registados e com resposta ao tópico.

Only visible to registered and with a reply to the topic.

Links are Interchangeable - No Password - Single Extraction