Scaling Apache Hadoop and Spark - Apache Spark教程

内容

• Introduction Introduction

  • Scaling Apache Hadoop and Spark

    17 秒
• 1. Hadoop and Spark Fundamentals 1. Hadoop and Spark Fundamentals

  • Modern Hadoop and Spark

    1 分钟 39 秒
  • File systems used with Hadoop and Spark

    5 分钟
  • Apache or commercial Hadoop distros

    1 分钟 46 秒
  • (已锁定)
    Hadoop and Spark libraries

    1 分钟 23 秒
  • (已锁定)
    Hadoop on Google Cloud Platform

    4 分钟 21 秒
  • Spark Job on Google Cloud Platform

    1 分钟 52 秒
• 2. AWS Cloud Spark Environments 2. AWS Cloud Spark Environments

  • (已锁定)
    Sign up for Databricks Community Edition

    3 分钟 29 秒
  • Add Hadoop libraries

    2 分钟 33 秒
  • (已锁定)
    Databricks AWS Community Edition

    2 分钟 22 秒
  • (已锁定)
    Load data into tables

    1 分钟 51 秒
  • Hadoop and Spark cluster on AWS EMR

    7 分钟 30 秒
  • (已锁定)
    Run Spark job on AWS EMR

    4 分钟 40 秒
  • (已锁定)
    Review batch architecture for ETL on AWS

    2 分钟 17 秒
• 3. Spark Basics 3. Spark Basics

  • (已锁定)
    Apache Spark libraries

    3 分钟 24 秒
  • (已锁定)
    Spark data interfaces

    55 秒
  • (已锁定)
    Select your programming language

    1 分钟 36 秒
  • (已锁定)
    Spark session objects

    42 秒
  • (已锁定)
    Spark shell

    1 分钟 53 秒
• 4. Using Spark 4. Using Spark

  • (已锁定)
    Tour the Databricks Environment

    4 分钟 36 秒
  • (已锁定)
    Tour the notebook

    5 分钟 29 秒
  • (已锁定)
    Import and export notebooks

    2 分钟 56 秒
  • (已锁定)
    Calculate Pi on Spark

    8 分钟 30 秒
  • (已锁定)
    Run WordCount of Spark with Scala

    4 分钟 59 秒
  • (已锁定)
    Import data

    2 分钟
  • (已锁定)
    Transformations and actions

    3 分钟 21 秒
  • (已锁定)
    Caching and the DAG

    6 分钟 49 秒
  • (已锁定)
    Architecture: Streaming for prediction

    3 分钟 51 秒
• 5. Spark Libraries 5. Spark Libraries

  • (已锁定)
    Spark SQL

    8 分钟 34 秒
  • (已锁定)
    SparkR

    6 分钟 54 秒
  • (已锁定)
    Spark ML: Preparing data

    4 分钟 21 秒
  • (已锁定)
    Spark ML: Building the model

    3 分钟 50 秒
  • (已锁定)
    Spark ML: Evaluating the model

    3 分钟 41 秒
  • (已锁定)
    Advanced machine learning on Spark

    1 分钟 35 秒
  • (已锁定)
    MXNet

    25 秒
  • (已锁定)
    Spark with ADAM for genomics

    2 分钟 5 秒
  • (已锁定)
    Spark architecture for genomics

    2 分钟 1 秒
• 6. Spark Streaming 6. Spark Streaming

  • (已锁定)
    Reexamine streaming pipelines

    3 分钟 38 秒
  • (已锁定)
    Spark Streaming

    4 分钟 21 秒
  • (已锁定)
    Streaming ingest services

    44 秒
  • (已锁定)
    Advanced Spark Streaming with MLeap

    1 分钟 11 秒
• 7. Scaling Spark on AWS and GCP 7. Scaling Spark on AWS and GCP

  • (已锁定)
    Scale Spark on the cloud by example

    5 分钟 11 秒
  • (已锁定)
    Build a quick start with Databricks AWS

    6 分钟 50 秒
  • (已锁定)
    Scale Spark cloud compute with VMs

    6 分钟 16 秒
  • (已锁定)
    Optimize cloud Spark virtual machines

    6 分钟 5 秒
  • (已锁定)
    Use AWS EKS containers and data lake

    7 分钟 8 秒
  • (已锁定)
    Optimize Spark cloud data tiers on Kubernetes

    4 分钟 17 秒
  • (已锁定)
    Build reproducible cloud infrastructure

    8 分钟 37 秒
  • (已锁定)
    Scale on GCP Dataproc or on Terra.bio

    8 分钟 34 秒
  • (已锁定)
    Serverless Spark with Dataproc Notebook

    5 分钟 25 秒
• Conclusion Conclusion

  • (已锁定)
    Continue learning for scaling

    1 分钟 50 秒