零基础入门Spark

零基础入门Spark / 从项目入手,带你深入浅出玩转Spark

吴磊

FreeWheel 机器学习研发经理

  • 课程目录
  • 课程介绍
  • 开篇词 | 入门Spark,你需要学会“三步走”

    通过“学、用、写”不断迭代的学习方式,我把零散的开发技巧归纳成了结构化的知识体系。

  • 01|Spark:从“大数据的Hello World”开始

    怎么用Spark完成一个小项目?

  • 02 | RDD与编程模型:延迟计算是怎么回事?

    RDD是构建Spark分布式内存计算引擎的基石。

  • 03 | RDD常用算子(一):RDD内部的数据转换

    想要在Spark之上快速实现业务逻辑,需要掌握RDD常用算子。

  • 04 | 进程模型与分布式部署:分布式计算是怎么回事?

    分布式计算的实现,离不开两个关键要素,一个是进程模型。

  • 05 | 调度系统:如何把握分布式计算的精髓?

    今天我们一起探究Spark调度系统,弄清楚分布式计算的来龙去脉。

  • 06 | Shuffle管理:为什么Shuffle是性能瓶颈?

    今天我们用“工地搬砖的任务”来理解Shuffle及其工作原理。

  • 07 | RDD常用算子(二):Spark如何实现数据聚合?

    在数据分析场景中,典型的计算类型分别是分组、聚合和排序。

  • 08 | 内存管理:Spark如何使用内存?

    今天我们会借助施工过程的例子,一起来学习Spark的内存管理。

  • 09 | RDD常用算子(三):数据的准备、重分布与持久化

    今天要学的RDD算子,可以分别归类到数据生命周期的不同阶段。

  • 10 | 广播变量 & 累加器:共享变量是用来做什么的?

    今天我们将深入了解广播变量和累加器的用法。

  • 11 | 存储系统:数据到底都存哪儿了?

    想实现Shuffle管理、RDD Cache和广播变量,都离不开存储系统。

  • 12 | 基础配置详解:哪些参数会影响应用程序稳定性?

    今天这一讲,我们说一说Spark常用配置项如何使用。

  • 13 | Spark SQL:让我们从“小汽车摇号分析”开始

    我们用Spark SQL定量分析一下小汽车摇号倍率与中签率间的关系。

  • 14 | 台前幕后:DataFrame与Spark SQL的由来

    厘清Spark SQL与Spark Core的关系,有利于你构建系统化的知识体系和全局视角。

  • 15 | 数据源与数据格式:DataFrame从何而来?

    这一讲,我会从Driver、文件系统与RDBMS三个方面,为你讲解5种常见的DataFrame创建方式,然后带你了解不同方式的使用场景跟优劣分析。

  • 16 | 数据转换:如何在DataFrame之上做数据处理?

    有了DataFrame之后,我们该如何在DataFrame之上做数据探索、数据分析,以及各式各样的数据转换呢?在数据处理完毕之后,我们又该如何做数据展示与数据持久化呢?

  • 17 | 数据关联:不同的关联形式与实现机制该怎么选?

    今天,我会带你分别从关联形式和实现机制两个角度,理清Spark SQL当中数据关联的来龙去脉。

  • 18 | 数据关联优化:都有哪些Join策略,开发者该如何取舍?

    结合三种实现机制和两种数据分发模式,Spark SQL支持5种分布式Join策略。对于这些不同的Join策略,Spark SQL有着自己的选择偏好。

  • 19 | 配置项详解:哪些参数会影响应用程序执行性能?

    今天咱们说一说与Spark SQL有关的那些重要配置项。

  • 20 | Hive + Spark强强联合:分布式数仓的不二之选

    今天这一讲,你需要了解Spark与Hive常见的两类集成方式,Spark with Hive和Hive on Spark。两类集成方式各有千秋,适用场景各有不同。

  • 21|Spark UI(上):如何高效地定位性能问题?

    今天我们一起拿下Spark UI,看一看它有哪些关键的度量指标,这些指标都是什么含义,又能为开发者提供哪些洞察(Insights)。

  • 22|Spark UI(下):如何高效地定位性能问题?

    开发者可以通过Spark UI二级入口,获取更加丰富、详尽的内容,掌握更多度量指标。

  • 23 | Spark MLlib:从“房价预测”开始

    在这个模块中,我们首先从一个“房价预测”的小项目入手,初步了解机器学习以及Spark MLlib的基本用法。

  • 24 | 特征工程(上):有哪些常用的特征处理函数?

    提升模型效果的第一步,就是要做好特征工程。让我们看看Spark MLlib的开发框架下,都有哪些完善特征工程的方法。

  • 25 | 特征工程(下):有哪些常用的特征处理函数?

    今天这一讲,我们继续学习特征工程,说说剩下的离散化、Embedding与向量计算,最后还会对应用了6种不同特征工程的模型性能加以对比。

  • 26 | 模型训练(上):决策树系列算法详解

    Spark MLlib框架支持种类丰富的模型算法,我们会用三讲内容详细拆解。这一讲我们需要先搞清楚决策树、GBDT和RF这些前置知识。

  • 27 | 模型训练(中):回归、分类和聚类算法详解

    今天这一讲,我们会结合房屋预测场景,一起学习回归、分类与聚类中的典型算法在Spark MLlib框架下的具体用法。

  • 28 | 模型训练(下):协同过滤与频繁项集算法详解

    今天我们结合两个有趣的电影推荐场景,为你讲解Spark MLlib支持的协同过滤与频繁项集算法。

  • 29 | Spark MLlib Pipeline:高效开发机器学习应用

    Pipeline的核心优势在于提升机器学习应用的开发效率,并同时消除测试样本与训练样本之间不一致这一致命隐患。

  • 30|Structured Streaming:从“流动的Word Count”开始

    这一讲我们从一个可以迅速上手的实例开始,带你初步认识Spark的流处理框架Structured Streaming。

  • 31|新一代流处理框架:Batch mode和Continuous mode哪家强?

    今天我们将学习Structured Streaming中两种不同的计算模型——Batch mode与Continuous mode。掌握今天的内容,面对不同的流计算场景时你会更得心应手。

  • 32|Window操作&Watermark:流处理引擎提供了哪些优秀机制?

    今天我们一起看看Structured Streaming流处理引擎都为开发者都提供了哪些特性与能力,让你更灵活地设计并实现流处理应用。

  • 33|流计算中的数据关联:流与流、流与批

    数据关联应用广泛,我们要掌握不同类型数据关联的适用场景以及注意事项。

  • 34|Spark + Kafka:流计算中的“万金油”

    掌握Kafka与Spark的集成,对于想从事流计算方向的同学来说至关重要。

  • 用户故事 | 小王:保持空杯心态,不做井底之蛙

    无数次的经验告诉我们,偷过的懒都会加倍还回来。既然精进Spark是大数据工程师躲不掉的事情,那么咱们就踏踏实实、按部就班地学习、行动起来吧!

  • 结束语 | 进入时间裂缝,持续学习

    进入时间裂缝,持续学习,与君共勉。

  • 期末测试|来赴一场100分之约!

    满分? 单选 10 道 & 多选 10 道,快来挑战吧!

你将获得

  • 快速构建 Spark 核心知识体系
  • Spark 三大计算场景案例实操
  • 逐句注释的保姆级代码讲解
  • 在故事中搞懂 Spark 开发实战技巧

讲师介绍

吴磊,现任 Freewheel 机器学习研发经理,负责计算广告业务中机器学习应用的实践、落地与推广。他还曾任职于IBM、联想研究院、新浪微博,具备丰富的数据库、数据仓库、大数据开发与调优经验。

吴磊热爱技术分享,擅长使用轻松幽默的故事去解读枯燥的技术。曾于Spark中国峰会、AWS re:Invent分享大规模机器学习应用与落地经验,荣获AWS Machine Leanring Hero称号。他在InfoQ上发表过多篇文章,更是在今年3月份出品了《Spark性能调优实战》这个专栏,深入浅出、风趣幽默。

课程介绍

说到学习Spark,如果你对“Spark还有那么火吗?会不会已经过时了?”这个问题感到困惑,那大可不必。

因为经过十多年的发展,Spark已经由当初的“大数据新秀”成长为数据应用领域的中流砥柱,早已成为各大头部互联网公司的标配。比如,字节跳动、美团、Netflix等公司基于Spark构建的应用,在为公司旗下的核心产品提供服务。

这也就意味着,对于数据应用领域的任何一名工程师来说,Spark开发都是一项必备技能

虽然Spark好用,而且是大数据从业者的一门必修课,但对于入门这件事儿,却也面临着这样一些难题:

  • 学习资料多且杂,自己根本就梳理不出脉络,更甭提要构建结构化的知识体系了。
  • 学习Spark,一定要先学Scala吗?新学一门编程语言,真不是件容易的事儿。
  • Spark的开发算子太多,记不住,来了新的业务需求,又不知道该从哪里下手。
  • ……

那么,该如何解决这些问题,从而打开Spark应用开发的大门呢?

为此,我们邀请到了吴磊老师。他会结合自己这些年学习、应用和实战Spark的丰富经验,为你梳理一套零基础入门Spark的“三步走”方法论:熟悉Spark开发API与常用算子、吃透Spark核心原理、玩转Spark计算子框架,从而帮助你零基础上手Spark 。

这个“三步走”方法论再配合4个不同场景的小项目,吴磊老师会从基本原理到项目落地,带你深入浅出玩转Spark。

课程模块设计

结合Spark最常用的计算子框架,这门课设计为4个模块,它与“三步走”方法论的对应关系如下:

基础知识模块:从一个叫作“Word Count”的小项目开始,详细地讲解RDD常用算子的含义、用法与适用场景,以及RDD编程模型、调度系统、Shuffle管理、内存管理等核心原理,帮你打下坚实的理论基础。

Spark SQL模块:从“小汽车摇号”项目入手,带你熟悉Spark SQL开发API,为你讲解Spark SQL的核心原理与优化过程,以及Spark SQL与数据分析有关的部分,如数据的转换、清洗、关联、分组、聚合、排序,等等。

Spark MLlib模块:从“房价预测”这个小项目入手,带你了解Spark在机器学习中的应用,深入学习Spark MLlib丰富的特征处理函数和它支持的模型与算法,并带你了解Spark + XGBoost集成是如何帮助开发者应对大多数的回归与分类问题。

Structured Streaming模块:重点讲解Structured Streaming是怎么同时保证语义一致性与数据一致性的,以及如何应对流处理中的数据关联,并通过Kafka + Spark这对“Couple”的系统集成,来演示流处理中的典型计算场景。

课程目录

特别放送

免费领取福利

限时活动推荐

订阅须知

相关教程

Learnfk - JavaScript教程

Learnfk - Derby教程

Learnfk - Tcl/Tk教程

Learnfk - Python Web Scraping教程

Learnfk - Java教程

Learnfk - Spring Boot教程

随机推荐

晨光M&G文具10个装A4真的好吗!应该怎么样选择

妙记扑克精品扑克牌耐折耐打娱乐纸牌测评结果震惊你!来看下质量...

启初面霜宝宝霜儿童霜评测性价比高吗,优劣分析评测结果!

凯速健身跑步负重沙袋沙绑腿砂绑腿铁砂装KT2-3KG买前必看,全方位...

Keep缠绕式护腕最真实的图文评测分享!评测结果不看后悔

凯速双轮健腹器腹肌轮健腹轮滚轮PR05套装绿深度剖析测评质量好不...