Spark核心原理与实战

Spark核心原理与实战 / 掌握亿级Spark数据分析之道

王磊

Yeahmobi大数据架构师,阿里云MVP

  • 课程目录
  • 课程介绍
  • 01 | 课程介绍

  • 02 | 内容综述

  • 03 | Spark简介及生态介绍

  • 04 | Spark原理及特点:模块概述+特点

  • 05 | Spark原理及特点:运行模式+集群组角色

  • 06 | Spark原理及特点:Spark作业运行流程

  • 07 | Spark的运行环境安装:Standalone入门实战

  • 08 | Spark的运行环境安装:YARN入门实战

  • 09 | Spark批处理做作业入门Demo

  • 10 | Spark流处理做作业入门Demo

  • 课程通知

你将获得

  1. 深入理解Spark内核原理;
  2. 熟练掌握Spark API及使用场景;
  3. 全面解析Spark性能调优方案;
  4. 快速搞定Spark ML机器学习实战。

讲师介绍

王磊老师是《offer来了:Java面试核心知识点精讲.原理篇》&《offer来了:Java面试核心知识点精讲.架构篇》两本书的作者,并且有着十余年丰富的物联网、大数据研发以及技术架构经验,对物联网及大数据的原理和技术实现有着深刻理解。长期从事海外项目的研发和交付工作,对异地多活数据中心的建设及高可用、高并发系统的设计,有丰富的实战经验。

课程介绍

Spark通过构建一个同时支持大数据和人工智能的统一数据分析平台,让大数据问题变得简单,让更多的公司和机构从大数据中获益。作为大数据中最受欢迎的分析工具,Spark博大精深,且发展迅速,它也影响改变着我们每个人的工作和生活。掌握Spark就是掌握了大数据时代的脉搏,对大数据开发工程师来说,掌握Spark可谓至关重要。

但是,如果不能很好的理解Spark背后的原理,就无法充分发挥Spark的功能特点。如何保障可扩展性和高效性是数据模型设计的关键,是学习Spark的难点之一。如何保证系统任务长期稳定,基于海量数据的任务调优,则是学习Spark的又一个关键难点。

本课程基于Spark 3.0.0版本,本着由易到难的设计思路,原理讲解与代码实战交替进行,避免大量原理显得枯燥乏味,也避免不了解原理的情况下进行太多的源码实战,从而仅仅成为一个Spark API使用者。无论你是刚开始学习Spark,还是有了几年的Spark开发经验,本课程都值得你去学习。学习之后你将全面掌握Spark内核原理、Spark资源调度、Spark离线计算、Spark流式计算、Spark任务调优、Spark机器学习等知识。在最后的章节还会介绍大数据的未来趋势相关技术,比如数据湖和AI。为你在未来决胜大数据计算打下坚实的基础。

课程目录

适合人群

学习本课程需要你对大数据基础概念有所了解;具备Scala语言基础,则更有助于理解课程内容。

订阅须知

相关教程

Learnfk - Numpy教程

Learnfk - C语言教程

Learnfk - Linux教程

Learnfk - Java 加密教程

Learnfk - 函数式编程教程

Learnfk - Git教程

随机推荐

七彩虹断剑C.A320M-KPRO评测下来告诉你坑不坑,评测比较哪款好

艾美特Airmate值得买吗?评测结果不看后悔

俊媳妇手摇动非电动压面机筋道擀面面条机质量真的好吗,全方位评...

唯卓仕DG-C近摄接圈佳能微距环转接环5DSR90D来看看买家说法,分析...

英氏儿童零食儿童夹心米饼评测解读该怎么选,质量值得入手吗

圆刚GC553高清USB告诉你哪款性价比高,使用感受