- 课程目录
- 课程介绍
-
在线阅读：开篇词｜在存量竞争时代，充分挖掘数据的价值
在存量竞争的时代，如何充分挖掘数据的价值，如何用数据驱动业务增长，这不仅是技术问题，更是战略问题。
-
直播回放｜大模型时代，大数据应用跃迁指南
在技术快速演进背景下，数据价值创造的核心主线依然稳固，而实现手段正经历跃迁式变革。
-
在线阅读：01｜架构设计：一个典型的大数据系统的架构设计是怎么样的？
与任何技术系统的设计一样，只有先明确了目标，我们才能根据目标的约束，对方案进行取舍与权衡，最终确定技术设计。
-
02｜数据采集（上）：优秀数据采集方案的设计标准
没有高质量的数据采集环节，采集的数据不够全面、不够准确，那么不论后续的处理技术多么先进，也无法从数据中获得有用的价值。
-
03｜数据采集（下）：不同类型数据采集的技术方案
这节课我们会针对主要的数据类型，来学习每类数据分别应该采用什么样的技术方案进行采集。
-
04｜接入与传输：成本、可靠性、时效性与安全合规应如何平衡？
今天我们来探讨数据接入和传输这两部分的设计思路与实现方案。在整个讨论过程中，我们都会在成本、可靠性、时效性方面做权衡。
-
05｜数据存储：容量、性能与成本应如何取舍？
我们在进行存储方案设计的时候，不仅要在容量、成本、性能三方面仔细权衡做取舍，还要充分考虑未来技术发展，尽可能选择有技术前瞻性的主流技术方案……
-
06｜数据计算：响应速度、灵活性与使用难度如何适配？
每一种计算引擎，在设计上，都是有所折衷的，这种折衷体现在响应速度、灵活性和使用难度这三个方面……
-
07｜云原生（上）：云原生选型是否能够降本增效？
今天我们先讨论一下，什么是云原生大数据，以及在做云原生大数据设计时应该考虑哪些问题。
-
08｜云原生（下）：如何因地制宜地应用云原生技术？
这节课我们来看看在是否“上云”的决策中，有哪些关键的评估维度。最后，我还会给你分享一个真实案例，帮助你进一步了解云原生技术应用如何去权衡。
-
09｜信创需求也是重要的业务需求
坦然接受信创这个需求，努力用最优雅的方案来解决，并且从中挖掘出对自己职业生涯有利的机会，才应该是正确的态度。
-
10｜数仓、数据湖与湖仓一体：如何做出正确的选择
今天我们会从数据治理的视角，讨论数据湖与数仓，讨论如何构建一个有序、高效的数据体系。
-
11｜元数据管理与数据分层：让数据资产从混沌到有序
今天这节课，我们就来深入讨论如何通过元数据管理和数据分层，让企业的数据资产从混沌走向有序。这两个概念虽然听起来比较抽象，但它们是数据治理中最基础也是最重要的工作。
-
12｜数据模型：从业务需求到数据结构的“翻译器”
数据模型可以把模糊的业务语言翻译成精确的数据结构。没有它，业务和技术就像在用两种语言对话，永远说不到一起。
-
13｜ETL：让数据从“原始”到“可用”
ETL 是数据治理中最重要的环节，也是数据从“原始”到“可用”的必经之路。数据模型再完美，如果 ETL 做不好，数据就无法准确、及时地流转到该去的地方。
-
14｜数据质量：从问题到体系构建，质量管理的全流程
这节课，我们会学习数据质量的六个维度，探讨数据治理管控的核心理念，还会拆解整个质量管理体系的落地与技术实践。
-
15｜数据血缘：数据系统不可或缺的核心链路
数据血缘不是可有可无的辅助功能，而是数据系统不可或缺的核心能力。就像人体的神经系统，它让数据系统具备了“感知”和“反应”的能力。
-
16｜资源调度：有限的资源如何让所有用户都满意？
但是，即使有了完善的数据血缘体系，如果资源调度出现问题，整个数据系统依然无法正常运转。今天，我们就来讨论数据平台治理中的另一个关键问题——资源调度。
-
17｜house keeping：如何让一个大数据系统持续可用
今天，我们就来讨论如何通过 house keeping，让一个大数据系统持续可用。
-
18｜合规与安全：让CIO踏实睡好觉
接下来的内容中，我会交织讨论合规与安全这两个维度的要求，让你能够建立一个全面的、立体的安全合规体系。
-
19｜BI：基于数据做决策，大数据系统的“默认应用”
我们将讨论基于大数据系统，可以构建哪些典型的应用产品，这些产品应该如何设计与实现。今天这节课，我们从 BI（商业智能，Business Intelligence）开始。
-
20｜用户行为分析：最高价值密度的数据决策洞察
在这节课中，我们将顺着数据分析这条线路，学习了如何在用户行为分析领域，开发特化的分析产品。
-
21｜CDP（上）：并不是人人都需要一个CDP
这节课，我想和你探讨——CDP 到底是什么，它的核心能力是什么？什么样的企业需要 CDP，什么样的企业不需要？
-
22｜CDP（下）：如何构建一个 CDP 系统
今天这节课，我们继续深入，来聊聊如何从零构建一个 CDP 系统。
-
23｜智能营销系统：从“广撒网”到“精准触达”的技术驱动逻辑
今天这节课，我们就来聊聊如何通过智能营销系统，实现从数据洞察到业务行动的闭环。
-
24｜广告与推荐系统：数据不光可以驱动决策也可以直接驱动业务
今天我们要讨论的广告与推荐系统，是“数据直接驱动业务”的典型场景，每天产生数亿次决策，每一次决策都直接影响用户体验和商业收入，创造真金白银的商业价值。
-
25｜非结构化数据处理：大模型带来的增量能力
今天这节课，我们就来讨论大模型如何赋能非结构化数据处理，这是大模型给大数据领域带来的最重要的增量能力之一。
-
26｜关于Data Agent的非共识：噱头、降低门槛、提效工具还是颠覆传统？
今天这节课，我们继续探讨大模型对大数据行业的影响，聊一聊 Data Agent 这个热门话题。
-
27｜从工具到效果：对这个行业共识的一些思考与探索
Data Agent 对于大数据的商业模式，可能带来哪些变革？
-
在线阅读：28｜为大模型准备数据：数据依然是最重要的生产要素
在大模型的浪潮中，很多人关注算法的创新，关注算力的提升，关注各种新奇的应用场景，但往往忽略了一个最基础、也最关键的要素，那就是数据。
-
用户故事｜ 永不满足的追求，是我们前进的动力
我想和你分享些这几个月学习来的感悟，希望也可以激励正在学习中的你。
-
结束语｜在这个变化的时代依然有一些东西没有改变
大模型不是替代传统大数据系统，而是让数据的价值创造方式更加多元。
-
结课测试｜来赴一场满分之约！
为了帮你检验自己的学习成果，我特意准备了一套结课测试题，快来挑战吧！
课程介绍
你将获得 曹犟首次大数据应用方法论分享 五类典型的大数据应用实例剖析 数据质量管理和数据治理的最佳实践 大模型与大数据结合的前沿洞察 AI 时代的数据从业者成长指南 讲师介绍 课程介绍...你将获得
- 曹犟首次大数据应用方法论分享
- 五类典型的大数据应用实例剖析
- 数据质量管理和数据治理的最佳实践
- 大模型与大数据结合的前沿洞察
- AI 时代的数据从业者成长指南
讲师介绍
课程介绍
- 不清楚要解决什么具体的业务问题，盲目追求技术的先进性，做出了错误的技术选型。
- 缺少对整个大数据系统的全局设计思维，各个组件之间配合不好，技术架构上存在问题。
- 忽视了数据质量的重要性，导致最终的数据应用结果不可信。
- 采用整风式的方式实施项目，忽略了系统和数据流的长期可维护性，导致系统上线运行几年之后就不可用。
- 没有考虑合规和安全要求，在巨大的风险之下，后期不得不推倒重来。
- 面对大模型之类的新技术，不知道如何与现有体系结合。
问题的根源不在技术，而是缺少一套从业务需求出发的系统性方法论。为此，我们邀请了在大数据领域深耕多年的曹犟老师为你带来这门《大数据应用实战课》，帮助你建立大数据应用的系统性思维，让你这个数据驱动的时代脱颖而出。
结合大数据实际应用中的挑战和前沿技术的进展，课程划分为四个部分。
第一章 大数据系统架构设计
带你学习一个典型的大数据应用系统应该如何进行架构设计和实现。数据的采集、接入、传输、存储、计算等各个环节中，应该如何进行技术选型和设计，有哪些踩坑点。同时，也会讨论信创与云原生的话题。
第二章 数据与平台治理
这部分会针对一个大数据系统建设过程中，最重要的数据处理、元数据管理、ETL、数据质量和血缘等话题。此外，我们还会学习考虑监控、报警、资源管理和调度以及安全合规等话题。
第三章 典型应用场景与大数据产品的设计
结合作者多年来服务上千家客户的实际经验，帮你熟悉典型的用大数据技术来解决的业务场景，以及对应的产品应该如何设计与实现。这些产品包括用户行为分析系统、用户数据平台、自动化营销、广告和个性化推荐系统等。
这部分内容将为你展示，数据如何在业务的方方面面都是能够发挥价值的，也希望当你在碰到具体的应用场景时，能够直接上手参考。
第四章 大模型与大数据
此时此刻，大模型技术正在成为各行各业的最大技术变量，大数据行业也不例外。这个部分一方面会跟你分享大模型技术对于大数据应用的颠覆式影响，一方面也会反过来讨论如何构建数据基建来服务于大模型。
课程目录
适合人群
