- 课程目录
- 课程介绍
-
在线阅读：开篇词｜大模型安全不是黑科技，是新的基本功
大模型安全是我们的必答题，不是为了安全而安全，而是为了让你的AI产品真正落地——落得下去，守得住场，撑得起责任。
-
在线阅读：课前热身｜10道题帮你测试 AI “安全分”
这十道热身题，不是为了考核你，而是帮助你发现盲点。如果你愿意，我们接下来的课程将逐一解答这些问题，并带你完成一场从感知、识别到体系建设的安全进阶之旅。
-
直播回放｜不想大模型“裸奔”?安全建设三步走!
1小时带你初步了解大模型安全问题，提升安全防范意识
-
01｜初识安全：如何理解大模型安全？
AI快速落地的今天，大模型安全绝不仅仅是一个边缘问题，很多企业认为购买大模型服务就能安全无忧，结果却遭遇意外的安全危机……
-
02｜模型机制：生成式大语言模型的运行逻辑全景图
其实大语言模型对我们来说就像一台黑箱子，它怎么理解你的话？它又是怎么一步步的生成回应？很多看似灵光一现的表现的背后，都可能蕴藏着安全风险。
-
在线阅读：03｜风险类型：8类高频安全威胁，你遇到几个？
这节课，我们就来聊一聊当前在大模型开发和使用中，明确的潜在威胁——最常见的8类高频安全威胁。
-
04｜安全架构：如何构建一个有边界的大模型系统？
这节课，我们就要进入大模型安全架构的主题，带你从整体系统视角思考，如果你是平台方、系统架构师或者模型集成开发者，该如何设计一个“有边界”的安全系统？
-
05｜提示注入攻防战（上）：大模型“听谁的”？
今天我们讲的是提示注入的具体攻击手法，你可以把这节课看作一次“攻击手法的模拟敌情分析”。
-
06｜提示注入攻防战（下）：反制机制与攻防演练
你可以把这节课当作一场反击演练：我们不再讨论攻击者怎么打，而是讲平台方怎么防。
-
07｜微调数据“投毒”与模型“后门”
今天这一节课，我们将走进另一个截然不同的攻击世界——从“对话输入”转向“训练数据”。
-
08｜模型“盗窃”与逆向算法攻击
今天我们要学习一种很容易被忽略的攻击方式，即模型被“悄悄复制”，能力被“逐步提取”。
-
09｜敏感信息防范：模型会“记住”用户隐私吗？
今天，我们将深入讨论一个关键但常被忽视的领域——个人可识别信息（PII）的保护。
-
10｜有害信息生成与公共信息风险
这一节我们要讲的，是大模型在生成文本过程中的一类“灰色行为”，它可能没有被攻击，也没有被越狱，但依然输出了危险、敏感或者令人困扰的信息。
-
11｜拒绝服务攻击：Prompt也能让模型宕机？
这一节课，我们就来深入拆解Prompt 是怎么“搞瘫”模型的？
-
12｜绕过安全防护的技术与挑战
我们今天要聊的是，那些表面已经安全的系统，攻击者是怎么绕过的？这些绕过方式有什么共同特点？我们又该如何识别它们？
-
13｜提示词过滤净化：第一道防线如何构建？
提示词如何被暴露？我们要怎么构建输入层的检测防线？又该如何净化提示结构、防止意图泄露……
-
14｜输出内容把关：如何精准识别违规生成？
大模型在“说出口”这一刻的最后一道关口——到底怎么知道它生成的东西“该不该说”？这是一个非常细微但非常关键的问题，因为它考验的是模型系统的判断力，而不是输出能力。
-
15 | 黄赌毒等内容治理：AI输出伦理边界谁来定？
今天我们要聊一个非常敏感但是也很关键的话题，就是大模型生成内容的伦理边界问题
-
16 | 舆情与品牌防护：防止模型“伤人伤己”
如果模型在没有事实依据的前提下，说出了对某品牌不利的信息、暴露了尚未发布的商业机密，甚至参与到舆情事件当中去，那我们到底应该追究谁的责任？又应该如何提前预防？
-
17｜对齐技术：RLHF、RLAIF与Constitutional AI与行为控制
这一节课我们要聚焦的主题就两个关键词，“行为控制”与“价值对齐”。也就是说，当我们希望大模型在遇到复杂、模糊、甚至灰色地带的问题时，依然能输出符合预期的响应风格。
-
18｜数据生命周期安全：从采集到销毁的全景管理
这一课，我们就来系统讲清楚数据从采集到销毁的过程里，如何构建“全生命周期”的安全机制，真正做到数据在云上也可控、可查、可追溯，确保你交出去的数据永远不会成为别人的免费训练集。
-
19｜安全运维：如何构建“大模型的SRE体系”
今天这节课，我们将聚焦一个非常关键但常常容易被忽视的课题：在大模型上线后，如何构建一套有效的运维与防御机制，也就是“大模型SRE体系
-
20｜红队测试与安全审计：主动发现比事后补救更重要
AI时代的安全和合规，从来都是“跑在前面”的那一批人最安全。这节课，我们将从安全事故应对、红队测试实践到日志审计和证据链建设入手，全面梳理合规取证的行业标准和工程实现路径。
-
21 | 聊天助手的安全挑战与越狱防护机制
你有没有想过，聊天助手这种看似无害的模型其实最容易越狱？
-
22｜编程助手如何防止代码注入与权限漏洞？
AI生成的代码真的安全么？虽然这个问题被反复提及，但很少有系统性的分析。
-
23｜搜索与问答系统如何识别“幻觉”与事实偏差
在搜索和问答场景里特别突出，幻觉更容易被误信，因为它披着知识的外衣，看起来特别像真话。
-
24 | 教育类产品中的儿童保护与内容审查机制
今天，我们就带你深入拆解，教育类大模型产品有哪些独特的风险点，又该如何构建儿童安全机制，守住内容与行为的底线。
-
25｜金融、医疗、政务行业部署私有大模型的安全要点
金融、医疗、政务三个行业在部署私有大模型时，都强调安全，但关键着力点有所不同。
-
26｜可解释性与审计：模型如何“自证清白”？
这节课我们将会讨论为什么大模型要做到“能解释、可追溯”，以及AI内容水印如何成为行业合规与安全的“底层能力”。
-
27｜融合模型的安全新维度
“融合模型”已经成为AI安全的新主战场，需要我们更加重视。这节课我们主要还是围绕**多模态模型**和**模型集成**两个主线展开。
-
28｜联邦学习与分布式安全机制
联邦学习这个词听起来挺高大上，但它的初衷其实特别朴素，就是“数据别乱动，模型自己动”。
-
29｜安全评估体系：怎么衡量“是否安全”？
这节课，我们就围绕“模型安全评估”这个核心问题，来看看大模型的安全到底该从哪些维度来衡量？目前有哪些权威评估基准可以参考？我们又能否自己搭建一套属于企业内部的模型安全评估体系？
-
30｜模拟提示注入与防御策略演练
这节课，是一次模拟攻击与响应的红蓝对抗演练，你也可以把它理解为是我们提示词防线的“实战测试”。
-
31｜构建简易版安全过滤器
如果我们真的想从工程的角度落地一个简易版安全过滤器，要从哪开始，又该做到什么程度才算够用？
课程介绍
干货分享 你将获得 系统提升大模型安全治理能力 8 类高频模型风险防御思路与手段 大模型安全攻防演练与案例剖析 即学即用的企业级安全实践指南 讲师介绍 课程介绍 在大模型应用的过程中，我们经常产生后面这些疑问：...干货分享
你将获得
- 系统提升大模型安全治理能力
- 8 类高频模型风险防御思路与手段
- 大模型安全攻防演练与案例剖析
- 即学即用的企业级安全实践指南
讲师介绍
课程介绍
在大模型应用的过程中，我们经常产生后面这些疑问：
- “我们项目用开源大模型接了RAG，但老板担心会出安全事故，怎么办？”
- “如果用户给模型输入不合规内容，模型会不会出事？”
- “我们想做一个To C的模型应用，怎么通过备案？”
- “我们接了行业私有数据，怎么保证模型不会把客户数据拿去训练？”
- “听说很多提示词被泄露后会被滥用，怎么保护好这些Prompt?”
- “提示词过滤器如何设计？”
- ……
为此，我们邀请了赵帅老师开设这门《大模型安全实战课》，分享这些年在实际项目中经历过的坑、踩过的雷，以及摸索总结出来的一套系统化的做法。帮助你从理论到实践，真正建立起一整套可落地的安全思路、技术手段和架构策略，让安全原则不仅仅停留在概念上，而是能在AI产品和平台设计中变成可执行的方案、可操作的流程，帮你打通真正的安全落地路线。
课程的知识导图如下。
模块设计
为了提升你的模型安全认知水平和实战落地能力，课程里一共设计了四个模块。
启航篇：对大模型安全建设建立系统、科学认知。认识大模型安全的本质与价值，模型的运行机制，识别高频的风险类型，了解大模型安全架构逻辑。
风险篇：针对大模型的高频风险，和你深入探讨“大模型被欺骗”（提示注入、上下文劫持、微调投毒等问题）“大模型被盗窃”（逆向攻击）“大模型说错话”（内容越界、隐私泄露）等诸多现实落地风险的判别和预防，帮你稳步提升“风险识别能力”。
防御篇：在深入理解风险的基础上，学习大模型安全的应对策略，掌握如何通过系统性设计手段构建大模型的“安全防线”。围绕“输入-处理-输出”这一工作流程，我们将学习包括 Prompt 过滤、上下文权限隔离、内容输出拦截与标识、审计日志回溯等在内的核心机制，同时进一步引入如RLHF（强化学习人类反馈）、宪法式 AI、红队测试、系统提示对齐等业界主流安全机制。
企业篇：将安全从“原理”与“机制”层面，进一步推进到“场景实践”的维度。我们将结合真实案例来加强自己的“安全落地工程”的实战能力。这一章精选了多个代表性的具体业务场景，让你掌握如何在具体产品（聊天类助手、编程类助手、教育、金融、医疗、政务等行业智能体）中实现“因地制宜”的模型安全控制。
课程目录
适合人群
