課程背景

隨著人工智能技術(shù)的快速發(fā)展，智能助手（如DeepSeek-V3）在多模態(tài)理解、個(gè)性化交互、知識(shí)推理等領(lǐng)域的應(yīng)用日益廣泛。DeepSeek-V3作為深度求索公司推出的第三代智能助手，憑借其先進(jìn)的核心技術(shù)（如大規(guī)模預(yù)訓(xùn)練、多模態(tài)理解、上下文感知等），在智能客服、內(nèi)容創(chuàng)作、教育、醫(yī)療等領(lǐng)域展現(xiàn)了強(qiáng)大的潛力。

然而，要將DeepSeek-V3的能力充分發(fā)揮并應(yīng)用于實(shí)際業(yè)務(wù)場(chǎng)景，不僅需要深入理解其核心技術(shù)原理，還需要掌握本地部署和微調(diào)的方法，以滿足特定領(lǐng)域或企業(yè)的定制化需求。為此，本課程旨在幫助學(xué)員系統(tǒng)學(xué)習(xí)DeepSeek-V3的核心技術(shù)原理，并通過實(shí)操掌握本地部署和微調(diào)的技能，從而提升在實(shí)際項(xiàng)目中的應(yīng)用能力。

課程收益

1. 深刻理解DeepSeek-V3的核心技術(shù)原理

· 掌握DeepSeek-V3的架構(gòu)設(shè)計(jì)、多模態(tài)理解、上下文感知、知識(shí)圖譜等核心技術(shù)。

· 掌握大規(guī)模預(yù)訓(xùn)練模型（如Transformer）的工作原理及其在DeepSeek-V3中的應(yīng)用。

2. 掌握DeepSeek-V3的本地部署方法

· 學(xué)習(xí)如何搭建適合DeepSeek-V3運(yùn)行的本地環(huán)境（包括硬件配置、依賴庫安裝等）。

· 掌握DeepSeek-V3的本地部署流程，包括模型加載、服務(wù)啟動(dòng)和接口調(diào)用。

· 掌握如何優(yōu)化部署性能，以支持高并發(fā)和低延遲的應(yīng)用場(chǎng)景。

3. 學(xué)會(huì)DeepSeek-V3的微調(diào)與定制化

· 掌握如何利用領(lǐng)域數(shù)據(jù)對(duì)DeepSeek-V3進(jìn)行微調(diào)，以提升其在特定任務(wù)中的表現(xiàn)。

· 學(xué)習(xí)微調(diào)過程中的關(guān)鍵技術(shù)，包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練、參數(shù)調(diào)優(yōu)等。

4. 提升實(shí)際項(xiàng)目中的應(yīng)用能力

· 通過實(shí)戰(zhàn)案例，學(xué)習(xí)如何將DeepSeek-V3應(yīng)用于智能客服、內(nèi)容生成、知識(shí)問答等場(chǎng)景。

課程時(shí)間 2天

課程大綱

第一天課程：DeepSeek-V3/R1核心技術(shù)架構(gòu)和訓(xùn)練過程

上午課程

第一部分 DeepSeek-V3的架構(gòu)創(chuàng)新：訓(xùn)練GPU和成本均低，但效果卓越

1.1 V3風(fēng)靡海內(nèi)外的關(guān)鍵因素：訓(xùn)練成本極低、引領(lǐng)前沿創(chuàng)新

1.1.1 V3訓(xùn)練成本：所用的GPU訓(xùn)練資源僅為Llama 3.1 405B的差不多1/14

1.1.2 在國內(nèi)也能引領(lǐng)世界級(jí)前沿

1.2 模型架構(gòu)：MLA、負(fù)載均衡的MoE、Multi-Token預(yù)測(cè)

1.2.1 多頭潛在注意力

1.2.2. 無輔助損失的負(fù)載平衡 DeepSeekMoE

1.2.3 多token預(yù)測(cè)：Multi-Token Prediction顯著加快模型的解碼速度

第二部分 DeepSeek-V3基礎(chǔ)設(shè)施層面的創(chuàng)新：FP8 訓(xùn)練等

2.1 訓(xùn)練框架(含GPU的內(nèi)部結(jié)構(gòu)示意圖)

2.1.1 雙管道DualPipe與計(jì)算-通信重疊

2.1.2 跨節(jié)點(diǎn)全對(duì)全通信的高效實(shí)現(xiàn)：通過PXT連接CUDA和底層GPU硬件

2.1.3. 極致內(nèi)存節(jié)省與最小開銷

2.2 FP8訓(xùn)練：雖算的快 但精度不夠，故需提高精度

2.2.1 混合精度框架

2.2.2. 通過量化和乘法提高精度

2.2.2 低精度存儲(chǔ)和通信：降低內(nèi)存和通信開銷

2.3 推理與部署

2.3.1 預(yù)填充

2.3.2 解碼

2.4 硬件設(shè)計(jì)建議

下午課程

第三部分 DeepSeek-V3的預(yù)訓(xùn)練與后訓(xùn)練

3.1 預(yù)訓(xùn)練

3.1.1 數(shù)據(jù)構(gòu)建：提高數(shù)學(xué)、編程、多語言樣本，最終14.8T語料

3.1.2 超參數(shù)

3.1.3 長上下文擴(kuò)展

3.1.4 評(píng)估與討論

3.2 訓(xùn)練后處理：透露了大半后來引爆全球的R1正式版訓(xùn)練流程

3.2.1 監(jiān)督微調(diào)

3.2.2 強(qiáng)化學(xué)習(xí)：涉及獎(jiǎng)勵(lì)模型和GRPO

3.2.3 評(píng)估與討論：關(guān)于DeepSeek-R1提煉與多token預(yù)測(cè)

第四部分 DeepSeek R1：如何通過純RL訓(xùn)練大模型的推理能力

4.1 提出背景與相關(guān)工作

4.1.1 R1-Zero的提出背景：無需人類數(shù)據(jù)，從零實(shí)現(xiàn)自我迭代

4.1.2 R1的提出背景：解決Zero可讀性差等問題

4.2 DeepSeek-R1-Zero：規(guī)則驅(qū)動(dòng)的大規(guī)模RL訓(xùn)練，無冷啟動(dòng)、無SFT

4.2.1 RL算法GRPO：不需要critic

4.2.2 規(guī)則獎(jiǎng)勵(lì)建模(準(zhǔn)確率獎(jiǎng)勵(lì) + 格式獎(jiǎng)勵(lì))：不用訓(xùn)練專門的獎(jiǎng)勵(lì)模型RM

4.2.3 訓(xùn)練模板：通過prompt讓Zero啟動(dòng)深度思考的推理模式

4.2.4 Zero的性能、自我進(jìn)化過程和頓悟時(shí)刻

4.3 DeepSeek-R1：先冷啟動(dòng)數(shù)據(jù)SFT 再RL，之后再SFT 再RL

4.3.1 階段一 冷啟動(dòng)(主要關(guān)注推理)：通過R1-Zero生成數(shù)千條長CoT數(shù)據(jù)

4.3.2 階段二 面向推理的GRPO RL：類似Zero的規(guī)則獎(jiǎng)勵(lì)，但增加語言一致性獎(jiǎng)勵(lì)

4.3.3 階段三 V3上的的兩輪SFT(結(jié)合rejection sampling)：涉及80w通用層面的推理和非推理數(shù)據(jù)

4.3.4 階段四 所有場(chǎng)景的RL：提高有用性和無害性，且混合規(guī)則獎(jiǎng)勵(lì)和偏好獎(jiǎng)勵(lì)

4.4 蒸餾：賦予小模型推理能力

4.5 一些經(jīng)驗(yàn)總結(jié)：成功和失敗的經(jīng)驗(yàn)分析總結(jié)

第二天課程：DeepSeek本地部署和微調(diào)案例實(shí)操

上午課程

第五部分 本地部署準(zhǔn)備工作：各個(gè)版本、推理框架、硬件資源

5.1 DeepSeek-R1的多個(gè)版本：加上2個(gè)原裝671B的，總計(jì)8個(gè)參數(shù)版本

5.2 主流的大模型推理框架：分為PC端和Android端

5.3 不同參數(shù)的模型所要求的硬件

5.4 蒸餾版和滿血版的兩類部署

第六部分 通過Ollama、vLLM本地部署DeepSeek-R1蒸餾版：支持聯(lián)網(wǎng)搜索及知識(shí)庫問答

6.1 基于Ollama和各類插件構(gòu)建智能對(duì)話：終端、open-webui(支持聯(lián)網(wǎng))、Chatbox

6.1.1 Ollama下的終端命令行交互

6.1.2 Ollama下的open-webui交互：基于docker安裝，且支持聯(lián)網(wǎng)搜索

6.1.3 基于Ollama + ChatBox部署deepseek-r1:7b

6.2 基于Ollama和Page Assist/AnythingLLM構(gòu)建本地知識(shí)庫問答系統(tǒng)

6.2.1 基于Ollama + Page Assist搭建本地知識(shí)庫問答系統(tǒng)：且支持聯(lián)網(wǎng)搜索

6.2.2 基于Ollama + AnythingLLM搭建本地知識(shí)庫問答

6.3 通過vLLM推理deepseek-r1

6.3.1 基于vLLM的命令行交互——R1-Distill-Llama-8B

6.3.2 基于vllm + open WebUi 部署r1 7b

6.4 本地手機(jī)端部署DeepSeek-R1蒸餾Llama/Qwen后的版本

下午課程

第七部分 無蒸餾前提下本地部署R1 or R1-Zero 671B滿血版

7.1 折中路徑：無蒸餾但量化部署Deepseek-R1 671B滿血版

7.1.1 本地CPU上運(yùn)行 Deepseek-R1 的完整的硬件 + 軟件設(shè)置

7.1.2 GPU上跑無蒸餾但量化的Deepseek-R1 671B滿血版

7.2 企業(yè)級(jí)部署：無蒸餾不量化部署Deepseek-R1 671B滿血版

專利和文獻(xiàn)：

深度學(xué)習(xí)國際發(fā)明專利

1) 基于深度學(xué)習(xí)的圖像檢索方法及裝置，專利公開公告號(hào)：CN107368614A。專利類型：發(fā)明公布。發(fā)明人：周紅偉;李凱;任偉;李慶;郭奇杰;周楊;劉川郁

2) Simulation model and droplet ejection performance of a thermal-bubble microejector，Hongwei Zhou，A.M.Gué，Sensors and Actuators B: Chemical Volume 145，Issue 1，4 March 2010，Pages 311-319

3)Simulation Bubble Nucleation and Bubble Growth of a Thermal Bubble Microejector,Hongwei Zhou，A.M.Gué，Excerpt from the Proceedings of the COMSOL Conference 2009 Mila