- 課程詳情
- 學習評價(1)
- 上課校區(qū)(1)
培訓時長：2 天（15 課時）
課程介紹：
隨著人工智能技術的飛速發(fā)展，大模型成為了推動自然語言處理、圖像識別等眾
多領域創(chuàng)新的關鍵。然而，如何高效地在本地環(huán)境中部署這些大型模型，并根據(jù)
特定需求對其進行微調，成為了企業(yè)和研究機構面臨的重要挑戰(zhàn)。
本課程旨在為學員提供從理論到實踐的全面指導，幫助學員掌握大模型的本地部
署與微調技巧，從而能夠將先進的 AI 技術應用到實際場景中。
學員基礎：
? 具備一定的 Python 編程經(jīng)驗
? 對機器學習或深度學習有基本了解
? 了解常見的深度學習框架（如 TensorFlow、PyTorch）
? 已熟悉大模型相關基本概念
? 對云計算有一定認識，了解虛擬化、容器化等概念
學后收獲：
? 理解大模型的特點及其對硬件資源的需求
? 掌握多種大模型如 DeepSeek 的本地部署方法
? 學會使用不同的工具和框架對大模型進行微調
? 了解模型壓縮技術，提高模型效率
? 理解大模型的安全治理重要性及其實現(xiàn)方法
? 能夠獨立完成大模型的部署與微調項目
課程內容：
模塊 主要內容
大模型本地部署
? 本地部署基礎認知
? 為什么要進行本地部署
? 模型參數(shù)量與硬件資源
◆ 模型大小與計算資源的關系
◆ 不同規(guī)模模型的適用場景
? 環(huán)境準備
? 必要的軟件和庫安裝
◆ CUDA
◆ Python 虛擬環(huán)境
◆ Docker
◆ Pytorch
◆ Git
? 開發(fā)環(huán)境配置
模塊 主要內容
? Ollama 快速部署大模型
? Ollama 平臺介紹
? 一鍵部署流程
? 實戰(zhàn)練習：使用 Ollama 部署 DeepSeek R1 大模型
? vLLM 生產(chǎn)級部署大模型
? vLLM 框架概述
? 部署步驟解析
? 實戰(zhàn)練習：使用 vLLM 部署 DeepSeek R1 大模型
? 開源大模型應用開發(fā)平臺 Dify 本地部署
? Dify 平臺特性
? Dify 適用場景
? 實戰(zhàn)練習：基于 Dify 集成 DeepSeek
大模型微調
? 大模型訓練流程回顧
? 什么是模型微調
? 微調的基本概念
? 微調的重要性
模塊 主要內容
? 微調方法
? 全參微調適用場景與風險控制
? 主流 PEFT 技術對比（LoRA/QLoRA/Adapter/P-Tuning）
? 微調工具
? 流行的微調工具介紹
◆ Transformers
◆ MS-Swift
◆ Deep-Speed
◆ LLaMA-Factory
? 工具的選擇與使用
? 數(shù)據(jù)工程體系
? 模型壓縮（量化）
? 模型蒸餾
? 模型蒸餾的基本原理
? 模型蒸餾的應用場景
? DeepSeek 模型蒸餾的實現(xiàn)過程解析
模塊 主要內容
? 實戰(zhàn)：DeepSeek 模型蒸餾實踐
? 大模型安全治理
? 為什么要進行安全治理
? RLHF 技術全景（PPO/DPO/CPO）
? 微調模型評估
? 實戰(zhàn)
? 基于 Llama Factory 微調一個法律大模型
? 基于 DeepSpeed 大模型并行訓練框架 LoRA 微調實踐
? 基于 ms-swift LoRA 微調 Qwe*****1.5B 實踐
課后贈送拓展課程（錄播）
? 《Linux 快速入門》
? 《Docker 快速入門》
? 《華為昇騰硬件部署與微調大模型》
? 《基于 ComfyUI 本地部署 DeepSeek 開源多模態(tài)模型 Janus-Pro》
-
史*輝
2024.11.29課程實用性強，讓我的學習收獲很大。老師講解耐心仔細，專業(yè)水平高，我對此課程非常滿意。
報名課程：紅帽RHCE認證及實戰(zhàn)課程
報名學費： ￥2360
-
清華校區(qū)
地址：中關村大街
電話：400-029-0976 轉 **** 查看號碼
東方瑞通教育資深顧問馮老師
東方瑞通,IT職業(yè)認證+終身學習培訓服務 微信號：150******60
授課老師 更多
-
崔佳
計算機技術培訓
東方瑞通高級講師幽默、生動，層次感強，結構清晰，深入淺出，語言風格沉穩(wěn)和收斂;在PMP考前培訓的輔導方面具有獨到的方法，多年的運營商技術外包服務經(jīng)歷及央企和銀行信息化項目，積累了大量的授課經(jīng)驗，授課學員一次通過PMP率高。 詳細
-
韓梅
計算機技術培訓
東方瑞通高級講師韓梅老師十多年來一直從事IT方向的教學，同時為企業(yè)提供IT架構解決方案，具有豐富的教學及1T服務工作經(jīng)驗。在授課中將實際解決問題方案與理論相融合,教學風格深入淺出，易于理解吸收。 詳細
-
李鋼
計算機技術培訓
東方瑞通高級講師李老師有十年以上培訓和1T服務項目經(jīng)驗，資深講師。多年來一直從事培訓、IT服務及教案開發(fā)等工作。具有豐富的理論和實戰(zhàn)經(jīng)驗。曾為多家企業(yè)提供IT綜合解決方案，架構規(guī)劃，并得到企業(yè)一致好評。 詳細
關于我們 詳情
? ? ? 東方瑞通教育成立于1998年，起步于IT培訓，是中國與微軟、華為、SAP、Cirtix授權培訓合作伙伴；也是VMware、Redhat、Oracle、EXIN、思科等授權培訓合作伙伴，目前擁有18家國際IT原廠授權，也是國內規(guī)模大的Prometric、VUE授權考試中心。經(jīng)過20年的成長和積累，我們的培訓課程不僅涵蓋了IT全線產(chǎn)品，還包括眾多通用技能類培訓課程，從公開課到企業(yè)定制培訓，服務過的世界500強企業(yè)超350家，活躍學員達數(shù)十萬。? ? ?公司總部位于北京，2008年啟動上海全資子公司，之后陸續(xù)在天津、廣州、武漢、濟南、深圳、成都、重慶等地建立分部，全國各分公司共享講師資源，擁有統(tǒng)一的教學運營、質量監(jiān)管平臺，確保教學質量。并憑借此項優(yōu)勢，順利完成了眾多跨國企業(yè)為其在中國各地分支機構所訂購的批量授課委托，目前服務過的全球500強企業(yè)客戶已經(jīng)超過350家。? ? ?東方瑞通教育本著創(chuàng)新、誠信、勤奮、雙贏的經(jīng)營理念，為客戶打造了一個高品質的強大技術團隊，擁有多位專職講師，超過180位長期合作的簽約講師，所有講師均擁有廠商認證講師資質，IT 相關領域實踐工作經(jīng)驗平均 5 年以上，并且都具備超過 2000 課時的授課經(jīng)驗，技術實力和授課能力均得到客戶的高度認可。
