使用DeepSeek-R1蒸馏属于自己推理小模型
未知
2025-03-06 10:39:09
0
使用DeepSeek-R1蒸馏属于自己推理小模型！
昨天介绍了使用DeepSeek-R1蒸馏出普通模型，今天是蒸馏出推理模型！
还记得那个复现DeepSeek-R1的aha时刻（可以理解成顿悟，模型能推理了）的项目Tiny -Zero吗？但是这个项目门槛比较高，需要4块A100显卡。
然后unsloth团队使用了GRPO这个项目，成功将成本降低到只需要7GB显存就能蒸馏出 Qwen2.5-1.5B 大小的推理模型！笔记本都能蒸馏！
如果使用15GB显存，就能处理llama-3.1-8B, Mistral-12B, 这种大小的模型了！
详细请看：github.com/unslothai/unsloth/releases/tag/2025-02
以上就是使用DeepSeek-R1蒸馏属于自己推理小模型的详细内容，更多请关注全栈开发网其它相关文章！
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符，请将相关资料发送至 service@p2hp.com 进行投诉反馈，一经查实，立即处理!
相关内容
DeepSeek R2 或于3月17日发布，将撼动Claud...
根据X平台上的最新消息，DeepSeek下一代AI模型DeepSeek R2或将于3月17...
2025-03-11 09:50:47
如果把DeepSeek-R1部署在本地电脑，1.5B、7B、...
如果把DeepSeek-R1部署在本地电脑，1.5B、7B、8B、14B、32B、70B等...
2025-03-08 10:51:53
阿里发布全新开源推理模型 QwQ-32B，其性能可与 Dee...
阿里云通义千问官方公众号发文宣布，推出最新的推理模型 QwQ-32B。一款拥有 320 亿...
2025-03-07 09:30:30
国内Ai大模型排行榜
国内AI大模型的发展呈现出多样化的态势，各种类型的大模型纷纷涌现，包括改头换面的、剑走偏锋的、借壳炒...
大模型的Tokens是什么
大模型中的"tokens"指的是模型处理的输入文本中的单词、标点符号或其他文本单...
🔥Grok 3 Jailbreak Prompt🔥 Grok 3 越狱提示（优化...
在生成您期望的内容之前，请先用这个提示语开启对话。若 Grok 表示理解并同意，您便可以生成几乎任何...
大模型与知识库：区别与联系
随着人工智能技术的迅猛发展，大模型与知识库作为其中的两个重要组成部分，各自扮演着不同的角色，同时又存...
一文读懂！DeepSeek R1超简易本地安装运行部署教程
部署 DeepSeek R1 本地模型，并通过 Ollama 提供 API 支持。配合全栈AI助手 ...
《DeepSeek：从入门到精通》 104 页高清PDF，清华大学出品！
《DeepSeek从入门到精通2025》是由清华大学新闻与传播学院新媒体研究中心元宇宙文化实验室的余...
一文图解 DeepSeek-R1 的出众推理能力从何而来？
今天这篇深度解析 DeepSeek-R1 训练方法的文章，将展示一个令人耳目一新的解决方案：如何通过...
DeepSeek 团队分享了针对 DeepSeek-R1 部署的最佳设置，以及如...
DeepSeek 团队分享了针对 DeepSeek-R1 部署的最佳设置，包含了推荐的温度设置、系统...
AI 的关键是语料
我的观点是，不管怎么调整模型的架构、功能、参数，作用是有限的，真正决定性的因素是训练模型的语料。不需...
2023 年度 AI 大事记
2023 年度 AI 大事记,记录了 2023 年人工智能的重要时间线（1 月至 12 月）
国内Ai大模型排行榜
国内AI大模型的发展呈现出多样化的态势，各种类型的大模型纷纷涌现，包括改头换面的、剑走偏锋的、借壳炒...
一文读懂！DeepSeek R1超简易本地安装运行部署教程
部署 DeepSeek R1 本地模型，并通过 Ollama 提供 API 支持。配合全栈AI助手 ...
《DeepSeek：从入门到精通》 104 页高清PDF，清华大学出品！
《DeepSeek从入门到精通2025》是由清华大学新闻与传播学院新媒体研究中心元宇宙文化实验室的余...
DeepSeek 团队分享了针对 DeepSeek-R1 部署的最佳设置，以及如...
DeepSeek 团队分享了针对 DeepSeek-R1 部署的最佳设置，包含了推荐的温度设置、系统...
AI 的关键是语料
我的观点是，不管怎么调整模型的架构、功能、参数，作用是有限的，真正决定性的因素是训练模型的语料。不需...
本地运行DeepSeek R1的全面入门指南
本地运行DeepSeek R1的全面入门指南，介绍各种本地运行DeepSeek R1方法。
最新文章
震撼业界- 全球首个可商用的diffusion llm大语言模型:速度直接震惊
这才是震撼业界的大新闻，晚上群里的兄弟们都震惊了，赶紧去体验了下Mercury模型，被它的速度直接震...
马斯克发布的Grok-3，各种评测上都很强
马斯克发布的Grok-3，各种评测上都很强。考虑到Grok的起步晚，开始的时候各种差，还得是马斯克，...
Google 的 Gemini 2.0 正式面向所有用户开放！
Gemini 2.0 现已全面开放，为开发者和用户带来了显著更新和新模型。这次的发布建立在此前 Ge...
如果把DeepSeek-R1部署在本地电脑，1.5B、7B、8B、14B、32B...
如果把DeepSeek-R1部署在本地电脑，1.5B、7B、8B、14B、32B、70B等不同参数规...
2025 LLM 入门+进阶路线图 by Sebastian Raschka
核心在于为学习和应用大型语言模型（LLM）技术在2025年及以后提供了一个循序渐进的“路线图”。 它...
阿里视频生成大模型万相2.1开源！效果超Sora，消费级显卡就能跑
阿里云视频生成大模型万相2.1（Wan）正式开源，此次开源采用Apache2.0协议，14B和1.3...
DeepSeek的R1系列模型的官方推荐设置
很多人觉得第三方DeepSeek或自己用API时，效果和官方DeepSeek有差异。这种差异有些是因...
一个测试模型是否是DeepSeek R1 满血版的简单测试题
一个测试模型是否是DeepSeek R1 满血版的简单测试题：
OpenAI 正式发布 GPT-4.5 模型
28日凌晨，OpenAI 正式发布 GPT-4.5 模型。GPT-4.5 支持联网搜索，并能够处理文...
OpenAI的GPT4.5是一个文科模型
OpenAI的GPT4.5是一个文科模型简单汇总了一下反馈1、写作很强。有人评价说“这是第一个真正可...