
DeepSeek,是国内一家AI初创公司,发布的全新一代大模型“DeepSeek-V3”,在国内外社交媒体上引起了广泛关注。与此同时,他们还开源了性能媲美OpenAI o1的推理模型“DeepSeek-R1”,这一举措在AI爱好者圈子中迅速传播,并获得海外网友的高度评价。
DeepSeek-V3采用了自研的混合专家(MoE)架构,拥有6710亿参数,在多个评测中表现出色,超越了其他开源模型,并与全球顶尖的闭源模型如GPT-4o和Claude-3.5-Sonnet相媲美。
Your First API Call | DeepSeek API Docs
更值得关注的是,DeepSeek-R1的开源。该模型在后训练阶段大量使用了强化学习技术,即使在仅有极少标注数据的情况下,也显著提升了模型的推理能力。在数学、代码和自然语言推理等任务上,DeepSeek-R1的性能可与OpenAI o1正式版相媲美。
DeepSeek的这一系列举措,不仅展示了中国AI初创公司的技术实力,也为全球AI社区带来了新的活力。他们的开源策略,特别是对DeepSeek-R1的开放,促进了技术社区的交流与合作,推动了AI技术的进一步发展。
总的来说,DeepSeek通过技术迭代与升级,成功推出了DeepSeek-V3和开源的DeepSeek-R1,展示了其在AI领域的创新能力。这些举措在国内外社交媒体上引发了热烈讨论,获得了广泛的认可和赞誉。
模型优势
- 开源免费:DeepSeek-R1 的开源策略使得开发者可以自由获取和使用模型,降低了进入人工智能领域的门槛。
- 性能卓越:经过技术迭代与升级,DeepSeek-R1 展现了强大的自然语言处理能力,能够胜任多种任务。
- 本地部署:支持在本地环境中运行,确保数据的安全性和隐私性,同时避免了对外部服务器的依赖。
本地部署
1、通用Docker部署
以下是通过 Ollama 工具在本地部署 DeepSeek-R1 模型的详细步骤:
环境准备
- 操作系统:确保您的计算机运行 Windows、macOS 或 Linux 操作系统。
- 硬件要求:建议至少具备 16GB 内存和支持 CUDA 的 GPU,以获得最佳性能。
安装 Docker
Ollama 基于 Docker 运行,因此需要先安装 Docker。
- Windows 和 macOS:前往 Docker 官方网站 下载并安装 Docker Desktop。
- Linux:请参考 Docker 官方文档 进行安装。
安装 Ollama
Ollama 是一个用于管理和运行大型语言模型的工具。
- 下载 Ollama:访问 Ollama 官方网站 获取最新版本的安装包。
- 安装 Ollama:按照官方网站提供的安装指南进行安装。
下载 DeepSeek-R1 模型
使用 Ollama 下载并配置 DeepSeek-R1 模型。
- 打开终端或命令行界面。
- 运行以下命令:
ollama pull deepseek-r1
此命令将从官方仓库拉取 DeepSeek-R1 模型。
运行模型
模型下载完成后,可以使用以下命令启动 DeepSeek-R1:
ollama run deepseek-r1
此时,您可以在本地与模型进行交互,执行各种自然语言处理任务。
注意事项
- 资源消耗:运行大型语言模型可能会占用大量系统资源,建议在性能较高的计算机上进行部署。
- 模型更新:定期检查 DeepSeek 和 Ollama 的官方渠道,获取最新的模型版本和更新信息。
- 社区支持:加入相关的技术社区,与其他开发者交流经验,获取技术支持。
通过上述步骤,您可以在本地成功部署 DeepSeek-R1 模型,充分利用其强大的自然语言处理能力,为您的项目增色。
2、Ollama+浏览器插件部署
a、安装 Ollama
Ollama 是一个用于管理和运行大型语言模型的工具。
- 下载 Ollama:访问 Ollama 官方网站 获取最新版本的安装包。
- 安装 Ollama:按照官方网站提供的安装指南进行安装。
b、下载 [Page Assist – 本地 AI 模型的 Web UI]浏览器插件
c、安装命令
1.5B Qwen DeepSeek R1
ollama run deepseek-r1:1.5b
7B Qwen DeepSeek R1
ollama run deepseek-r1:7b
8B Llama DeepSeek R1
ollama run deepseek-r1:8b
14B Qwen DeepSeek R1
ollama run deepseek-r1:14b
32B Qwen DeepSeek R1
ollama run deepseek-r1:32b
70B Llama DeepSeek R1
ollama run deepseek-r1:70b
更多模型下载
DeepSeek-R1
模型 | #总参数 | #已激活参数 | 上下文长度 | 下载 |
---|---|---|---|---|
DeepSeek-R1-Zero | 671B | 37B | 128千 | 🤗 HuggingFace |
DeepSeek-R1 | 671B | 37B | 128千 | 🤗 HuggingFace |
DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 进行训练。有关模型架构的更多详细信息,请参阅DeepSeek-V3存储库。
DeepSeek-R1-Distill 模型
模型 | 基础模型 | 下载 |
---|---|---|
DeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5-Math-1.5B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-7B | Qwen2.5-Math-7B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Llama-8B | Llama-3.1-8B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-14B | Qwen2.5-14B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-32B | Qwen2.5-32B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Llama-70B | Llama-3.3-70B-Instruct | 🤗 HuggingFace |
DeepSeek-R1-Distill 模型基于开源模型进行了微调,使用了 DeepSeek-R1 生成的样本。我们对其配置和分词器进行了轻微更改。请使用我们的设置来运行这些模型。
评估结果
DeepSeek-R1-评估
对于我们所有的模型,最大生成长度设置为 32,768 个 token。对于需要采样的基准,我们使用的温度为0.6,top-p 值为0.95,并为每个查询生成 64 个响应来估计 pass@1。
类别 | 基准(公制) | 克劳德-3.5-十四行诗-1022 | GPT-4o 0513 | DeepSeek V3 | OpenAI o1-mini | OpenAI o1-1217 | DeepSeek R1 |
---|---|---|---|---|---|---|---|
建筑学 | – | – | 教育部 | – | – | 教育部 | |
# 激活参数 | – | – | 37B | – | – | 37B | |
# 总参数 | – | – | 671B | – | – | 671B | |
英语 | MMLU(通过@1) | 88.3 | 87.2 | 88.5 | 85.2 | 91.8 | 90.8 |
MMLU-Redux(EM) | 88.9 | 88.0 | 89.1 | 86.7 | – | 92.9 | |
MMLU-Pro(EM) | 78.0 | 72.6 | 75.9 | 80.3 | – | 84.0 | |
掉落 (3 发 F1) | 88.3 | 83.7 | 91.6 | 83.9 | 90.2 | 92.2 | |
IF-Eval(提示严格) | 86.5 | 84.3 | 86.1 | 84.8 | – | 83.3 | |
GPQA-钻石级 (Pass@1) | 65.0 | 49.9 | 59.1 | 60.0 | 75.7 | 71.5 | |
SimpleQA(正确) | 28.4 | 38.2 | 24.9 | 7.0 | 47.0 | 30.1 | |
框架(配件) | 72.5 | 80.5 | 73.3 | 76.9 | – | 82.5 | |
AlpacaEval2.0 (LC-胜率) | 52.0 | 51.1 | 70.0 | 57.8 | – | 87.6 | |
ArenaHard(GPT-4-1106) | 85.2 | 80.4 | 85.5 | 92.0 | – | 92.3 | |
代码 | LiveCodeBench (Pass@1-COT) | 33.8 | 34.2 | – | 53.8 | 63.4 | 65.9 |
Codeforces(百分位数) | 20.3 | 23.6 | 58.7 | 93.4 | 96.6 | 96.3 | |
Codeforces(评级) | 717 | 759 | 1134 | 1820 | 2061 | 2029 | |
SWE 已验证(已解决) | 50.8 | 38.8 | 42.0 | 41.6 | 48.9 | 49.2 | |
Aider-Polyglot (Acc.) | 45.3 | 16.0 | 49.6 | 32.9 | 61.7 | 53.3 | |
数学 | AIME 2024(通行证@1) | 16.0 | 9.3 | 39.2 | 63.6 | 79.2 | 79.8 |
数学-500 (通过@1) | 78.3 | 74.6 | 90.2 | 90.0 | 96.4 | 97.3 | |
CNMO 2024 (通行证@1) | 13.1 | 10.8 | 43.2 | 67.6 | – | 78.8 | |
中文 | CLUEWSC(EM) | 85.4 | 87.9 | 90.9 | 89.9 | – | 92.8 |
C-评估(EM) | 76.7 | 76.0 | 86.5 | 68.9 | – | 91.8 | |
C-SimpleQA(正确) | 55.4 | 58.7 | 68.0 | 40.3 | – | 63.7 |
蒸馏模型评估
模型 | AIME 2024 通行证@1 | AIME 2024 缺点@64 | MATH-500 通过@1 | GPQA 钻石通行证@1 | LiveCodeBench 通行证@1 | CodeForces 评级 |
---|---|---|---|---|---|---|
GPT-4o-0513 | 9.3 | 13.4 | 74.6 | 49.9 | 32.9 | 759 |
克劳德-3.5-十四行诗-1022 | 16.0 | 26.7 | 78.3 | 65.0 | 38.9 | 717 |
o1-迷你 | 63.6 | 80.0 | 90.0 | 60.0 | 53.8 | 1820 |
QwQ-32B-预览 | 44.0 | 60.0 | 90.6 | 54.5 | 41.9 | 1316 |
DeepSeek-R1-Distill-Qwen-1.5B | 28.9 | 52.7 | 83.9 | 33.8 | 16.9 | 954 |
DeepSeek-R1-Distill-Qwen-7B | 55.5 | 83.3 | 92.8 | 49.1 | 37.6 | 1189 |
DeepSeek-R1-Distill-Qwen-14B | 69.7 | 80.0 | 93.9 | 59.1 | 53.1 | 1481 |
DeepSeek-R1-Distill-Qwen-32B | 72.6 | 83.3 | 94.3 | 62.1 | 57.2 | 1691 |
DeepSeek-R1-Distill-Llama-8B | 50.4 | 80.0 | 89.1 | 49.0 | 39.6 | 1205 |
DeepSeek-R1-Distill-Llama-70B | 70.0 | 86.7 | 94.5 | 65.2 | 57.5 | 1633 |
请登录后查看评论内容