国产最强开源AI大模型 DeepSeek-R1 本地部署!完全免费,推理实力媲美OpenAI-O1

国产最强开源AI大模型 DeepSeek R1 本地部署!完全免费,推理实力媲美OpenAI O1
国产最强开源AI大模型 DeepSeek R1 本地部署!完全免费,推理实力媲美OpenAI O1

DeepSeek,是国内一家AI初创公司,发布的全新一代大模型“DeepSeek-V3”,在国内外社交媒体上引起了广泛关注。与此同时,他们还开源了性能媲美OpenAI o1的推理模型“DeepSeek-R1”,这一举措在AI爱好者圈子中迅速传播,并获得海外网友的高度评价。

DeepSeek-V3采用了自研的混合专家(MoE)架构,拥有6710亿参数,在多个评测中表现出色,超越了其他开源模型,并与全球顶尖的闭源模型如GPT-4o和Claude-3.5-Sonnet相媲美。
Your First API Call | DeepSeek API Docs

更值得关注的是,DeepSeek-R1的开源。该模型在后训练阶段大量使用了强化学习技术,即使在仅有极少标注数据的情况下,也显著提升了模型的推理能力。在数学、代码和自然语言推理等任务上,DeepSeek-R1的性能可与OpenAI o1正式版相媲美。

DeepSeek的这一系列举措,不仅展示了中国AI初创公司的技术实力,也为全球AI社区带来了新的活力。他们的开源策略,特别是对DeepSeek-R1的开放,促进了技术社区的交流与合作,推动了AI技术的进一步发展。

总的来说,DeepSeek通过技术迭代与升级,成功推出了DeepSeek-V3和开源的DeepSeek-R1,展示了其在AI领域的创新能力。这些举措在国内外社交媒体上引发了热烈讨论,获得了广泛的认可和赞誉。

模型优势

  • 开源免费:DeepSeek-R1 的开源策略使得开发者可以自由获取和使用模型,降低了进入人工智能领域的门槛。
  • 性能卓越:经过技术迭代与升级,DeepSeek-R1 展现了强大的自然语言处理能力,能够胜任多种任务。
  • 本地部署:支持在本地环境中运行,确保数据的安全性和隐私性,同时避免了对外部服务器的依赖。

本地部署

1、通用Docker部署

以下是通过 Ollama 工具在本地部署 DeepSeek-R1 模型的详细步骤:

环境准备

  • 操作系统:确保您的计算机运行 Windows、macOS 或 Linux 操作系统。
  • 硬件要求:建议至少具备 16GB 内存和支持 CUDA 的 GPU,以获得最佳性能。

安装 Docker

Ollama 基于 Docker 运行,因此需要先安装 Docker。

安装 Ollama

Ollama 是一个用于管理和运行大型语言模型的工具。

  • 下载 Ollama:访问 Ollama 官方网站 获取最新版本的安装包。
  • 安装 Ollama:按照官方网站提供的安装指南进行安装。

下载 DeepSeek-R1 模型

使用 Ollama 下载并配置 DeepSeek-R1 模型。

  • 打开终端或命令行界面
  • 运行以下命令
ollama pull deepseek-r1

此命令将从官方仓库拉取 DeepSeek-R1 模型。

运行模型

模型下载完成后,可以使用以下命令启动 DeepSeek-R1:

ollama run deepseek-r1

此时,您可以在本地与模型进行交互,执行各种自然语言处理任务。

注意事项

  • 资源消耗:运行大型语言模型可能会占用大量系统资源,建议在性能较高的计算机上进行部署。
  • 模型更新:定期检查 DeepSeek 和 Ollama 的官方渠道,获取最新的模型版本和更新信息。
  • 社区支持:加入相关的技术社区,与其他开发者交流经验,获取技术支持。

通过上述步骤,您可以在本地成功部署 DeepSeek-R1 模型,充分利用其强大的自然语言处理能力,为您的项目增色。

2、Ollama+浏览器插件部署

a、安装 Ollama

Ollama 是一个用于管理和运行大型语言模型的工具。

  • 下载 Ollama:访问 Ollama 官方网站 获取最新版本的安装包。
  • 安装 Ollama:按照官方网站提供的安装指南进行安装。

b、下载 [Page Assist – 本地 AI 模型的 Web UI]浏览器插件

c、安装命令

1.5B Qwen DeepSeek R1

ollama run deepseek-r1:1.5b

7B Qwen DeepSeek R1

ollama run deepseek-r1:7b

8B Llama DeepSeek R1

ollama run deepseek-r1:8b

14B Qwen DeepSeek R1

ollama run deepseek-r1:14b

32B Qwen DeepSeek R1

ollama run deepseek-r1:32b

70B Llama DeepSeek R1

ollama run deepseek-r1:70b

更多模型下载

DeepSeek-R1

模型#总参数#已激活参数上下文长度下载
DeepSeek-R1-Zero671B37B128千🤗 HuggingFace
DeepSeek-R1671B37B128千🤗 HuggingFace

DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 进行训练。有关模型架构的更多详细信息,请参阅DeepSeek-V3存储库。

DeepSeek-R1-Distill 模型

模型基础模型下载
DeepSeek-R1-Distill-Qwen-1.5BQwen2.5-Math-1.5B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-7BQwen2.5-Math-7B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-8BLlama-3.1-8B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-14BQwen2.5-14B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-32BQwen2.5-32B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-70BLlama-3.3-70B-Instruct🤗 HuggingFace

DeepSeek-R1-Distill 模型基于开源模型进行了微调,使用了 DeepSeek-R1 生成的样本。我们对其配置和分词器进行了轻微更改。请使用我们的设置来运行这些模型。

评估结果

DeepSeek-R1-评估

对于我们所有的模型,最大生成长度设置为 32,768 个 token。对于需要采样的基准,我们使用的温度为0.6,top-p 值为0.95,并为每个查询生成 64 个响应来估计 pass@1。

类别基准(公制)克劳德-3.5-十四行诗-1022GPT-4o 0513DeepSeek V3OpenAI o1-miniOpenAI o1-1217DeepSeek R1
 建筑学教育部教育部
 # 激活参数37B37B
 # 总参数671B671B
英语MMLU(通过@1)88.387.288.585.291.890.8
 MMLU-Redux(EM)88.988.089.186.792.9
 MMLU-Pro(EM)78.072.675.980.384.0
 掉落 (3 发 F1)88.383.791.683.990.292.2
 IF-Eval(提示严格)86.584.386.184.883.3
 GPQA-钻石级 (Pass@1)65.049.959.160.075.771.5
 SimpleQA(正确)28.438.224.97.047.030.1
 框架(配件)72.580.573.376.982.5
 AlpacaEval2.0 (LC-胜率)52.051.170.057.887.6
 ArenaHard(GPT-4-1106)85.280.485.592.092.3
代码LiveCodeBench (Pass@1-COT)33.834.253.863.465.9
 Codeforces(百分位数)20.323.658.793.496.696.3
 Codeforces(评级)7177591134182020612029
 SWE 已验证(已解决)50.838.842.041.648.949.2
 Aider-Polyglot (Acc.)45.316.049.632.961.753.3
数学AIME 2024(通行证@1)16.09.339.263.679.279.8
 数学-500 (通过@1)78.374.690.290.096.497.3
 CNMO 2024 (通行证@1)13.110.843.267.678.8
中文CLUEWSC(EM)85.487.990.989.992.8
 C-评估(EM)76.776.086.568.991.8
 C-SimpleQA(正确)55.458.768.040.363.7

蒸馏模型评估

模型AIME 2024 通行证@1AIME 2024 缺点@64MATH-500 通过@1GPQA 钻石通行证@1LiveCodeBench 通行证@1CodeForces 评级
GPT-4o-05139.313.474.649.932.9759
克劳德-3.5-十四行诗-102216.026.778.365.038.9717
o1-迷你63.680.090.060.053.81820
QwQ-32B-预览44.060.090.654.541.91316
DeepSeek-R1-Distill-Qwen-1.5B28.952.783.933.816.9954
DeepSeek-R1-Distill-Qwen-7B55.583.392.849.137.61189
DeepSeek-R1-Distill-Qwen-14B69.780.093.959.153.11481
DeepSeek-R1-Distill-Qwen-32B72.683.394.362.157.21691
DeepSeek-R1-Distill-Llama-8B50.480.089.149.039.61205
DeepSeek-R1-Distill-Llama-70B70.086.794.565.257.51633
国产最强开源AI大模型 DeepSeek-R1 本地部署!完全免费,推理实力媲美OpenAI-O1
此内容为免费资源,请登录后查看
0积分
免费资源
已售 18
© 版权声明
THE END
喜欢就支持一下吧
点赞7 分享
评论 抢沙发

请登录后发表评论

    请登录后查看评论内容