一、前言:哪个发烧友能抵挡本地部署大模型的诱惑
今年年初,横空出世的DeepSeek AI大模型火爆出圈,一夜过后人人都在谈论DeepSeek大模型,而已经进入第二年的AI PC方面,自然也不会落后。
相对于直接付费使用成熟的AI应用,DeepSeek完全开源的特性也让更多发烧友乐于在本地部署,充分利用越发强大的硬件AI性能。
但是对于主流的笔记本平台,在本地运行DeepSeek大模型,效果如何呢?
我们找来了当下比较新的轻薄本,Intel平台和AMD平台各一台,测试一下不同平台在本地运行DeepSeek大模型的表现。
当然我们在本地部署的DeepSeek只能是蒸馏版,因为满血版DeepSeek-R1模型高达671b的参数根本不是小飞机平台所能容纳的,好在还有六个蒸馏后不同规模的小模型,方便玩家根据自己的硬件配置选择合适的模型规模。
DeepSeek-R1大模型和由它蒸馏而来的六个小模型都是开源的,每个人都可以下载部署到自己的设备上。
选择合适的模型规模,关键就在于运行设备的显存或内存容量,当然对于普通玩家,特别是笔记本用户来说,主要还是看内存大小。
这也就是AI PC概念出现以来,电脑的内存容量已经普遍从32GB起步的原因,就连被戏称“用金子做内存”的苹果,最新的Mac Mini M4也把内存升级到16GB起步。