关于rtx+2060+6g

克雷西发自凹非寺

量子位 | 公众号 QbitAI

Meta的大语言模型LLaMA 13B，现在用2060就能跑了~

羊驼家族的Alpaca和Vicuna也都能运行，显存最低只需要6G，简直是低VRAM用户的福音有木有。

GitHub上的搭建教程火了之后，网友们纷纷跑来问苹果M2是不是也能跑。

这通操作的大致原理是利用最新版CUDA，可以将Transformer中任意数量的层放在GPU上运行。

与此前llama.cpp项目完全运行在CPU相比，用GPU替代一半的CPU可以将效率提高将近2倍。

而如果纯用GPU，这一数字将变成6倍。

网友实测的结果中，使用CPU每秒能跑2.1个token，而用GPU能跑3.2个。

生成的内容上，开发者成功用它跑出了“尼采文学”。

如何操作

在开始搭建之前，我们需要先申请获得LLaMA的访问权限。

传送门：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/

此外还需要有一个Linux环境。（Windows用户可以用WSL2）

准备工作完成之后，第一步是将llama.cpp克隆到本地。

git clone https://github.com/ggerganov/llama.cpp.git

cd llama.cpp

pacman -S cuda //make sure you have CUDA installed

make LLAMA_CUBLAS=1S=1

如果没有安装CUDA，可以参考下面的步骤：

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin

sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600

wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda-repo-wsl-ubuntu-12-1-local_12.1.1-1_amd64.deb

sudo dpkg -i cuda-repo-wsl-ubuntu-12-1-local_12.1.1-1_amd64.deb

sudo cp /var/cuda-repo-wsl-ubuntu-12-1-local/cuda-*-keyring.gpg /usr/share/keyrings/

sudo apt-get update

sudo apt-get -y install cuda

然后是建立micromamba环境，安装Python和PyTorch等工具。

接着需要在micromamba环境下安装一些包：

export MAMBA_ROOT_PREFIX=（自定义安装路径）

eval "$(micromamba shell hook --shell=bash)"

micromamba create -n mymamba

micromamba activate mymamba

micromamba install -c conda-forge -n mymamba pytorch transformers sentencepiece

然后运行Python脚本以执行转换过程：

python convert.py ~/ai/Safe-LLaMA-HF-v2\\ \$4-04-23\$/llama-13b/

之后将其量化为4bit模式。

./quantize ~/ai/Safe-LLaMA-HF-v2\\ \$4-04-23\$/llama-13b/ggml-model-f16.bin ~/ai/Safe-LLaMA-HF-v2\\ \$4-04-23\$/llama-13b/ggml-model-13b-q4_0-2023_14_5.bin q4_0 8

接着是新建一个txt文本文档，把提示词输入进去，然后就可以运行了。

./main -ngl 18 -m ~/ai/Safe-LLaMA-HF-v2\\ \$4-04-23\$/llama-13b/ggml-model-13b-q4_0-2023_14_5.bin -f 文档名称.txt -n 2048q4_0 8

这步当中-ngl后面的数字是可以修改的，它代表了转换层的数量。

当该值为18时，运行中消耗的VRAM为5.5GB，根据显存的大小最高可以调至40。

网友：AMD不配吗

这一教程出现之后，网友们的新玩具又增加了。

“苦OpenAI久矣”的网友更是感觉仿佛找到了光。

这位网友就表示自己太期待在自己的设备上运行LLM了，宁愿花5千美元购置设备也不想给OpenAI交一分钱。

但AMD用户可能就不那么兴奋了，甚至透露出了嫉妒之情。

这套方法要用到CUDA（英伟达专用），所以AMD是不配了吗？

那么，你期待用自己的设备跑大语言模型吗？

参考链接：

[1].https://gist.github.com/rain-1/8cc12b4b334052a21af8029aa9c4fafc

[2].https://twitter.com/_akhaliq/status/1657779996247588865

[3].https://news.ycombinator.com/item?id=35937505

— 完 —

量子位 QbitAI · 头条号签约

","gnid":"980af897299e445c2","img_data":[{"flag":2,"img":[{"desc":"","height":"153","title":"","url":"https://p0.ssl.img.360kuai.com/t012ab7c276f25cc910.jpg","width":"1080"},{"desc":"","height":"720","title":"","url":"https://p0.ssl.img.360kuai.com/t01e0774e6f138112de.jpg","width":"960"},{"desc":"","height":"560","title":"","url":"https://p0.ssl.img.360kuai.com/t01496d9e31858479c9.jpg","width":"1080"},{"desc":"","height":"378","title":"","url":"https://p0.ssl.img.360kuai.com/t012a1bd78b306ee000.jpg","width":"1080"},{"desc":"","height":"231","title":"","url":"https://p0.ssl.img.360kuai.com/t011a1c549a7a833e79.jpg","width":"1080"},{"desc":"","height":"231","title":"","url":"https://p0.ssl.img.360kuai.com/t01a5cef2fae3465fdc.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1684386960000,"pure":"","rawurl":"http://zm.news.so.com/1977e73b5e85c09afe7b6eda07e09480","redirect":0,"rptid":"74695300a859363f","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"kdigital_1:cuda","k":"cuda","u":""},{"clk":"kdigital_1:gpu","k":"gpu","u":""},{"clk":"kdigital_1:cpu","k":"cpu","u":""},{"clk":"kdigital_1:显存","k":"显存","u":""}],"title":"6G显存玩转130亿参数大模型，仅需13行命令，RTX2060用户发来贺电

@余娥店13242675835#   RTX2060和GTX1070TI,哪个值得购买? -
#离妹波4776：那么考虑RTX和GTX的主要原因,就是光线追踪和显存这两个层面了. RTX2060以前发布的时候,业内猜测是没有光线追踪的,但是现在发布后发现可以有光追,但是它比RTX2070都低一个层次,开低光追已经无法满足60帧要求了,基本玩家...

@余娥店13242675835#   rtx30604g和6g区别 -
#离妹波4776： rtx30604g没有6g好.6g定位入门,3060是正经中档游戏独显虽然部分笔记本3060是阉割了显存,但众所周知显存对游戏性能的影响是可以忽略不计的.从理论参数来看,RTX3050的核心数量,2048个,近乎3060的一半了.区别如下:1660ti...

@余娥店13242675835#   i79750hRTX2060/6G/32G/512SSD/1T电脑配置可以吗? -
#离妹波4776：这个是笔记本电脑中高端配置了,英特尔i7 9750H六核十二线程,32G DDR4 2666内存条,RTX2060 6G独立显卡,512G固态硬盘+1TB机械硬盘,这样的配置笔记本电脑大概8500至9500块之间的,玩大型游戏开高效都可以的,

@余娥店13242675835#   R5 1600X配2060显卡,2条8G内存2666hz pubg吃鸡有人的时候会突然掉帧到50左右.温度不高驱动最新. -
#离妹波4776：你好,你的画质是不是开最高的?RTX2060是不是3G版本的?如果是的话你的电脑很可能爆显存了,如果是RTX2060显卡是6G版本的也是有可能爆显存的.我建议你调低一档画质玩,这样就不会爆显存了.如果是3G版本调低一档不行就调低两档玩,如果还是不行就不是显卡的原因了,可能是计算量上升导致的.

@余娥店13242675835#   问一下,微星2060ventus xsc 6g和 EVGA 1660tixc哪个性能高? -
#离妹波4776：肯定是2060强了,从2000系列开始,NV家显卡开始改名了,全成了RTX系列了,GTX淘汰了,RTX表示带追光特效,GTX则没这个功能,属于RTX的太监删减版了,虽然那个追光特效也没几个游戏支持,而且优化也不好,建议还是选太监的GTX1660TI了,RTX还是留给土豪和各种干活的了.

@余娥店13242675835#   微星GeForce GTX 1660 SUPER VENTUS XS C OC和微星RTX2060 - 6G - VENTUS XC C OC怎么选? -
#离妹波4776：微星2113GeForce GTX 1660 SUPER VENTUS XS C OC和微星RTX2060-6G-VENTUS XC C OC,这两个显卡5261完全不是一个级别的,2060显卡性4102能要给1653GTX1660ti还强一些,GTX1660super是介于1660和1660ti之间版性能,所以当然是选RTX2060 6G显卡了权,

@余娥店13242675835#   RTX2060 6G对比GTX1070的显卡性能会强多少,在徘徊入手机械师的电脑 -
#离妹波4776：相差10%,2060更凉快,多个光追和DLSS战未来,6G显存这个不错.

@余娥店13242675835#   游戏本i5 rtx2060 6G还是i7 gtx1060 6G买好一些? -
#离妹波4776：吃鸡这类的游戏 1060 6就只能开中高画质, RTX2060就可以开全极致画质了分辨率都是1920X1080,帧数都可以达60帧以上 2K和4K要求的配置更高看你对画质有没有追求了

@余娥店13242675835#   GTX2060ti 6g多会上市性能比GTX1060 6g 强多少能追上GTX1070水平吗? -
#离妹波4776： rtx2060已经上市相比1060 6GB提升还是很明显的 rtx2060和gtx1070ti 半斤八两对比gtx1060 6GB就是完爆 rtx2060还支持dlss抗锯齿和光线追踪整体上好于1070ti 除了显存小2GB 支持dlss抗锯齿的游戏 rtx2060比1080还强或者持平 rtx2060也不贵2400就能买到

听道网

关于rtx+2060+6g

如何操作

网友：AMD不配吗

最新行情消息