初步体验 llama.cpp

第1步，准备一台阿里云4核8G的服务器，操作系统用的是 ubuntu 22.04；第2步，签出 llama.cpp 源码进行 build；第3步，下载 4-bit 版本的 Vicuna-7B 模型，文件大小是3.6G；第4步，使用这个模型输入提示词 `Tell me about cnblogs`；第5步，下载 8-bit 版本的 Vicuna-7B 模型，文件大小是6.7G
posted @ 2023-07-30 22:54  dudu  阅读(984)  评论(3)  编辑  收藏  举报