LLaMA2安装

LLaMA2是meta开源的大预言模型，基于transformer架构实现。

hugging Face | modelscope

本文介绍如何利用可视化工具text-generation-webui来装载llama2-7b-chat-hf模型，并进行推理测试

text-generation-webui

text-generation-webui是一个基于gradio开源的web用户界面工具，旨在为大预言模型提供一个简单易用的交互平台

text-generation-webui Github

本地安装步骤

1
2
3
4
5
6
7
8
#step1 拉取github仓库
git clone https://github.com/oobabooga/text-generation-webui.git
#切换代码版本,最新版本的代码本地测试页面ui显示不完全，可能是部分依赖不匹配或者其他原因导致，所以切换到其他版本
git checkout 1934cb6
#step2 进入对应目录，按照要求创建对应的conda虚拟环境（虚拟环境里面应当提前安装了torch等常规依赖）,安装对应依赖
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/
#step3 启动服务
python server.py

成功启动的运行结果为：

image-20250319204728764

浏览器访问http://127.0.0.1:7861，界面为：

image-20250319204832941

安装模型llama2-7b-chat-hf

1
modelcope download --model shakechen/Llama-2-7b-chat-hf --local_dir "./llama2"

image-20250319110304902

装载模型&模型推理

从Github上拉取的代码里面有一个models文件夹，将从hugging face或者modelscope上下载下来的模型文件复制到该目录下

然后从web页面选择模型进行加载

image-20250320093805796

然后点击chat选项卡，注意chat页面的Mode选择instruct，结果可以看出，llama2可以理解中文问题，但是回答都是英文的，效果一般，这是因为LLaMA2的训练语料中仅有0.13%的中文语料

image-20250320102034914

利用text-generation-webui装载chatGLM3进行测试，步骤与上述相同，下载模型文件、复制到models目录、从页面选择模型进行装载、测试

image-20250320101628762