text-generation-webui 在 Linux 服务器上的部署和运行（保姆教程/踩坑记录）

在今天的人工智能时代，文本生成模型如 GPT-3、GPT-2 等越来越受到关注。为了方便使用这些模型，许多人选择部署文本生成的 Web 界面。在本文中，我将详细介绍如何在 Linux 服务器上部署 text-generation-webui，并分享一些踩坑记录，以帮助大家顺利完成部署。

环境准备

首先，确保你的 Linux 服务器上已安装以下软件：

1. Python 3.8 或更高版本
2. Git
3. CUDA 和 cuDNN（如果你打算利用 GPU 进行加速）

可以使用以下命令检查 Python 和 Git 的版本：

python3 --version
git --version

如果未安装，可以使用包管理器进行安装：

sudo apt update
sudo apt install python3 python3-pip git

克隆项目

接下来，我们需要从 GitHub 克隆 text-generation-webui 项目。打开终端并执行以下命令：

git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui

创建虚拟环境

使用虚拟环境可以避免依赖库的版本冲突。可以使用 venv 模块来创建一个新的虚拟环境：

python3 -m venv venv
source venv/bin/activate

安装依赖

在进入虚拟环境后，安装项目所需的依赖。运行以下命令：

pip install -r requirements.txt

有时候，依赖库可能会出现版本问题。建议根据提示逐个安装或升级依赖库。

下载模型

在使用 text-generation-webui 之前，我们需要下载一个预训练模型。以 gpt2 模型为例，可以使用以下命令：

python3 download_model.py gpt2

这个步骤可能会耗费一些时间，具体取决于网络和模型大小。

启动 Web 界面

模型下载完成后，可以启动 Web 界面。使用以下命令：

python3 app.py

默认情况下，Web 界面将运行在 localhost:7860 上。你可以在浏览器中输入 http://your_server_ip:7860 进行访问。如果要让外部IP访问，需要在启动参数中增加 --share，如下：

python3 app.py --share

验证安装

打开浏览器，访问 http://your_server_ip:7860，你应该会看到 text-generation-webui 的界面。在文本框中输入一些文本，点击“生成”按钮，查看生成的结果。

踩坑记录

1. 依赖问题：在安装依赖时，可能会遇到某些包无法安装或版本冲突的问题。可以尝试使用 pip install --upgrade 来升级相关库，或者具体安装某个包的特定版本。

2. 模型下载失败：如果模型下载失败，可以手动将模型文件放到 models 目录下，确保路径设置正确。

3. 端口冲突：如果 7860 端口被占用，可以指定其他端口，比如 7861，命令如下：

bash python3 app.py --port 7861

1. 网络问题：如果在下载时遇到超时问题，可以考虑更换网络或使用 VPN。

2. 长时间运行：如果需要在后台持续运行，可以使用 nohup 命令或者 tmux、screen 等工具来管理会话。

总结

以上就是在 Linux 服务器上部署和运行 text-generation-webui 的详细步骤和一些常见问题的解决方案。希望这些信息能够帮助到你，让你顺利搭建起文本生成的 Web 界面，体验人工智能带来的便利。