是一款国内推出的开源的自然语言模型，通过 chatglm2-6b-int4 模型能够在6G左右的显卡以及CPU下实现调用，比较适合个人电脑部署。

项目地址 https://github.com/THUDM/ChatGLM2-6B

介绍

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

  1. 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
  2. 更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练。对于更长的上下文，我们发布了 ChatGLM2-6B-32K 模型。LongBench 的测评结果表明，在等量级的开源模型中，ChatGLM2-6B-32K 有着较为明显的竞争优势。
  3. 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
  4. 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

前期准备 （Base on Ubuntu）

  • 安装好 CUDA 环境的 Ubuntu
  • Git & git-lfs
  • Anaconda or Mambaforge (optional)

安装git-lfs

1
2
sudo apt-get install git-lfs
git lfs install

参考：https://github.com/git-lfs/git-lfs/wiki/Installation

准备模型文件 (optional)

1
git clone https://huggingface.co/THUDM/chatglm2-6b-int4

准备项目文件

1
git clone https://github.com/THUDM/ChatGLM2-6B.git

Just do it

通过上面的准备工作，我们获得了两个文件夹 chatglm2-6b-int4 和 ChatGLM2-6B，分别是存放的项目文件和模型文件。

创建虚拟环境 (optional)

创建一个虚拟环境，我们将其命名为 chatglm2，进入其中并安装好 python 和 pip

1
2
3
conda create -n chatglm2
conda activate chatglm2
conda install python

进入到项目文件夹，安装依赖环境

1
2
cd ChatGLM2-6B
pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

修改 cli_demo.py 中的内容，指定成我们已经下载好的模型文件 (optional)

1
model = AutoModel.from_pretrained("/home/hdsky/chatglm2/chatglm2-6b-int4", trust_remote_code=True).cuda()

然后直接执行

1
python cli_demo.py