最近在本地研究了一个不错的AI文本对话的方案,可以轻松取代ChatGPT。

这个方案采用 LLama 3 + Ollama + WebUI 的组合,可以打造本机强大的GPT 免费快速 硬件成本大概5000 软件成本接近0。并且在你的地盘你做主,你可以自由定制,所有内容没有审核,没有屏蔽。

如果感兴趣的人可以与我技术交流。

步骤大致如下:

  1. 安装Ollama
  2. 使用Ollama的命令安装LLama
  3. 安装Docker
  4. 使用Docker安装Open WebUI
  5. 打开Open WebUI界面,进行用户注册和系统配置。
  6. 尝试其它更多的模型,例如微软的和Google的开源模型(可以在这个地址查看可选的模型:https://ollama.com/library/ ),也可以通过API Key整合ChatGPT。

以下我会记录我遇到的卡住的地方:

安装webui 如果无法访问国外的情况可以将命令进行调整(这一个步骤我花了5个小时,真是吐血):

原命令:

docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main

修改之后的命令(改为了南大的ghcr源):
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.nju.edu.cn/open-webui/open-webui:main