Jan 是 ChatGPT 的开源替代品，可在您的计算机上 100% 离线运行。多引擎支持（llama.cpp、TensorRT-LLM）
Github：https://github.com/janhq/jan?tab=readme-ov-file
Hi，这里是Aitrainee，欢迎阅读本期新文章。
今天我们要讨论的是 Jan，这是一款桌面应用程序，可以让你在本地运行开源模型。你还可以连接 OpenAI 或 Groq API 密钥，与在线模型进行对话。简而言之，Jan 可以将所有的 AI 模型集中在一个地方，方便你进行对话。这个应用完全开源，且非常易于使用，只需一键安装，无需终端操作、编码或配置多个文件。你可以在几秒钟内启动并运行。
Jan 的主要功能之一是支持本地运行 AI 模型，如 Llama 或 Mistral，这样可以提高隐私性，不需要互联网连接。如果你需要讨论敏感内容，本地运行模型更为安全。例如，在需要保密的项目中，Jan 的本地模型功能可以确保对话的私密性和安全性。
如果你不需要本地模型，Jan 也可以连接到远程模型，如 OpenAI、Gro 或 Mistral API，这样你就不需要高级硬件来访问这些模型的功能。这种灵活性特别有用，当你需要在线模型的能力但仍希望在必要时切换到本地模型。所有对话内容都存储在本地。此外，Jan 跨平台支持 Mac、Linux 和 Windows，极大地提升了可访问性。
Jan 还提供了 API 端点，方便你在自定义应用程序或其他 AI 应用中使用，这些 API 端点与 OpenAI 兼容，所以你可以与任何支持 OpenAI 模型的应用程序一起使用。你还可以通过扩展选项设置其他功能，例如添加自定义插件以增强 Jan 的功能或将其与其他工具和服务集成。它支持处理 PDF、文档等任何可以解析的文本文件。Jan 有两个内置引擎用于推理：Llama CPP 和 Tensor RT LM，默认使用 Llama CPP。双引擎的设计为模型推理提供了更多的灵活性和选择。你还可以将 Jan 连接到 LM Studio 或 AMA 的端点。
现在让我们安装并试用一下。首先，访问 Jan 的网站并点击下载按钮，选择你的操作系统并下载安装文件。
安装完成后，你会看到界面，看起来非常酷。
你可能会看到提示没有本地模型，点击“Explore the Hub”选项，你会看到多个模型选项，你还可以粘贴 Hugging Face 链接来自动下载模型。我将安装 Llama 3 模型，只需点击下载按钮即可。
下载完成后，点击“Use”按钮，回到聊天页面，你会看到 Llama 3 模型已选中。发送一条“Hello”消息，模型会初始化并生成响应，非常酷。你还可以重命名对话线程，修改助手的指令，并在这里选择不同的模型。此外，还可以在推理设置中调整模型的高级设置，如温度和最大 tokens。
你可以创建新线程，安装更多模型，查看哪些模型适合你的系统。通过粘贴 Hugging Face 链接来设置模型也很方便。Jan 提供了本地 API 服务器，可以通过它公开模型的 API 端点并检查日志，还可以更改 API 端点 URL。
现在教你如何启用 RAG 功能。首先进入设置，打开高级设置，启用实验功能。回到聊天选项，点击附件图标，启用检索功能，附加文件并提出问题，这对想要快速启动模型而无需终端或复杂配置的人来说非常方便。
Jan 允许你在一个地方设置所有的 LLM 提供商，无论是 Gemini、OpenAI、Gro 还是本地模型，只需在下拉菜单中切换模型即可，真是太棒了。我非常喜欢这个应用。
下面提供官方的文档介绍、相关资源、部署教程等，进一步支撑你的行动，以提升本文的帮助力。
Jan 是一个完全离线运行的开源 ChatGPT 替代品。
Jan 兼容任何硬件。 从普通 PC 到多 GPU 集群，Jan 支持多种架构：
• NVIDIA GPU（速度快）
• Apple M 系列（速度快）
• Apple Intel
• Linux Debian
• Windows x64
快速链接
Jan
• Jan 网站
• Jan GitHub
• 用户指南
• 开发者文档
• API 参考
• 规格说明
Nitro
Nitro 是一个高效的 C++ 推理引擎，适用于边缘计算。它轻量且可嵌入，可以单独在你的项目中使用。
• Nitro 网站
• Nitro GitHub
• 文档
• API 参考
故障排除
由于 Jan 仍在开发中，你可能会遇到一些问题。
重置安装方法：
1. 使用以下命令移除任何挂起的后台进程：
ps aux | grep nitro
查找类似 "nitro" 和 "nitro_arm_64" 的进程，并逐一终止：
kill -9 <PID>
2. 从应用程序菜单重新启动 Jan。
更多帮助，请访问 常见问题。
运行要求
Windows
最低要求：
• Windows 10 x64 或更高版本
• 8GB 内存
• 500MB 磁盘空间
推荐要求：
• NVIDIA GPU，支持 CUDA 10+ 驱动
Mac
最低要求：
• MacOS 12.6 或更高版本
• 8GB 内存
• 500MB 磁盘空间
推荐要求：
• Apple M 系列芯片
Linux
最低要求：
• Debian-based 发行版
• 8GB 内存
• 500MB 磁盘空间
推荐要求：
• NVIDIA GPU，支持 CUDA 10+ 驱动
在 Docker 中运行 Jan
运行步骤
1. 克隆仓库：
git clone https://github.com/janhq/jan.git
cd jan2. 构建 Docker 镜像：
docker build -t jan .
3. 运行容器：
docker run -it jan
4. 访问 Jan：在浏览器中打开 http://localhost:8000 以开始使用 Jan。
抓住前沿技术的机遇，与我们一起成为创新的超级个体
（把握AIGC时代的个人力量）
点这里?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
