ChatOllama是我2024年开始创建的一款基于LLM的聊天机器人Web应用。项目开源于GitHub:
https://github.com/sugarforever/chat-ollama
初衷
项目的初衷，其实是开发一个小小的基于Ollama的Web应用，方便用户在本地环境管理Ollama支持的开源大模型，同时与模型聊天。
仅此而已，并为之起名ChatOllama。
在使用中，意识到可以在此基础上，基于在过去大半年积累的些许LangChain框架经验，或许可以给ChatOllama添加知识库的功能，并实践一下RAG。
这样，项目中就有了知识库的功能。
再加上项目初期就构思的Instructions功能，这样就有了如下的功能板块：
Ollama模型管理（下载，删除）
知识库管理（增删，聊天）
AI聊天（与模型聊天）
系统设置
在系统设置中，最初只有Ollama服务器的设置。
随着功能集合的确定，一个100%本地化知识库的想法基本成型。这也是最初我对其的定位！
用户反馈
随着项目的发布，我在X上也做了一些介绍，同时录制了一些视频，介绍开发中用到的相关技术，比如LangChain基础，RAG基础等。
在这个过程中，逐渐收获到一些初期用户。应用在早期有着大量的bug，以及设计中的不足。用户们给到了大量非常有价值的反馈。
基于反馈，我总结了以下几点，分享出来供大家参考。
1. 本地大模型以及本地知识库是有价值的
许多用户认可本地大模型，以及本地知识库的价值。越来越多的贡献者参与进来贡献代码，汇报问题，并帮助调试。在此，我感激不尽。
2. 用户的需求是多态的
随着越来越多的用户开始使用ChatOllama，我开始收到以各种形式发来的需求。总结如下：
支持OpenAI的模型
支持Azure OpenAI
支持Anthropic模型
支持Google模型
支持Moonshot模型
支持知识库文件的动态调整
......
从用户反馈看，大家对开源大模型保持了极大的兴趣，但是其能力还是不如OpenAI的GPT模型。这也导致大家对开源模型目前也只是浅尝则止。
当然，大尺寸的开源模型效果会更好，但是受限于计算资源，绝大多数用户没有运行条件。这样，大家只能选择商业化模型API。
这也是为什么现在的ChatOllama中已经支持了主流模型API。
大量的反馈，对于创始人来说，也是挑战。哪些需求需要满足？哪些需求需要放弃？
3. 心得
这是我第一次相对正式地开发个人开源项目。项目上不断收到的反馈，会帮助到项目，让它不断成熟。开源贡献者也能帮助项目越做越好。
对于我，更重要的是，在这个过程中认识了许多朋友。很感谢大家。这过程也让我深感“高手在民间”。希望我们能把ChatOllama越做越像样。
如何为项目发展把握分寸，引领项目走在正确的道路上，目前我还没法给出答案。听说，做减法是更难的。
先看看这个项目能否活过2024年6月吧。
