一文看懂如何和部署合适的大语言模型

     大语言模型从商业模式来说分为2种，一种是商用的，一种是免费开源的。商用模型的代表比如OPENAI公司的chatGPT和生图的Midjourney。开源的大模型也有很多，google，facebook，阿里等很多公司都有。另外还有很多垂直领域的大模型，比如中医方面的。这些垂直领域的模型往往是先选定一个开源的模型作为基础模型，再给予相应的数据来调整。            

           
   在使用的时候，商用大模型需要购买key，然后登录对应的网站可以直接使用。也可以自己开发应用，调用模型的API来使用（前提是都需要购买key，key消耗完了就要再购买）。            
           
   而开源的模型则可以本地自己部署或者部署在自己的服务器上，不需要访问其他网络，在隐私性上比较好。而模型本身不包含用户使用界面，一般都是通过命令行或者代码调用，为了方便使用，可以结合很多webui，市面上有很多开源的webui，webui调用模型的接口，在浏览器里通过网页对话的方式进行。            
           
   另外这些webui很多也同时支持本地模型和远程调用商业模型（需要在webui的系统里设置购买的商业模型的key）。            
           
   本地部署开源模型虽然不用为使用模型本身付费，但是因为模型是本地运行的，所以对计算机的算力要求高，硬件配置要能跟上，不然回答会很慢或者无响应。需要注意的是现在的很多开源大模型都是及支持GPU也支持CPU，所以如果没有显卡也可以使用CPU运行。            
           
   本地部署模型首选ollama，ollama本身并不是大模型，是一个部署大模型的框架，ollama本身也在不断支持各种开源的大模型，现在主流的基本都支持。安装好ollama后，通过ollama的命令可以直接下载大模型。在ollama的官网可以查看支持的模型列表。下载好后就可以运行了。如果ollama没有支持要用的模型，也可以自己下载模型，添加到ollama里面。现在的大模型基本都是多语言支持的，可以用不同语言发文和回答。            
           
   但是ollama运行的时候是在命令行模型运行的，并不友好，所以可以通过安装webui来在浏览器里运行，因为是web形式的，所以可以放在网上来使用。推荐OpenWebUI和LobeChat，ChatPlus，text-generation-webui这几个webui，类似的webui系统有很多，基本都是大同小异，并且对pc端和手机端都有自适应支持，方便用户在不同的设备上使用。OpenWebUI和LobeChat是专门支持ollama的webui，使用的时候要先安装好ollama再安装OpenWebUI和LobeChat。text-generation-webui更加通用，可以从网上下载任意模型，基本都可以支持。ChatPlus不支持本地模型，只支持远程第三方商业模型，同样集成了很多第三方商业模型，并且集成了微信个人收款码，可以直接向C端收费。    

•OpenWebUI

OpenWebUI界面比较简洁，选择模型下拉框里会自动加载出ollama已经安装好的模型，使用的时候选择一个即可。可以创建多个会话session，并且会保存会话信息。如果模型支持多模态，也可以识图，发送图片，模型会回答图片的内容。也支持调用SD文生图。

   

•LobeChat

LobeChat的界面更加精美一些，功能细节也更多。还支持很多插件。比如画思维导图，流程图等。LobeChat启动后会加载出ollama中已经部署好的模型，使用的时候还是选择模型，再进行问答。也支持语音输入。并且对第三方商业模型支持的更好，这点比OpenWebUI要好。    

   

   

用codellama模型（专门用来写代码的模型）写一个python的排序算法。以下是回答：

Here is an example of a sorting algorithm in Python:

def bubble_sort(arr):            
    n = len(arr)            
    for i in range(n-1):            
        for j in range(0, n-i-1):            
            if arr[j] > arr[j+1]:            
                arr[j], arr[j+1] = arr[j+1], arr[j]            
    return arr

•ChatPlus

ChatPlus虽然只支持第三方商业模型，但是集成了微信个人支付码，有着良好的用户和权限管理，适合自营，可以很方便向C端用户收费。可以在后台配置不同的收费价格和策略。    

可面向C端注册，用户注册后可以通过微信个人收款码付款。然后就可以使用。    

   

支持很多商用模型，但是需要自己购买对应的key，配置好就可以使用了，在使用时同样是先选择模型，然后进行对话问答。也内置了一些聊天角色。

   

•Text-generation-webui

Text-generation-webui支持自己训练模型和调参。只是对话界面比较简单。

使用的时候要自己先下载模型，可以通过Text-generation-webui自己下载模型，但是这样可能下载的速度比较慢，也可以自己单独下载模型，下载好后只需要把模型文件拷贝到Text-generation-webui规定的存放模型的路径下即可。

通过webui使用模型非常方便，翻译，处理文本，个人管家，知识顾问，私人教学。打造个人AI助理。也可以做成网站或者APP来向C端收费，或者面向企业用户部署使用。

   但是本地部署大语言模型也有一个弊端，就是模型无法吸收新的信息，因为模型一旦创建好，就固化了，能回答的信息只和训练模型时的数据范围有关，如果问新的东西或者是训练数据以外的东西，模型就无法回答。而自己训练大语言模型成本极大，需要几十甚至上百台电脑连续工作数十天，ChatGPT的训练成本就达到数百万美元。除了大厂，一般公司和个人是无力承担的。所以最好的落地实践就是以大语言模型为底模，再结合自己行业或公司的私域知识（通常是各种office文档，如word，ppt，excel，pdf，txt，甚至图片）和数据库（关系型数据库或者NoSQL）做知识库问答。此时可以把大语言模型当成一个自然语言问答的引擎，再给它输入垂直领域的知识，就可以根据输入的内容用自然语言进行针对性的问答。这样既拥有了大语言模型的横向通用性，又再垂直方向上能够有一定深度，并且可以不断的完善知识库，收纳新的信息。            
           
   实践当中最佳落地方式就是结合现有开源大语言模型+私域知识库，这样成本低，又能保证数据信息的安全性。推荐使用DB-GPT来实现私域知识库和大语言模型的部署搭建。

DB-GPT支持多知识库管理，每个知识库可以认为是一个垂直领域的私域知识文档集合。问答时，选择一个基模再选择具体要问答的知识库，就可以用自然语言进行问答。    

   DB-GPT同样支持本地大语言模型，可根据自身情况下载使用。在知识库中创建知识库，查看已有的知识库。            
           
   创建知识的时候可以直接粘贴文本，也可以给一个URL网址，或者直接上传文档。    

   

   问答时选择要用的大语言模型和知识库

   回答时会有引用出处，鼠标悬浮上可以查看引用文档的预览。非常人性化。

DB-GPT也可以连接数据库进行回答，创建好数据库连接后，可以用自然语音问答，比如询问用户表有多少用户，有多少男用户多少女用户等问题。

   DB-GPT会回答出具体的数据以及SQL查询语句，也可以返回图表。支持常见数据库，包括NoSQL。    

   针对数据库问答，直接给出答案和查询SQL。    

   

表数据如下：

也可以直接上传excel或者cvs格式的文件，直接进行数据分析。

Excel内容如下：    

可以针对Excel中的数据给出图表，并且支持多种图表。

   

通过LLM+私域知识库的形式，企业和个人可以在成本，易用性，安全性上都达到最好的性价比。