xinference + dify + ollama 构建本地知识库

https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Windows-x86_64.exe

双击安装包，一路下一步

系统->高级系统设置->环境变量->系统变量->Path->添加D:\Anaconda3D:\Anaconda3\ScriptsD:\Anaconda3\Library\bin

conda --version

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/conda config --set show_channel_urls yes

conda create -n xinference python=3.11.0

conda activate xinference

conda deactivate

conda remove -n xinference --all

conda env list

# 安装pytorchhttps://pytorch.org/get-started/locally/
# nvidiaconda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
# pip3 推荐这个pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
# cpuconda install pytorch torchvision torchaudio cpuonly -c pytorchconda install scikit-learn

import torchprint(torch.cuda.is_available())
# 如果返回True则说明启用了gpu# 如果返回False则说明没有启用gpu 需要去卸载组件# 1.卸载torch在conda的目录\anaconda3\Lib\site-packages下，找到torch和torch-2.2.1.dist.info两个文件夹删除# 2. 重新安装pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 选择版本https://github.com/li-plus/chatglm.cpp/releases# 下载https://github.com/li-plus/chatglm.cpp/releases/download/v0.3.1/chatglm_cpp-0.3.1-cp311-cp311-win_amd64.whl# 安装pip3 install chatglm_cpp-0.3.1-cp311-cp311-win_amd64.whl

# 官网https://github.com/xorbitsai/inference
# 执行命令pip3 install xinference['all']

# 打开visualstudio官网https://visualstudio.microsoft.com/zh-hans/# 下载https://visualstudio.microsoft.com/zh-hans/thank-you-downloading-visual-studio/?sku=Community&channel=Release&version=VS2022&source=VSLandingPage&cid=2030&passive=false# 安装双击安装包，一路下一步# 点开选项勾选Desktop development with C++使用C++桌面开发# 安装

# 启动xinference 记得修改ip和端口 ip为本地局域网ipxinference-local --host 192.168.50.123 --port 9997
# 访问xinferencehttp://192.168.50.123:9997

# model的默认路C:\Users\guoya\.xinference
# 配置几个本地model的路径C:\Users\guoya\.xinference\rerank-modelC:\Users\guoya\.xinference\llm-modelC:\Users\guoya\.xinference\embedding-model
# 配置几个本地model的路径http://192.168.50.123:9997/ui/#/register_model找到Model Path 填写上面的路径即可

# 选择LLM model找到model 点击，出现小火箭，填写上 model id这个你自己的定义即可# 注意不要选择cpu

git clonehttps://github.com/langgenius/dify.gitcd dockerdocker compose up -d

《剑神一笑》作者：古龙

序剑与剑神剑，是一种武器，也是十八般兵器之一。可是，它和其他任何一种武器都不一样，我们甚至可以说，它的地位和其他任何一种武器，都有一段很大的距离。武器最大的功用只不过是杀人攻敌而已。剑却是一种身分和尊荣的象征，帝王将相贵族名士们，都常常把剑当作一种华丽的装饰。这一点已经可以说明剑在人们心目中的特殊地位。更特殊的一点是，剑和儒和诗和文学也都有极密切的关系李白就是佩剑的。他是诗仙，也是剑侠。他的剑显然不如诗。所以他仅以诗传，而不以剑名。在中国古代，第一位以剑术留名的人，恰巧也姓李。大李将军的剑术，不但令和他同一时代的人目眩神迷，叹为现止，也令后代的人对他的剑法产生出无穷的幻想。可是真正第一个把“剑”和“神”这两个字连在一起说的人，却是草圣张旭。张旭也是唐诗人，在李肇的《国史补》中有一段记载。旭言：我始闻公主与担夫争路，而得笔法之意；后见公孙氏舞剑器而得其神。有人说剑器并不是一种剑，而是一种舞。也有人说剑器是一种系彩带的短剑，是晋唐时，女子用来作舞器的。可是也有人说它是一种武器。关于这些，金庸先生和我在书信中论过，连博学多闻如金庸先生，也不能做一个确切的结论。远在晋唐间，这一类的事，如今大都已不可考，各家有各家之说，其说不可定。我们只能说，如果剑器也是剑的一种，那么，公孙大娘无疑是被人称作“剑神”的第一人。这或者也是“神剑”这两个字的由来。剑神与剑仙能够被人称为剑神的人，除了他的剑术已经出神入化之外，还要有一些必要的条件。那就是他的人格和人品。因为剑在武器中地位是独特而超然的，是不同于凡俗的。所以，一个人如果能被人称为剑神，那么他的人品和人格也一定要高出大多数人很多。能够达到这种条件的人就当然不会多了，每隔三、五百年，也不过只有三、五人而已。就算在被别人视为最荒诞不经的武侠小说中，这种人都不太多。在比较严谨一点的作品里，这种人更少之又少。因为“剑神”是和“剑仙”不同的，在武侠小说中剑仙就比较多得多了。尤其是在当年“还珠楼主”、“平江不肖生”甚至在“朱贞木”的武侠小说中，都时常会有很多剑仙出现，都能以气御剑，御剑杀人于千里之外。只不过他们都不是剑神。因为他们都缺少一股气，一股傲气。总觉得要作为一位剑神，这股傲气是绝对不可缺少的，就凭着这股傲气，他们甚至可以把自己的生命视如草芥。因为他们早已把自己的生命奉献给他们所热爱的道。他们的道就是剑。他们既不求仙也不求佛，人世间的成败名利，更不值他们一顾，更不值他们一笑。他们要的只是他们那一剑挥出时的尊荣与荣耀，在他们来说那一瞬间就已是永恒。为了达到这一瞬间的颠峰，他们甚至可以不惜牺牲一在武侠小说的世界中，有几个人够资格被称为剑神。我不敢妄自菲薄，我总认为西门吹雪可以算是其中的一个剑神之笑西门吹雪也是一个有血有泪有笑的人，也有人的各种情感，只不过他从来不把这种情感表达出来而已。他可以单骑远赴千里之外，去和一个绝顶的高手，争生死于瞬息之间，只不过是为了要替一个他素不相识的人去复仇伸冤。可是如果他认为这件事不值得去做，就算是他在这个世界上唯一的朋友，陆小凤去求他，他也不去。他甚至还有一点幽默感。有一次，他心里明明顾意去替陆小凤做一件事，可是偏偏还要陆小凤先剃掉那两条不像胡子却像眉毛的胡子。总而言之，这个人是绝对令人无法揣度，也无法思阿。这个人的剑平生从未败过要练成这种不败的剑法，当然要经过别人所无法想象艰苦锻练。要养成这种孤高的品格，当然也要经过一段别无法想象的艰苦历程。往事的辛酸血泪困苦艰难，他从未向别人提起过，别当然不会知道。可是每个人都知道一件事，西门吹雪从来不笑。一个有血肉情感的人，怎么会从来不笑？难道他真的来没有笑过？我不相信。至少我就知道他曾经笑过一次，在一件非常奇妙的事中，一种非常特殊的情况下，他就曾经笑过一次。我一直希望能够把这次奇妙的事件写出来，因为我相无论任何人看到这件事之后，也都会像西门吹雪一样，忍住要笑一笑。能够让大家都笑一笑，大概就是我写作的两大目的之。赚钱当然是我另外的一大目的。