LM Studio 是支持本地开源大语言模型的最简单方法，开箱即用，不需要编码，非常简单，界面华丽，今天也来介绍一下这个应用。
1. LM Studion可以做什么
?在笔记本电脑上完全离线运行 LLM ?通过应用内聊天 UI 或兼容 OpenAI 的本地服务器使用模型 ?从 HuggingFace ? 存储库下载任何兼容的模型文件 ?在应用程序的主页中发现新的和值得注意的 LLM LM Studio 支持 Hugging Face 上的任何 ggml Llama、MPT 和 StarCoder 模型（Llama 2、Orca、Vicuna、Nous Hermes、WizardCoder、MPT 等）
最低要求：M1/M2/M3 Mac 或带有支持 AVX2 处理器的 Windows PC。Linux 目前处于测试阶段。
2.安装
目前支持Windows PC和Mac、Linux，Windows安装方法，直接到项目主页（https://lmstudio.ai/）下载windows对应版本，打开即用。下载包比较大，多留空余磁盘空间。
3.模型下载
左侧是侧边工具栏，中间是模型下载区域，支持huggingface模型直接下载。
下载方法，输入正确的模型名称，比如下载mixtral
左侧是搜索到所有的模型，左上部有一个筛选框，默认是筛选本地兼容的模型，还可以选择显示全部模型。下面是每一个模型的提供者，模型名称，点赞数，下载量等。
右侧是点选模型后的详细信息，下部该模型各个不同量化版本的信息，包括名称，模型的大小，点击即可下载。右上角是这个模型在HuggingFace上的模型卡片。最下面有个Learn More，是有关于模型各个版本的区别：
点选# mixtral-8x7b-instruct-v0.1.Q2_K.gguf可进行下载，最下面是下载的进度条，可以随时取消下载。
4.Chat聊天
侧边栏第二气泡图标，就是Chat功能区。
选择TheBloke/Mistral-7B-Instruct-v0.2-GGUF这个模型，进行简单的聊天。
对话的下面是本次用时多时间，消耗多少token，token速度等信息。
另外GPU是一个选项，使用GPU硬件加速，可以提高推理速度，有GPU，还是开启使用GPU。
5.多模型推理
左侧第三个侧边栏按钮，是多模型推理聊天，就是一次加载多个模型，问一个问题，多个模型同时回答。
上面界面情况，左侧区域是使用过的模型，直接点加载，就可以载入模型，如果未使用过的模型，在上面的模型选择中进行模型的选择，可以对模型的名称，预设参数进行设置，设置好就可以载入模型。
如果你的硬件配置足够高，可以同时加载更多的模型，最上面显示的CPU和GPU的使用情况。我加载了2个模型，需要使用10g显存，已超过我的8g显存范围，差的部分，用cpu补充。
加载好模型，可以在右侧进行聊天对话，在右下角进行提问，它依次按左侧模型的排列序列，对这个问题进行回答。目前看加载2个模型，响应速度还是比较快的。默认是字符格式输出，也可以选择json格式输出。
这个界面还有另一个功能，就是提供一个web服务：
可以自己定义端口，启动服务后，可以通过curl http://localhost:1234/v1/models进行访问：
这个接口兼容openai接口，可以通过Python，js，LangChain来访问这个接口进行测试。
使用结束，点击模型旁边的Eject，退出模型的加载。停止服务。
6.本地接口服务
侧边栏第5个按钮，是本地接口服务。
比如上面的示例，最上面是加载的模型，这里没有gpu选项，显示占用内存3.56g，把Gemma 2b提供本地服务，端口是1234，中间部分，按不同的应用场景，给了示例代码，比如curl，可以复制进行测试：
curl http://localhost:1234/v1/chat/completions -H "Content-Type: application/json" -d data.json
这个代码没跑出来，不弄明白curl在windows下如何使用。
试一下python chat代码：
# Example: reuse your existing OpenAI setup
from openai import OpenAI
# Point to the local server
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")
completion = client.chat.completions.create(
model="lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q8_0.gguf",
messages=[
{"role": "system", "content": "Always answer in rhymes."},
{"role": "user", "content": "Introduce yourself."}
],
temperature=0.7,
)
print(completion.choices[0].message)
再试一下ai assistant助手模式：
# Chat with an intelligent assistant in your terminal
from openai import OpenAI
# Point to the local server
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")
history = [
{"role": "system", "content": "You are an intelligent assistant. You always provide well-reasoned answers that are both correct and helpful."},
{"role": "user", "content": "Hello, introduce yourself to someone opening this program for the first time. Be concise."},
]
while True:
completion = client.chat.completions.create(
model="lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q8_0.gguf",
messages=history,
temperature=0.7,
stream=True,
)
new_message = {"role": "assistant", "content": ""}
for chunk in completion:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
new_message["content"] += chunk.choices[0].delta.content
history.append(new_message)
print()
history.append({"role": "user", "content": input("> ")})
所有服务和访问都写入日志信息中，如果有不明原因错误，可以查看日志文件。
7.模型管理
左侧边栏第6个按钮是模型管理，可以下载，删除模型，还可以打开模型目录。
目录下格式：
├─lmstudio-ai
│ └─gemma-2b-it-GGUF
└─TheBloke
└─Mistral-7B-Instruct-v0.2-GGUF
最上一层目录是模型提供者名称，第二层目录是模型名称，其下放置gguf模型文件。由于网络原因，huggingface下载模型很不稳定，可以手动下载模型，按这种目录格式进行模型的放置，算是手动下载模型。
8.LM Studio 与Ollama的区别
LM Studio支持HuggingFace上的gguf模型，它不支持ollama的模型，ollama有自己的模型格式，自己的模型下载平台，模型数量比较多。ollama通过modelfile方式可以导入gguf模型。两个平台有点像ps5和switch，各家都有独占模型，又有共有模型。ollama之前也介绍过几期，他们对比各有公有优缺点。除去模型因素，从管理和日常使用上讲，LM Studio似乎更灵活一些，容易上手，所有操作均在图形界面中完成，而ollama的一些配置，需要在命令行中完成，这算是他们的一点区别吧。
关于ChatOllama，它是ollama的一个壳，目前兼容了openai，等一些其他接口，如果是使用ollama，可以使用这个壳应用，来使用ollama，同时兼顾openai等。
这两个平台的稳定性没有测试，如果需要稳定持续的服务，可能需要linux版的软件，我没有使用过，无法提供具体建议。
今天就这么多吧，欢迎大家留言，进群讨论。
9.文本嵌入
目前我使用的0.2.18版，还不支持文件嵌入，将在0.2.19版提供文本嵌入的支持。在本地服务中提供POST /v1/embeddings，通过post请求，实现嵌入。
curl http://localhost:1234/v1/embeddings \
-H "Content-Type: application/json" \
-d '{
"input": "Your text string goes here",
"model": "model-identifier-here"
}'
嵌入模型支持 nomic-embed-text-v1.5和bge-large-en-v1.5。
10.模型下载
HuggingFace提供了huggingface-cli进行模型的下载，安装cli工具，下载qwen模型。
pip install 'huggingface_hub[cli,torch]'
huggingface-cli download Qwen/Qwen1.5-7B-Chat-GGUF qwen1_5-7b-chat-q5_k_m.gguf --local-dir . --local-dir-use-symlinks False
下载速度比较快，平均速度1M以上，如果使用LM Studio不能下载模型，可以试一下这个方法。
huggingface换源，设置环境变量HF_ENDPOINT=https://hf-mirror.com，可以用三方的镜像进行加速下载。换源这部分待测试，如果使用了的，可以给个反馈。
另外还有一款开源工具，也是下载huaggingface模型的方式。
git clone https://github.com/LetheSec/HuggingFace-Download-Accelerator.git
cd HuggingFace-Download-Accelerator
python hf_download.py --model lmsys/vicuna-7b-v1.5 --save_dir ./hf_hub
接下来操作你的代码就好了
from transformers import pipeline
pipe = pipeline("text-generation", model="./hf_hub/models--lmsys--vicuna-7b-v1.5")
