DeekSeek-R1大模型本地微调-构建医疗问答模型

##创建模型下载目录!mkdir DeepSeek-R1-Distill-Llama-8B

##创建数据集下载目录!mkdir dataset

##把hugging face国内镜像加入环境变量!export HF_ENDPOINT=https://hf-mirror.com

pip install -U huggingface_hub

##下载“unsloth/DeepSeek-R1-Distill-Llama-8B”蒸馏模型!huggingface-cli download --resume-download unsloth/DeepSeek-R1-Distill-Llama-8B --local-dir DeepSeek-R1-Distill-Llama-8B

##下载开源医疗问答数据集!huggingface-cli download --repo-type dataset --resume-download FreedomIntelligence/medical-o1-reasoning-SFT --local-dir dataset

##安装unsloth!pip install unsloth # install unsloth!pip install --force-reinstall --no-cache-dir --no-deps git+https://github.com/unslothai/unsloth.git # Also get the latest version Unsloth!##重新安装 torchvision库（因为默认安装的版本不正确）!pip uninstall -y torch torchvision!pip install torch torchvision

##确认我们安装成功了unsloth!pip list | grep unsloth

##安装wandb,可视化微调过程!pip install wandb

import wandb
##使用注册时的API key登录wandb."Your API key"替换成在第一步生成的API keywandb.login(key = "Your API key")
##建立wandb工程run = wandb.init(project="fint-tune deepseek r1 with open medical data",                job_type="training",                anonymous="allow")

from unsloth import FastLanguageModelimport torchmax_seq_length = 2048dtype = Noneload_in_4bit = True

##指定文件目录加载model和tokenizermodel, tokenizer = FastLanguageModel.from_pretrained(model_name="/kaggle/working/DeepSeek-R1-Distill-Llama-8B",                                                    max_seq_length=max_seq_length,                                                    dtype=dtype,                                                    load_in_4bit=load_in_4bit)

##写推理模版prompt_style = """下面是描述任务的说明，并配有提供更多上下文的输入。编写适当完成请求的响应。在回答之前，请仔细思考问题并创建一个循序渐进的思维链，以确保合乎逻辑和准确的回答。
### Instruction:您是一位医学专家，在临床推理、诊断和治疗计划方面拥有先进的知识。请回答以下医疗问题。
### Question:{}
### Response:<think>{}"""

##问题描述question = "一名 61 岁的女性在咳嗽或打喷嚏等活动中长期不自主排尿，但夜间没有渗漏，接受了妇科检查和棉签测试。基于这些发现，膀胱测压最有可能揭示她的残余体积和逼尿肌收缩的什么信息？"
##模型推理FastLanguageModel.for_inference(model)
inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda")
outputs = model.generate(    input_ids=inputs.input_ids,    attention_mask=inputs.attention_mask,    max_new_tokens=1200,    use_cache=True,)response = tokenizer.batch_decode(outputs)print(response[0].split("### Response:")[1])

##写训练提示词模版train_prompt_style = """下面是描述任务的说明，并配有提供更多上下文的输入。编写适当完成请求的响应。在回答之前，请仔细思考问题并创建一个循序渐进的思维链，以确保合乎逻辑和准确的回答。
### Instruction:您是一位医学专家，在临床推理、诊断和治疗计划方面拥有先进的知识。请回答以下医疗问题。
### Question:{}
### Response:<think>{}</think>{}"""""

EOS_TOKEN = tokenizer.eos_token  # Must add EOS_TOKEN
def formatting_prompts_func(examples):    inputs = examples["Question"]    cots = examples["Complex_CoT"]    outputs = examples["Response"]    texts = []    for input, cot, output in zip(inputs, cots, outputs):        text = train_prompt_style.format(input, cot, output) + EOS_TOKEN        texts.append(text)    return {        "text": texts,    }

from datasets import load_dataset
##加载训练数据集dataset = load_dataset("/kaggle/working/dataset", "zh",split = "train[0:500]")##数据集格式化dataset = dataset.map(formatting_prompts_func, batched = True)##输出第一个问答dataset["text"][0]

##加载模训练FastLanguageModel.for_training(model)
##获得lora微调容器model = FastLanguageModel.get_peft_model(    model,    r=16,    target_modules=[        "q_proj",        "k_proj",        "v_proj",        "o_proj",        "gate_proj",        "up_proj",        "down_proj",    ],    lora_alpha=16,    lora_dropout=0,    bias="none",    use_gradient_checkpointing="unsloth",  # True or "unsloth" for very long context    random_state=3407,    use_rslora=False,    loftq_config=None,)

from trl import SFTTrainerfrom transformers import TrainingArgumentsfrom unsloth import is_bfloat16_supported
##创建训练器，设置训练超参赛trainer = SFTTrainer(    model=model,    tokenizer=tokenizer,    train_dataset=dataset,    dataset_text_field="text",    max_seq_length=max_seq_length,    dataset_num_proc=2,    args=TrainingArguments(        per_device_train_batch_size=2,        gradient_accumulation_steps=4,        # Use num_train_epochs = 1, warmup_ratio for full training runs!        warmup_steps=5,        max_steps=60,        learning_rate=2e-4,        fp16=not is_bfloat16_supported(),        bf16=is_bfloat16_supported(),        logging_steps=10,        optim="adamw_8bit",        weight_decay=0.01,        lr_scheduler_type="linear",        seed=3407,        output_dir="outputs",    ),)

##开始训练模型trainer_stats = trainer.train()

##结束可视化训练过程wandb.finish()

##测试微调效果question = "一名 61 岁的女性在咳嗽或打喷嚏等活动中长期不自主排尿，但夜间没有渗漏，接受了妇科检查和棉签测试。基于这些发现，膀胱测压最有可能揭示她的残余体积和逼尿肌收缩的什么信息？"

FastLanguageModel.for_inference(model)inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda")
outputs = model.generate(    input_ids=inputs.input_ids,    attention_mask=inputs.attention_mask,    max_new_tokens=1200,    use_cache=True,)response = tokenizer.batch_decode(outputs)print(response[0].split("### Response:")[1])

##保存模型new_model_local = "DeepSeek-R1-Medical-Finetuned"model.save_pretrained(new_model_local)tokenizer.save_pretrained(new_model_local)
model.save_pretrained_merged("merged_models", tokenizer, save_method="merged_16bit")