Prompt设计与大语言模型微调

"""网页搜索结果:{web_results}
当前日期:{current_date}
指令: 用给定的网络搜索结果，总结回复用户query
用户Query: {query}
回复语言: {reply_language}"""

尽可能回答以下问题，可以使用工具：{工具名和描述}使用以下格式回答：问题：你必须回答的问题
思考：你应该一致保持思考，思考要怎么解决问题动作：{工具名}。每次动作只选择一个工具，工具列表{工具名和描述}输入：{调用工具时需要传入的参数}观察：{第三方工具返回的结果}
【思考-动作-输入-观察】循环N次
思考：最后，输出最终结果最终结果：针对原始问题，输出最终结果

开始！问题：上海最高楼是多少？它楼层高度的平方是多少？思考：我需要知道上海最高楼，然后进行计算。动作：搜索API观察：632米思考：我需要计算上海最高楼高度的平方，然后得到结果。动作：计算器输入：632^2观察：399424思考：最终结果：上海最高楼632米，它的高度平方是399424

params="--stage sft \--model_name_or_path /data/oss_bucket_0/Qwen_14B_Chat_ms_v100/\--do_train \--dataset_dir data \--dataset xuanji \--template chatml\--finetuning_typefull\--output_dir file_path\--overwrite_cache \--per_device_train_batch_size 2 \--gradient_accumulation_steps 4 \--lr_scheduler_type cosine\--logging_steps 5 \--save_strategy epoch \--save_steps 10000 \--learning_rate 2e-6 \--num_train_epochs 3.0 \--warmup_ratio 0.15 \--warmup_steps 0 \--weight_decay 0.1 \--fp16 ${fp16} \--bf16 ${bf16} \--deepspeed ds_config.json \--max_source_length 4096 \--max_target_length 4096 \--use_fast_tokenizer False \--is_shuffle True \--val_size 0.0 \"

pai -name pytorch112z-project algo_platform_dev-Dscript='${job_path}'-DentryFile='-m torch.distributed.launch --nnodes=${workerCount} --nproc_per_node=${node}${entry_file}'-DuserDefinedParameters=\"${params}\"-DworkerCount=${workerCount}-Dcluster=${resource_param_config}-Dbuckets=${oss_info}${end_point}

# For prerequisites running the following sample
import dashscopefrom dashscope import Generationfrom http import HTTPStatus
dashscope.api_key = 'your-dashscope-api-key'
response_generator = Generation.call(model='model_name',prompt=build_prompt([{'role':'system','content':'content_info'},{'role':'user', 'content':'query'}]),stream=True,use_raw_prompt=True,seed=random_num)
for resp in response_generator:# when stream, you need to get the result through iterationif resp.status_code == HTTPStatus.OK:print(resp.output)else:print('Failed request_id: %s, status_code: %s, \code: %s, message:%s' %(resp.request_id, resp.status_code, resp.code, resp.message))
# Result: # {"text": "汝亦来", "finish_reason": "null"}# {"text": "汝亦来哉，幸会。\n\n汝可", "finish_reason": "null"}# {"text": "汝亦来哉，幸会。\n\n汝可唤我一声「百晓生", "finish_reason": "null"}# {"text": "汝亦来哉，幸会。\n\n汝可唤我一声「百晓生」，不知可否？", "finish_reason": "null"}# {"text": "汝亦来哉，幸会。\n\n汝可唤我一声「百晓生」，不知可否？", "finish_reason": "stop"}

from whale import TextGenerationimport json
# 设置apiKey# 预发或线上请勿指定base_urlTextGeneration.set_api_key("api_key", base_url="api_url")
# 设置模型生成结果过程中的参数
config = {"pad_token_id": 0,"bos_token_id": 1,"eos_token_id": 2,"user_token_id": 0,"assistant_token_id": 0,"max_new_tokens": 2048,"temperature": 0.95,"top_k": 5,"top_p": 0.7,"repetition_penalty": 1.1,"do_sample": False,"transformers_version": "4.29.2"}prompt = [{"role": "user","content": "content_info"}]
# 请求模型response = TextGeneration.call(model="model_name",prompt=json.dumps(prompt),timeout=120,streaming=True,generate_config=config)

# 处理流式结果for event in response:if event.status_code == 200:print(event.finished)if event.finished is False:print(event.output['response'], end="")else:print('error_code: [%d], error_message: [%s]'% (event.status_code, event.status_message))