柚子快報邀請碼778899分享：qwen2.5

http://yzkb.51969.com/

Qwen2.5

論文

無

模型結(jié)構(gòu)

Qwen2.5與qwen2模型結(jié)構(gòu)一致。就 Qwen2.5 語言模型而言，所有模型都在我們最新的大規(guī)模數(shù)據(jù)集上進行了預訓練，該數(shù)據(jù)集包含多達 18T tokens。相較于 Qwen2，Qwen2.5 獲得了顯著更多的知識（MMLU：85+），并在編程能力（HumanEval 85+）和數(shù)學能力（MATH 80+）方面有了大幅提升。此外，新模型在指令執(zhí)行、生成長文本（超過 8K 標記）、理解結(jié)構(gòu)化數(shù)據(jù)（例如表格）以及生成結(jié)構(gòu)化輸出特別是 JSON 方面取得了顯著改進。 Qwen2.5 模型總體上對各種system prompt更具適應性，增強了角色扮演實現(xiàn)和聊天機器人的條件設置功能。與 Qwen2 類似，Qwen2.5 語言模型支持高達 128K tokens，并能生成最多 8K tokens的內(nèi)容。

算法原理

Qwen2.5仍然是一個典型decoder-only的transformers大模型結(jié)構(gòu)，主要包括文本輸入層、embedding層、decoder層、輸出層及損失函數(shù)。

環(huán)境配置

Docker（方法一）

推薦使用docker方式運行， 此處提供光源拉取docker鏡像的地址與使用步驟

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.2-py3.10

docker run -it --shm-size=1024G -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal:/opt/hyhal --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name qwen2.5_72B_pytorch bash # 為以上拉取的docker的鏡像ID替換，本鏡像為：4555f389bc2a

cd /path/your_code_data/

cd LLaMA-Factory

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

pip install e . -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

pip install deepspeed-0.12.3+gita724046.abi1.dtk2404.torch2.1.0-cp310-cp310-manylinux_2_31_x86_64.whl

Tips:以上dtk驅(qū)動、python、torch、vllm等DCU相關(guān)工具版本需要嚴格一一對應。

Dockerfile（方法二）

此處提供dockerfile的使用方法

docker build -t qwen2.5:latest .

docker run -it --shm-size=1024G -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal:/opt/hyhal --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name qwen2.5_pytorch qwen2.5 bash

cd /path/your_code_data/

cd LLaMA-Factory

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

pip install e . -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

pip install deepspeed-0.12.3+gita724046.abi1.dtk2404.torch2.1.0-cp310-cp310-manylinux_2_31_x86_64.whl

Anaconda（方法三）

此處提供本地配置、編譯的詳細步驟，例如：

關(guān)于本項目DCU顯卡所需的特殊深度學習庫可從光合開發(fā)者社區(qū)下載安裝。

DTK驅(qū)動:dtk24.04.2

python:3.10

torch:2.1.0

flash-attn:2.0.4

vllm:0.5.0

xformers:0.0.25

triton:2.1.0

deepspeed:0.12.3

apx:1.1.0

Tips：以上dtk驅(qū)動、python、torch等DCU相關(guān)工具版本需要嚴格一一對應

其它非深度學習庫參照requirement.txt安裝：

cd /path/your_code_data/

cd LLaMA-Factory

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

pip install e . -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

數(shù)據(jù)集

使用alpaca_gpt4_zh數(shù)據(jù)集，已經(jīng)包含在data目錄中，具體文件為alpaca_gpt4_data_zh.json

訓練數(shù)據(jù)目錄結(jié)構(gòu)如下，用于正常訓練的完整數(shù)據(jù)集請按此目錄結(jié)構(gòu)進行制備：

── data

├── alpaca_zh_demo.json

├── alpaca_en_demo.json

├── identity.json

└── ...

訓練

使用LLaMA-Factory框架微調(diào)

單機單卡（LoRA-finetune）

# 注意：根據(jù)自己的模型切換.yaml文件中的模型位置并調(diào)整其他參數(shù)

# 單卡推理將模型改為較小size的模型地址

cd /path/your_code_data/

cd LLaMA-Factory

HIP_VISIBLE_DEVICES=0 FORCE_TORCHRUN=1 llamafactory-cli train examples/train_lora/qwen2.5_lora_sft_ds3.yaml

單機多卡(LoRA-finetune）

4卡微調(diào)

#四卡微調(diào)72B模型需要使用ZeRO Offload 優(yōu)化的技術(shù)，使用CPU來緩解部分GPU顯存占用

HIP_VISIBLE_DEVICES=0,1,2,3 llamafactory-cli train examples/train_lora/qwen2.5_lora_sft_offload_ds3.yaml

8卡微調(diào)

#lora微調(diào)

llamafactory-cli train examples/train_lora/qwen2.5_lora_sft_ds3.yaml

推理

使用vllm框架推理

單機單卡

#注意：根據(jù)自己的模型切換文件中的模型位置并調(diào)整其他參數(shù)

cd /path/your_code_data/

python ./inference_vllm/Qwen2.5_7B_inference.py

單機多卡

python ./inference_vllm/Qwen2.5_72B_inference.py

其中，prompts為提示詞，model為模型路徑，tensor_parallel_size=4為使用卡數(shù)。

result

使用的加速卡:8張 K100_AI 模型：qwen2.5-72B

精度

模型:qwen2.5-72B

數(shù)據(jù): identity,alpaca_zh_demo,alpaca_en_demo

訓練模式:LoRA finetune；zero3訓練

硬件：8卡，k100 AI

在DCU上訓練的收斂情況：

應用場景

算法類別

對話問答

熱點應用行業(yè)

科研,教育,政府,金融

預訓練權(quán)重

qwen2.5-7B模型下載SCNet鏈接

qwen2.5-7B-Instruct模型下載SCNet鏈接

qwen2.5-72B模型下載SCNet鏈接

qwen2.5-72B-Instruct模型下載SCNet鏈接

其他size的模型可在SCNet進行搜索下載

源碼倉庫及問題反饋

ModelZoo / qwen2.5_pytorch · GitLab

參考資料

GitHub - hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)Qwen2.5: 基礎模型大派對！ | QwenGitHub - QwenLM/Qwen2.5: Qwen2.5 is the large language model series developed by Qwen team, Alibaba Cloud.

柚子快報邀請碼778899分享：qwen2.5

http://yzkb.51969.com/