训练参数解读
项目源码:
https://github.com/hiyouga/LLaMA-Factory
CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
--stage sft \
--do_train True \
--model_name_or_path /home/ubuntu/THUDM/chatglm3-6b \
--finetuning_type lora \
--template chatglm3 \
--dataset_dir data \
--dataset test_identity \
--cutoff_len 1024 \
--learning_rate 5e-05 \
--num_train_epochs 80.0 \
--max_samples 100000 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--max_grad_norm 1.0 \
--logging_steps 5 \
--save_steps 100 \
--warmup_steps 0 \
--optim adamw_torch \
--report_to none \
--output_dir saves/ChatGLM3-6B-Chat/lora/train_2024-04-17-17-19-32 \
--fp16 True \
--lora_rank 8 \
--lora_alpha 16 \
--lora_dropout 0.1 \
--lora_target query_key_value \
--plot_loss True
CUDA_VISIBLE_DEVICES=0:这个环境变量限制了训练只能使用索引为0的GPU。
python src/train_bash.py:运行位于src目录中的train_bash.py 的Python脚本。
--stage sft:表示训练的阶段,其中“sft”代表“监督式微调”(Supervised Fine-Tuning)。
--do_train True:这个标志表示脚本应该执行训练。
--model_name_or_path /home/ubuntu/THUDM/chatglm3-6b:这指定了预训练模型的目录位置。
--finetuning_type lora:这指定微调将使用LoRA(低秩适应),这是一种对大型模型进行高效微调的方法。
--template chatglm3:这表示正在微调的模板或基础模型架构。
--dataset_dir data:这是数据集所在的目录。
--dataset test_identity:这指定了用于微调的数据集的名称。
--cutoff_len 1024:这个参数指定输入数据的最大序列长度。
--learning_rate 5e-05:这是优化器的初始学习率。
--num_train_epochs 120.0:这表示总的训练轮数。
--max_samples 100000:这指定了从数据集中使用的最大样本数。
--per_device_train_batch_size 2:这是每个GPU的训练批次大小。
--gradient_accumulation_steps 8:这个参数累积多个步骤的梯度,以有效地增加批次大小。
--lr_scheduler_type cosine:这表示学习率调度器将使用余弦衰减策略。
--max_grad_norm 1.0:这将剪辑梯度,防止梯度爆炸。
--logging_steps 5:这指定了记录训练指标之间的步数。
--save_steps 100:这表示保存检查点之间的步数。
--warmup_steps 0:这表示训练开始时的预热步数。
--optim adamw_torch:这指定了要使用的优化器,即PyTorch中实现的AdamW。
--report_to none:这禁用了将训练指标报告给远程服务。
--output_dir saves/ChatGLM3-6B-Chat/lora/train_5-120:这是保存训练模型和日志的目录。
--fp16 True:这启用了混合精度训练,以实现更快和更节省内存的训练。
--lora_rank 8:这指定了LoRA使用的低秩近似的等级。
--lora_alpha 16:这是LoRA的一个超参数,用于缩放低秩适应的权重。
--lora_dropout 0.1:这指定了LoRA层的丢弃率。
--lora_target query_key_value:这表示LoRA适应将针对注意力层中的查询和键值矩阵。
--plot_loss True:这个标志表示脚本应该在训练过程中绘制损失图。