lit-gpt配置与使用
lit-gpt使用
github地址
使用模型
下载对应模型
- 命令行下载（存在无法访问的问题 需要翻墙
1 | python scripts/download.py --repo_id stabilityai/stablelm-base-alpha-3b |
- 去huggingface官网下载,放入对应文件夹——checkpoint
解析对应格式
会生成对应
lit_model.pth文件
1 | python scripts/convert_hf_checkpoint.py --checkpoint_dir checkpoints/stabilityai/stablelm-base-alpha-3b |
模型微调
Prefix Tuning与LLaMA-Adapters
Prefix Tuning
- 添加前缀指导模型的生成过程
- 前缀引导模型生成特定主题、风格或格式的文本
LLaMA-Adapters 语言自适应模块
- 在结构中添加自适应模块来增强模型的灵活性与可调节性
- 自适应模块是一个小型神经网络
下载微调数据集
- checkpoint_dir 指定为哪个模型准备Alpaca数据集
1
python scripts/prepare_alpaca.py --checkpoint_dir checkpoints/stabilityai/stablelm-base-alpha-3b
准备自己的数据集 网址
相关参考
