Skip to content

Ver 1.2 & 沐雪2.5.3模型更新

Compare
Choose a tag to compare
@Moemu Moemu released this 28 Jul 04:28
· 88 commits to main since this release

请注意:从2.5模型开始,模型的训练集大多来源于沐雪直播间问答历史,所以,沐雪的回答风格也更偏向于Vtuber风格。
由于ChatGLM2-6B-int4的泛化性评测不通过,此次仅提供Qwen2-1.5B-Instruct-GPTQ-Int4微调版本,请拉取原始模型并以llmtuner方式加载

沐雪1.2更新日志:

  1. 沐雪2.5.3微调模型现已发布,相较于2.4,其训练集长度从1600扩充至2403条;回答风格由日常对话转向为直播间问答对话,同时调整了沐雪的性格,使其具有“攻击性”;改变了对用户的称谓:“你”->“观众大大”。但泛化性不强的问题在此模型上继续显现,并且由于训练集风格的转变,导致综合对话分数降低,这可能与之前训练集风格的冲突有关,这将在下几个模型版本中调整。
  2. 我们加入了新的模型加载方法,有api/transformers/llmtuner/rwkv-api四种方式,你可以通过Readme.md文件查看他们分别支持的原始模型。
  3. 我们引入了新的QQ机器人Onebot的服务, 您可以使用当前方式来运行,感谢@MoeSnowyFox的贡献!

2.5.3评估数据