vary-toy

[ShaunLeeblob]

ModuleNotFoundError: No module named 'mindspore.nn.layer.flash_attention'

[ShaunLeeblob]

mindspore版本 试过2.3.0 2.3.1 2.4.0 都会报错

[panshaowu]

您好，vary-toy仅适配了MindSpore 2.2版本。
该问题是由于MindSpore 2.3及后续版本，将FlashAttention模块移到了MindFormers套件中。
如您必须使用MindSpore 2.3及后续版本，则需要先安装MindFormers套件：

python -m pip install mindformers

然后修改mindocr/nlp/llm/qwen_model.py中第11行的库导入代码：

# from mindspore.nn.layer.flash_attention import FlashAttention
from mindformers.modules.flash_attention import FlashAttention