tokenizer训练OOM 。内存60G

[musexiaoluo]

调用 train_my_huggingface_wiki_tokenizer 方法时，OOM 。 超过了 60G 的内存

[charent]

试试用Windows训练，把硬盘当作内存用。另外，可以对数据集进行随机采样，没必要用全部的数据训练tokenizer。