如何构建训练集 How to create training dataset

[venshow-w]

您好，非常感谢分享你们的工作，我有几个关于训练集构建的问题：

1. 我在论文上看到除了目标区域的mask之外，还会额外随机mask部分区域，请问这个随机mask区域的text怎么做的呢？是在每次迭代中都随机mask还是先预处理生成一批随机mask的数据，然后训练时读取这个数据？
2. 每次读取的mask是只有一个封闭区域吗？或者说是针对单个目标物体吗？如果是多个目标物体应该怎么构建这个数据集？多目标物体的mask和局部文本位置怎么对应呢？
3. 可以不可以分享几例你们的训练集？不用全部的，只需几个例子就可以，或者数据集构建的说明
   感谢！
   期待您的回复

[zengyh1900]

hi @venshow-w

1. 随机 mask 的数据是想让模型根据图片已知的内容来推断被mask的内容，所以不需要text; 为了训练稳定，会有一定概率用图像的caption； 随机mask可以在线随机生成，也可以提前生成然后训练时候读取，随机生成有现成的方法；
2. 针对单个物体的 object inpainting 是只考虑了 instance mask 也就是单个实例的；多个实例本工作暂不考虑；你也可以先测试看看是否现有模型能否支持一次inpaint多个实例

比如 训练 P_obj 的数据：

训练 P_shape

训练 outpainting 就是随机四边有mask

[zqlsnr]

@zengyh1900 嗨，您好！请问您的意思是不管是inpainting还是outpainting，随机mask构造训练数据，训练时需要图像和图像mask对，都不需要用到text了吗？

[zengyh1900]

hi @zqlsnr

1. 我们的目标是这样的。我们认为随机构造mask的时候，更希望模型能根据没有被遮挡的内容来进行补全，所以训练的时候不加文本的。
2. 但是为了稳定的训练和保留一定的能用文本指引的能力，训练的时候这部分是有一定概率用上image caption 的。

[yanxirao]

@venshow-w @yeluoo @zengyh1900 大佬我建了一个PPT finetune交流群，大佬能加群，相互交流一下，有些数据处理方式，观看代码，咱们也猜不出来，大家可以一起分享经验，少走一些弯路。