[Feature] Difference between inputs and data_samples

[cucum13er]

What's the feature?

我最近在做的项目需要用到一个特殊的dataset，写了一个结构如下：
dataset的输出是{lr, ref-hr, hr}，分别代表了low-resolution, reference-high-resolution, 和high-resolution images
然后在preprocessor的过程中，我发现其中有两个key可以选，一个是在config里面的pipeline，另一个是preprocessor的data_keys参数
例如我在config里面是这样写的：
dict(type='PackInputs',
keys=['lr', 'ref', 'hr', 'regis'],
meta_keys=['lr_path', 'ref_path', 'hr_path'],
data_keys=['lr', 'ref', 'hr', 'regis']
)

我发现在forward_train里面(base_edit_model.py)有两个输入，把inputs和data_samples都在模型里面。请问我应该用哪个train比较好？(keys好像会被打包进inputs, data_keys会被打包在data_samples)

谢谢！

Any other context?

No response

[zengyh1900]

hi @cucum13er

1. 根据你的描述，你所做的任务比较偏向 reference-based sr，https://github.com/open-mmlab/mmagic/tree/main/configs/ttsr TTSR 是 cvpr 2020 的一篇工作，mmagic 已经支持，这里你可以做一个参考
2. 针对你的问题具体来说，inputs 一般是放模型输入的 tensor，data_samples 是放一些用于计算 loss、计算评价指标的数据，例如 ground truth。这样的话，在推理的时候，不需要计算loss，不需要计算评价指标，就只需要输入 inputs了，data_samples 就不是必须的了。
3. 我猜你可能是研究的场景，需要进行训练、评测，所以我的建议是，参考 TTSR，模型输入用 inputs，计算 loss 的时候从 model 里拿 groundtruth 来计算。