bug occured when running project：collabllm in recipe

[Kedaya66]

System Info

    grouped_messages = [
        [message_lst[i]["messages"][j] for i in range(len(message_lst))] for j in range(num_repeat_rollouts)
    ]

recipe/collabllm/reward_function.py
list index out of range problems in function ：async def _compute_rewards_async(self, data: DataProto, return_dict: bool = False) -> torch.Tensor | dict[str, Any]:

Information

• The official example scripts
• My own modified scripts

Tasks

• An officially supported task in the examples folder (such as GLUE/SQuAD, ...)
• My own task or dataset (give details below)

Reproduction

1

Expected behavior

1

[Kedaya66]

1. 参数设置
   batch_size=4
   roll_num=2

2. message_lst 是 shape 为 (8,) 的 ndarray 对象
   0-3 索引元素当前 batch 每一样本第一条轨迹，轨迹长度分别为 9，15，9，11
   4-7 索引元素依次为该 batch 每一样本的第二条轨迹，轨迹长度分别为 9，15，9，11

3. 其中每个元素数据结构为字典，键为 messages，值为列表（存储一条多轮对话轨迹），列表中元素为 Message 对象，存储 role 键值对

num_repeat_rollouts = len(message_lst[0]["messages"])

原代码

grouped_messages = [
[message_lst[i]["messages"][j] for i in range(len(message_lst))] for j in range(num_repeat_rollouts)
]

拆分代码

grouped_messages=[]
for j in range(num_repeat_rollouts):
tmp=[]
for i in range(len(message_lst)):
tmp.append(message_lst[i]["messages"][j])
grouped_messages.append(tmp)

运行例子：

message_lst 是 shape 为 (8,) 的 ndarray 对象，每个元素数据结构为字典，键为 messages，值为列表（存储一条多轮对话轨迹）
9，15，9，11，9，15，9，11

# bug 原因：
    当 batch 首样本后的某样本轨迹长度小于首样本时，报错