如何确定minicpm-o 的audio part

[yangJirui]

在mm_plugin.py文件中，https://github.com/hiyouga/LLaMA-Factory/blob/main/src/llamafactory/data/mm_plugin.py， line 729, minicpm-o的audio_part_ls取决于 有多少个 audio文件；
也就是说如果一个sample如下：
{
"role": "user",
"content": "比较两个音频的情绪，哪个更加高昂：《audio1》, 《audio2》;
"audios": [path1, path2]
}
此时，audio1和audio2的audio_part = [0, 1]

但是在 https://huggingface.co/openbmb/MiniCPM-o-2_6/blob/main/modeling_minicpmo.py 中，
line 948，audio_part是取决于是否在一个 content的内；也就是说上述的sample的audio_part= [0, 0]；

所以，哪种处理方式会更加合理一点？

当在处理一个长音频时，我先将这个长音频划分了多个子文件，是否将所有音频的子文件的audiopart都设置为[0, 0, ...0]更加合理？
这种情况按照mm_plugin.py https://github.com/hiyouga/LLaMA-Factory/blob/main/src/llamafactory/data/mm_plugin.py 的默认处理方式，是不是会出问题？

如：
{
"role": "user",
"content": "分析这个长音频在什么时间出现BGM；1:《audio》, 2:《audio》 ... 10:《audio》";
”audios": [path1, path2 .... path10]
}

[hiyouga]

cc @BUAADreamer

[BUAADreamer]

@yangJirui 这个PR试试能否解决您的问题，audio_parts参数其实训练时没有必要加，现在已经设置为None避免问题

#6998

[yangJirui]

感谢！解答了我的疑惑！