🔥 毒舌 GitHub
← 返回论文榜
OmniAlign-V: Towards Enhanced Alignment of MLLMs with Human Preference
Xiangyu Zhao, Shengyuan Ding, Zicheng Zhang, Haian Huang et al.
43.60/100
💧
灌水嫌疑 · 价值存疑
内容分 43.6 · 引用加成 +0.0 · 暂无引用数据

💡 本文提出200K规模多模态偏好对齐数据集OmniAlign-V与人工标注对齐基准MM-AlignBench,验证SFT/DPO可提升MLLM人类偏好对齐能力且保持VQA性能,全量资源已开源

#多模态对齐基建#数据堆料#DPO again#开源交朋友#multi-modal alignment in#dataset stacking#DPO again#open-source friendship

维度评分

创新性3.0 / 10
严谨性5.0 / 10
意义6.0 / 10
清晰度8.0 / 10
可复现性7.0 / 10

这是一篇多模态对齐赛道的常规数据基建工作,无核心方法创新,仅靠开源资源具备一定实用价值。

创新点/贡献:构建了200K规模的多模态偏好对齐训练数据集OmniAlign-V,推出人工标注的对齐评估基准MM-AlignBench,验证了SFT/DPO范式在多模态偏好对齐上的有效性,且承诺全量开源数据集、代码与模型权重。 问题与水分:无任何新对齐算法或理论突破,本质是对现有范式的数据层补充;未披露数据构建的独特筛选逻辑、标注质量控制流程(如标注者一致性、数据去重规则),无法证明其优于现有公开多模态偏好数据集;实验仅用“显著增强”等模糊表述,缺乏消融实验(如数据不同模块的贡献、DPO与SFT的适用边界)、对齐指标的具体提升数值、VQA性能的波动细节,结论支撑严重不足,堪称“宣称大于证据”的典型。 维度简评:创新性3分(纯数据堆料,无突破性思路,连数据标注范式都没创新);严谨性5分(实验与细节披露严重不足,结论可信度有限);意义6分(开源资源对社区有实用价值,但未解决对齐核心痛点,200K规模也不算突出);清晰度8分(摘要逻辑清晰,表述完整无歧义);可复现性7分(承诺全资源开源,可复现有基本保障,但细节不足可能影响实际复现效果)。 总评:属于对齐赛道的“交朋友式”工作,适合需要现成多模态偏好数据的开发者使用,但远达不到高质量研究的标准,数据独特性和实验严谨性是最大硬伤,属于“有用但无聊”的常规研究。