1500深度学习笔记

这项工作研究了多模态知识如何在lvlm中发展。使用early exit 和降维技术，我们设计了几种策略来跟踪模型中的知识，并在三个层次上探索这个主题：单个令牌概率、令牌概率分布和特征编码。基于两个关键节点，即关键层和突变层，我们首次深入了解了lvlm中的知识进化过程。此外，根据不同进化阶段的特点，我们还在模型压缩和幻觉消除等问题上探索了新的视角。