发布日期:2025-08-29 07:19 点击次数:181
如今,加速工夫翻新是金融行业已毕降本增效主义的主要妙技。跟着多模态工夫在金融行业落地开云app官网入口网址,何如处罚工夫难关、减少高诡计老本成为了度小满侧重的征询标的。度小满捏续翻新多模态工夫,与哈尔滨工业大学共同研发SmartTrim,该工夫通过清雅化的剪枝计策已毕了模子性能与诡计遵循的双重种植。
SmartTrim保捏模子性能的同期,大幅种植诡计遵循
在视觉言语大模子(VLM)的征询和应用中,高诡计老本一直是制约其庸碌部署的主要贬抑。近日,哈尔滨工业大学齐集度小满共同研发出一种翻新的自妥贴剪枝算法——SmartTrim。该算法针对多模态大模子的冗余诡计进行灵验削减,已毕了权贵的遵循种植,关系征询遵循已被国外当然言语处理界限顶级会议COLING 24接受。
据先容,SmartTrim工夫的中枢在于其自妥贴剪枝才气,通过分析模子中每层的token暗意和attention head的冗余性,智能识别并剪除无须要的诡计包袱。这一历程中,SmartTrim不仅商量了token在单一模态序列中的遑急性,还罕见强调了跨模态交互中的要害作用。通过这种清雅化的剪枝计策,SmartTrim八成在保捏模子性能的同期,大幅种植诡计遵循。
在基于 VQA 微调的 METER 的跨模态编码器中,层内不同 token(上)和 attention head(下)暗意的雷同性。
SmartTrim框架的实践触及两个要害组件:跨模态感知的Token修剪器和模态自妥贴的提防力头修剪器。Token修剪器哄骗多层感知器(MLP)结构,智能地识别并去除那些关于面前层不遑急的Token。这一历程不仅商量了Token在文本或图像序列中的独处遑急性,还空洞了它们在跨模态交互中的孝顺。提防力头修剪器则成功集成在模子的自提防力模块中,评估并修剪那些冗余的提防力头,从而优化了模子的诡计遵循。
SmartTrim 框架结构图
SmartTrim在METER和BLIP两个VLM上已毕2-3倍加速
在教师SmartTrim模子时,征询东说念主员取舍了一种勾通任务关系缱绻和诡计支拨缱绻的双重优化计策。通过重参数化技巧,处罚了不行导二值mask的问题,已毕了模子的端到端教师。此外,自蒸馏和课程学习计策的引入,进一步提高了剪枝后模子的性能,确保了教师历程的褂讪性。
Token 的冉冉剪辑修剪历程
实验限制标明,SmartTrim在METER和BLIP两个VLM上已毕了2-3倍的加速,同期将性能赔本最小化。这一遵循不仅在表面上具有翻新性,也为试验应用中的模子优化提供了新的想路。罕见是在1.5倍加速比下,SmartTrim的性能甚而逾越了原始模子。在高加速比下,SmartTrim比较其他神志展现出权贵上风。
SmartTrim的推出开云app官网入口网址,为多模态大模子在金融行业应用与发展提供了全新标的。继研发推出SmartTrim后,度小满还将连续聚焦多模态,约束种植工夫实力,通过布局各项前沿科技缓解金融行业的发展难熬,助力金融行业高质料发展。