多模态学习

基于Stable Diffusion 3模型的免费在线AI文本生成图像平台 本平台基于Stability AI开发的原生Stable Diffusion 3模型搭建，采用多模态扩散变换器（MMDiT）架构，相比前代模型提升了图像保真度、多主体处理与文本匹配能力。支持免费在线使用，无需本地部署高性能硬件，同时提供API调用与模型下载渠道，适配不同创作需求。

基于多模态AI的音频生成工具，可根据视频文本生成同步音频 MMAudio不同于通用音频生成工具，聚焦音画同步的音频生成需求，依托多模态学习技术，可接收用户输入的视频与对应文本，输出和画面同步匹配的音频内容，可应用于影视制作、游戏开发等领域，帮助相关从业者提升音频生成的效率与质量，降低制作成本。

开源前沿多模态大语言模型，文本性能超原有主干模型 NVLM 1.0是一系列前沿多模态大型语言模型，在视觉-语言任务上取得了可媲美领先专有模型与开放模型的成果。不同于多数同类模型，NVLM 1.0经多模态训练后，文本性能反而超过了原LLM主干模型，项目已向社区开源完整模型权重与代码。

面向图像篡改检测定位领域的可解释泛化性多模态AI框架 FakeShield是针对图像伪造检测与定位（IFDL）领域检测黑箱性、跨篡改方法泛化能力不足两大痛点开发的多模态框架。该框架借助GPT-4o增强现有IFDL数据集，构建了多模态篡改描述数据集MMTD-Set，内置领域标签引导的可解释检测模块与文本引导的篡改定位模块，性能优于同类方法。

专注评估多模态大模型视觉数学能力的学术评估项目 由香港中文大学发起的MATHVERSE，聚焦多模态大型语言模型在视觉数学场景下的能力评估，区别于通用多模态能力评估项目，针对性锚定模型对数学问题中图表信息的解析、理解能力，填补了细分领域专项评估的空白，为多模态大模型在数学相关任务的迭代优化提供基准参考。

面向多模态大语言模型的开源扩展架构，融入稀疏Top-K门控MoE块 CuMo是多模态大型语言模型的扩展架构，通过在视觉编码器、MLP连接器融入稀疏Top-K门控专家混合块，提升模型可扩展性，推理阶段几乎不增加激活参数。预训练后初始化MoE专家，视觉指令调优采用辅助损失保证专家负载均衡，基于全开源数据集训练，在VQA、视觉指令遵循基准测试中性能超越同类模型。

Homebrew开发的专注语音理解提升的多模态检查点模型 Llama3-s v0.2是Homebrew Computer Company开发的多模态检查点模型，主打语音理解能力提升。该模型采用早期融合语义标记方案，结合社区反馈优化，简化模型结构、提升压缩效率，可实现一致的语音特征提取，在多项基准测试中表现稳定，开放实时演示供体验，开发团队计划后续解决现有限制。

瑞士EPFL开发的多模态Transformer模型，支持多类视觉任务研究 该模型是由瑞士洛桑联邦理工学院开发的多模态学习模型，依托Transformer架构搭建，支持条件生成任务。经实验验证，其在各类视觉任务中具备良好的通用性与可扩展性，不同于单一功能的视觉模型，该模型为多模态学习在视觉及其他领域的进一步探索，奠定了重要的研究基础。

专注语言学习的AI聊天工具，支持多模态看学练语言学习 区别于通用AI聊天机器人，Jolii AI聚焦语言学习场景，围绕观看、学习、开口练习搭建完整学习闭环，通过AI互动引导用户练习新语言，可针对发音、表达给出即时反馈，为缺乏练习伙伴的学习者提供沉浸式的语言练习环境。