MIT MAS.S60 多模态 AI：Paul Liang 主讲，15 周从融合对齐到推理智能体，YouTube 全集公开
MIT MAS.S60 Multimodal AI: Paul Liang's 15-Week Course from Fusion-Alignment to Reasoning Agents — Full YouTube Playlist Open
📌 课程主页：https://mit-mi.github.io/mmai-course/spring2026/ 日程页：https://mit-mi.github.io/mmai-course/spring2026/schedule/ GitHub 组织：https://github.com/MIT-MI 授课：Paul Liang ｜ MIT Spring 2026 ｜ MAS.S60 / 6.S985 双授课号
MIT 2026 年春季学期开了一门多模态 AI 课：MAS.S60（Media Arts and Sciences）和 6.S985（EECS）双授课号同步挂，也就是说两个院系的学生都能修。
主讲是 Paul Liang，MIT Media Lab + EECS 助理教授，负责 Multisensory Intelligence 研究组，前 CMU MultiComp Lab 博士。个人主页：https://pliang279.github.io/
联合讲师还有：Dimitris Bertsimas（MIT 运筹学）、Jinhua Zhao（MIT Media Lab）、Sang-Gook Kim（MIT 材料科学）——后三位带各自领域的跨模态应用专题。
上课时间：周二、周四 2:30–4:00pm，MIT Media Lab E14-633。
15 周课程结构
课程主线：多模态数据 → 融合 → 对齐 → 大模型 → 生成 → 推理 → 交互 → 智能体 → 自进化
| 周 | 讲次 | 主题 |
|---|---|---|
| W1 | 1.1–1.2 | 课程介绍 / 多模态数据集 |
| W2 | 2.1–2.2 | AI 基础教程 / 数据与异质性 |
| W3 | 3.2 | 多模态融合（3.1 总统日停课） |
| W4 | 4.1–4.2 | 更多融合方法 / 多模态对齐 |
| W5 | 5.1–5.2 | 大型多模态模型 / MLLM 教程 |
| W6 | 6.1–6.2 | 多模态生成 / 现代生成式 AI |
| W7 | 7.1–7.2 | 期中复习 / 期中考 |
| W8 | — | 春假 |
| W9 | 9.1–9.2 | 多模态推理 / 可解释推理 |
| W10 | 10.1–10.2 | 多模态交互 / 跨模态迁移 |
| W11 | 11.1–11.2 | 多模态 + 制造 / 多模态 + 设计 |
| W12 | 12.1–12.2 | 规定性建模 / 智能体教程 |
| W13 | 13.1–13.2 | 多模态 + 城市 / 多模态 + 交通 |
| W14 | 14.1–14.2 | 自进化 AI / AI 为新感官 |
| W15 | 15.1 | 项目展示 |
作业结构（五次 Homework）
从社区 portfolio 仓库可以看到作业覆盖范围：
| 作业 | 内容 |
|---|---|
| HW1 | 数据流水线、EgoBlind 数据预处理、指标、提示工程 |
| HW2 | 融合与对齐：早期/晚期/张量/LMF 融合，CLIP 对比学习 |
| HW3 | VLM：基准推理、提示工程、LoRA 微调 |
| HW4 | GRPO for VLM：阅读作业 + 实操微调 |
| HW5 | Agentic AI：可访问性审计 Agent、安全评估、Discord 部署 |
最终项目：自选方向，在课程中期提交提案，学期末展示。有团队已发布 HuggingFace 上的 LoRA 适配器和 CLIP 分类器。
已公开的 YouTube 讲座
各讲单独发布，部分讲座直接在课程主页日程中链接：
| 讲次 | 主题 | YouTube |
|---|---|---|
| W1.1 | Course Introduction | https://youtu.be/Xm2crsD5ngA |
| W1.2 | Multimodal Datasets | https://youtu.be/zlTCAER4z9A |
| W2.2 | Data & Heterogeneity | https://youtu.be/CH2_US07OdA |
| W4.1 | More Multimodal Fusion | https://youtu.be/0SOieOIe4HI |
| W4.2 | Multimodal Alignment | https://youtu.be/u-H43tRgYJg |
| W5.1 | Large Multimodal Models | https://youtu.be/H9nvkyTsrnI |
| W6.1 | Multimodal Generation | https://youtu.be/KlHIR7lT-mo |
| W6.2 | Modern Generative AI | https://youtu.be/LGBQ0c_4HBA |
| W9.1 | Multimodal Reasoning | https://youtu.be/Vhe_bX8mV2s |
| W10.1 | Multimodal Interaction | https://youtu.be/Sk_TYpA6DWA |
| W10.2 | Cross-modal Transfer | https://youtu.be/IDaMEG_zY6A |
| W14.1 | Self-evolving AI | https://youtu.be/FhcHTSjvuKk |
| W14.2 | AI for New Senses | https://youtu.be/UJra8aMCHXg |
核心知识框架
多模态融合（Week 3–4） 早期融合（特征拼接）、晚期融合（决策融合）、张量融合（TFN）、低秩多模态融合（LMF）、CLIP 对比学习。核心问题：如何在不同模态数据异质性下有效对齐表示。
大型多模态模型（Week 5） 从专用视觉-语言模型到统一多模态模型，涵盖预训练策略和 instruction tuning。
多模态推理（Week 9） 可解释推理：链式思考在多模态场景下的扩展、推理与感知的边界。
智能体（Week 12） 从工具调用到多步规划，代理系统在多模态输入环境下的构建。
自进化 AI（Week 14） 自我改进机制在多模态场景的应用，与 CS329A 的”测试时算力制造训练数据”论点高度呼应。
GitHub 组织 MIT-MI
包含 mmai-course 仓库（Spring 2026 课程材料）和前序课程 how2ai-course。课程大纲也在 Google Docs 完整公开。
适合谁
- 想系统学多模态 AI 理论（不只是用工具）的研究者和工程师
- 需要从融合、对齐、生成到推理完整知识图的人
- 想了解跨领域应用（制造、城市、交通）的从业者
Paul Liang 本人是 MultiBench 多模态基准的作者，这门课是他把自己的研究体系整理成教学材料的结果，比很多”调包课”有更扎实的理论深度。
开源代码与模型仅供学习、勿直接用于工作。
© 2026 Author: Mycelium Protocol. 本文采用 CC BY 4.0 授权——欢迎转载和引用，须注明作者姓名及原文链接，不得去除署名后以原创发布。
📌 Course page: https://mit-mi.github.io/mmai-course/spring2026/ Schedule: https://mit-mi.github.io/mmai-course/spring2026/schedule/ GitHub org: https://github.com/MIT-MI Instructor: Paul Liang | MIT Spring 2026 | MAS.S60 / 6.S985
MIT’s Spring 2026 course “Multimodal AI” is dual-listed under MAS.S60 (Media Arts and Sciences) and 6.S985 (EECS), open to students from both departments.
The primary instructor is Paul Liang, MIT Media Lab + EECS assistant professor, running the Multisensory Intelligence research group. Co-instructors Dimitris Bertsimas, Jinhua Zhao, and Sang-Gook Kim each bring cross-modal application topics from their respective domains (operations research, urban design, materials science).
15-Week Course Structure
The course arc: multimodal data → fusion → alignment → large models → generation → reasoning → interaction → agents → self-evolving AI
| Week | Topics |
|---|---|
| W1 | Course introduction / Multimodal datasets |
| W2 | AI tutorial / Data and heterogeneity |
| W3 | Multimodal fusion |
| W4 | More fusion methods / Multimodal alignment |
| W5 | Large multimodal models / MLLM tutorial |
| W6 | Multimodal generation / Modern generative AI |
| W7 | Midterm review / Midterm exam |
| W8 | Spring break |
| W9 | Multimodal reasoning / Explainable reasoning |
| W10 | Multimodal interaction / Cross-modal transfer |
| W11 | Multimodal + manufacturing / Multimodal + design |
| W12 | Prescriptive modeling / Agents tutorial |
| W13 | Multimodal + cities / Multimodal + transportation |
| W14 | Self-evolving AI / AI for new senses |
| W15 | Project presentations |
Assignment Structure (Five Homeworks)
| Assignment | Coverage |
|---|---|
| HW1 | Data pipeline, EgoBlind preprocessing, metrics, prompt engineering |
| HW2 | Fusion and alignment: early/late/tensor/LMF fusion, CLIP contrastive learning |
| HW3 | VLMs: baseline inference, prompt engineering, LoRA fine-tuning |
| HW4 | GRPO for VLMs: reading + hands-on fine-tuning |
| HW5 | Agentic AI: accessibility audit agent, safety eval, Discord deployment |
Published YouTube Lectures
Lectures are published individually (not as a single playlist). Confirmed links from the course schedule:
| Lecture | Topic | YouTube |
|---|---|---|
| W1.1 | Course Introduction | https://youtu.be/Xm2crsD5ngA |
| W1.2 | Multimodal Datasets | https://youtu.be/zlTCAER4z9A |
| W4.1 | More Multimodal Fusion | https://youtu.be/0SOieOIe4HI |
| W4.2 | Multimodal Alignment | https://youtu.be/u-H43tRgYJg |
| W5.1 | Large Multimodal Models | https://youtu.be/H9nvkyTsrnI |
| W6.1 | Multimodal Generation | https://youtu.be/KlHIR7lT-mo |
| W9.1 | Multimodal Reasoning | https://youtu.be/Vhe_bX8mV2s |
| W14.1 | Self-evolving AI | https://youtu.be/FhcHTSjvuKk |
| W14.2 | AI for New Senses | https://youtu.be/UJra8aMCHXg |
Core Knowledge Framework
Multimodal Fusion (Weeks 3–4): Early fusion (feature concatenation), late fusion (decision fusion), tensor fusion (TFN), low-rank multimodal fusion (LMF), CLIP contrastive learning. The core challenge: aligning representations across modalities with different data distributions.
Large Multimodal Models (Week 5): From specialized vision-language models to unified multimodal models, covering pretraining strategies and instruction tuning.
Multimodal Reasoning (Week 9): Chain-of-thought in multimodal settings, the boundary between reasoning and perception.
Agents (Week 12): From tool-calling to multi-step planning in multimodal input environments.
Self-evolving AI (Week 14): Self-improvement mechanisms for multimodal settings — closely aligned with the CS329A thesis that “test-time compute manufactures training data.”
GitHub Org MIT-MI
Hosts mmai-course (Spring 2026 materials) and the predecessor how2ai-course. The full syllabus is also available as a public Google Doc.
Who It’s For
- Researchers and engineers who want to systematically study multimodal AI theory (not just use tools)
- Anyone who needs a complete knowledge map from fusion and alignment through generation and reasoning to agents
- Practitioners interested in cross-domain applications (manufacturing, urban planning, transportation)
Paul Liang is the author of MultiBench, the multimodal AI benchmark. This course is his research system organized as teaching material — with more theoretical depth than most “API-calling” AI courses.
Open-source code and models are for learning purposes only — do not use directly in production work.
© 2026 Author: Mycelium Protocol. Licensed under CC BY 4.0 — free to share and adapt with attribution. You must credit the author and link to the original; removing attribution and republishing as original is not permitted.
关于本站 · 免责声明
🍄 Mushroom Research Blog 是非营利、免费公开的个人科技观察博客与公众号 XStack18，不接受商业合作、不代表任何企业或机构立场，也不谋求商业利益。我们以个人视角客观中立地记录和分析 AI、Web3 等领域的最新模型发布与技术动态——不止转述新闻标题或二手信息，而是给出有独立思考的深入分析，希望帮更多人获得有价值的一手科技认知。
⚠️ 文中介绍的开源代码与模型，仅供学习交流与技术借鉴。它们大多仍处于早期阶段，有待进一步研究和验证，请勿直接用于工作或生产环境；如需采用，请先自行充分测试，并核实其许可证与安全性。
Open-source code and models featured here are shared for learning and reference only. Most are early-stage and still need further study and verification — please don't use them directly in your work or in production. Test them thoroughly and check their licenses and security first.
- 本站文章均为作者基于公开信息的个人研究与观点整理，不代表文中提及的任何公司、产品、模型的官方立场，未与其构成商业关联或合作关系。
- 科技行业信息更新极快，我们尽力保证内容准确、及时，但不对完整性、实时性做绝对保证，具体请以相关企业/项目官方公告为准。
- 文中引用的第三方商标、产品名称、图片、数据等版权归原权利人所有，我们会尽量注明来源；如你认为存在版权疑问或侵权，请通过下方邮箱联系我们，收到通知后会尽快核实处理（更正、加注来源或删除）。
- 文章内容仅为技术科普与个人观点，不构成投资、法律或其他专业建议，据此进行任何决策的后果需自行判断和承担。
📮 侵权 / 勘误 / 合作咨询：[email protected]
💬 评论与讨论
使用 GitHub 账号登录后发表评论