AI Art Engine:节点图驱动的本地 AI 创作工作台,内置 MCP

AI Art Engine: Local-First AI Creative Workbench with Node Graph and Built-in MCP

Tech-Experiment #AI创作#开发工具#MCP#节点图#视频制作#3D资产
🇨🇳 中文

把”短剧/广告/成片”这类工作流完整跑通,通常需要切换:图生成用 ComfyUI,视频用可灵或 Seedance,3D 用 Meshy,配音用 ElevenLabs,剪辑用 PR/达芬奇,编排靠 AI 对话窗口。切换成本高,资产流转麻烦,提示词在各个工具之间对齐更费时间。

AI Art Engine 的定位是把这些工作在一个桌面端应用里完成:资产、分镜、节点图、成片时间线都在同一个本地工程里,模型调用走你自己的 API Key,数据不出本机。

GitHub: https://github.com/Justin-sky/ai-art-engine | ⭐ 203 | GPL-3.0 | TypeScript + Electron


核心架构:节点图

AI Art Engine 的生成核心是节点图——把文本/图片/视频/声音/3D/决策等不同类型的节点连成有向图,按拓扑顺序执行。

节点类型:

类型代表节点
文本生成文本节点(接 30+ 提供商)
图片生成Seedream / CogView / gpt-image / ComfyUI 等
视频生成Seedance / Veo 3.1 / Kling / MiniMax / 可灵
3D 模型Meshy / Tripo / Rodin / Luma AI / Lux3D
声音TTS / 多说话人对话 / 音效 / 音乐
空间世界World Labs Marble(3D 沉浸式世界)
决策OpenRouter Decisions API
宿主资产内嵌子图,暴露边界 I/O

任务队列可以复用共同上游节点(多个下游共享同一张输入图),支持任务容错模式——某个节点失败不会中断整条链,而是标记失败然后继续其他分支。


MCP Server:外部 Agent 直连操作

这是和大多数创作工具不同的一点。

内置 MCP Server 支持 stdio 桥或 HTTP 两种接入方式,让 Claude Code、Codex 等外部 AI Agent 可以直接操作你的本地工程:

  • 规划并落盘工作流
  • 运行生成任务
  • 读写资产和节点图
  • Token 跨重启持久复用、操作审计、并发闸门

同时,应用内有 AI 对话面板——在聊天里 @ 引用工程资产,让 Agent 调用 MCP 工具直接出图、剪片、导出。

这两条路径(应用内对话 + 外部 Agent)走同一套工具集。应用内的 Ask/Plan 模式约束写入;外部 Agent 通过配置的权限级别接入。


Blender MCP 工具组

这是最让 3D 工作流受益的部分:9 个 MCP 工具让 AI 直接在 Blender 进程里操作,不需要 uv、不起 Python 子进程、不改 Blender 配置。

工具清单:

工具作用
get_scene_info查场景物体列表
get_world_state_snapshot全局状态快照
get_object_info查选中对象
execute_blender_code在 Blender 进程内执行 Python(完整 bpy/bmesh/mathutils 访问)
get_viewport_screenshot抓视口画面,回给多模态模型
export_scene导出 GLB/GLTF/FBX/OBJ/USD/STL
describe_node_type查节点端口
bpy_api_lookup查 bpy API
get_addon_status查 addon 版本

同时兼容社区方案(ahujasid/blender-mcp addon.py)和官方方案(Blender Lab MCP Server 扩展),在设置里切换,工具接口完全一致。

应用主动出站连接 Blender addon 的 localhost:9876,不需要反向代理。


提供商覆盖

30+ 模型提供商,按类型举例:

文本:OpenRouter / OpenAI / DeepSeek / 智谱 / Kimi / xAI / Gemini / vLLM / Ollama / LM Studio / 火山方舟

图片:Seedream / CogView / gpt-image-1 / ComfyUI API 2 / Grok Imagine

视频:Seedance / Veo 3.1 / Kling / MiniMax / 可灵 / ComfyUI API 2

3D:Meshy / Tripo / Rodin(Hyper3D)/ Luma AI / Lux3D

声音/音乐:ElevenLabs(含多说话人对话 + 音效 + 音乐)/ MiniMax / 通义千问 / OpenRouter(Google Lyria 3)

空间世界:World Labs Marble(文生/图生世界,输出 GLB + 高斯泼溅 + 360 全景图)

可用 NewAPI 或自定义 Base URL 接入各种 one-api 兼容中转网关。


Skill 系统

技能文件是 DSH SKILL.md 格式(frontmatter name/description + Markdown 正文),放进指定技能目录后下次对话自动生效。

内置了专业创作技能(不需要配置):分镜拆解、动作节拍表、导演审核、图生提示词、多角度、扩图、重绘、抠图、高清放大、情绪、灯光……外部 Agent 和应用内 Agent 用的是同一套技能清单,以 <available_skills> 注入对话上下文。


人像处理节点

image.portrait 是一个深度嵌套的处理节点,Dive 进去可以看到 16 组调整工具(修复/磨皮/肤色/五官/眼睛/妆容/身形/光影/调色/质感/区域/背景/证件照/AI增强/预设/导出),每项有 5 档强度。

它的执行路径只有一条:参数合成提示词 → 调用你选的图片模型出图。本地不做像素滤镜,是纯 AI 生成。批量模式支持最多 24 张。


许可证说明

GPL-3.0——如果你基于 AI Art Engine 的源码开发并分发,需要以同等许可证开放。

作为用户直接下载安装包使用不受 GPL 约束。


GPL-3.0 开源。Justin-sky 维护,203 stars,TypeScript + Electron,Windows/macOS/Linux 多平台。开源仅供学习参考。


🇬🇧 English

AI Art Engine: Local-First AI Creative Workbench with Node Graph and Built-in MCP

Short drama/ad/finished-video workflows usually require context switching: ComfyUI for image generation, Kling or Seedance for video, Meshy for 3D, ElevenLabs for audio, a video editor for cuts. Context switching is expensive; asset handoff is messy; prompt consistency across tools takes real effort.

AI Art Engine puts this workflow in a single desktop app: assets, storyboards, node graph, and video timeline in one local project, using your own API keys with no data leaving your machine.

GitHub: https://github.com/Justin-sky/ai-art-engine | ⭐ 203 | GPL-3.0 | TypeScript + Electron


Core Architecture: Node Graph

The generation core is a directed node graph — connect text/image/video/audio/3D/decision nodes in any topology, execute in topological order. Node types cover all major generation modalities. Task queues reuse common upstream nodes; fault-tolerant mode marks failed nodes and continues other branches instead of halting the whole chain.


Built-in MCP Server

External AI agents (Claude Code, Codex) can connect via stdio bridge or HTTP to directly operate local projects: plan and commit workflows, run generation tasks, read/write assets and node graphs. Token state persists across restarts with audit logging and concurrency gates.

The built-in AI chat panel (@-references assets, lets the agent call MCP tools) and external agent connections share the same tool set.


Blender MCP Tool Group

9 tools for direct Blender process control from AI chat — no uv, no Python subprocess, no Blender config changes. Key tools: execute_blender_code (full bpy/bmesh/mathutils access), get_viewport_screenshot (for multimodal vision feedback), export_scene (GLB/GLTF/FBX/OBJ/USD/STL). Supports both the community addon (ahujasid/blender-mcp) and the official Blender Lab extension — identical tool interface either way.


30+ AI Provider Coverage

Text, image, video, 3D, audio, music, spatial world generation, and object storage. Highlights: ElevenLabs (TTS + multi-speaker dialogue + sound effects + music), World Labs Marble (text/image/video → immersive 3D world + Gaussian splat + panorama), Meshy/Tripo/Rodin/Luma AI/Lux3D (3D model generation), ComfyUI API 2 (local or cloud). NewAPI or custom Base URL for any one-api compatible gateway.


Skill System

SKILL.md-format skill files (DSH convention: frontmatter name/description + Markdown body) auto-load from a designated directory. Built-in professional skills cover storyboard breakdown, beat tables, director review, multi-angle generation, inpainting, upscaling, portrait retouching, and more. Injected as <available_skills> into conversation context.


GPL-3.0. Maintained by Justin-sky, 203 stars, TypeScript + Electron, Win/macOS/Linux. For technical reference only.

💬 评论与讨论

使用 GitHub 账号登录后发表评论

关于本站 · 免责声明

🍄 Mushroom Research Blog 是非营利、免费公开的个人科技观察博客与公众号 XStack18,不接受商业合作、不代表任何企业或机构立场,也不谋求商业利益。我们以个人视角客观中立地记录和分析 AI、Web3 等领域的最新模型发布与技术动态——不止转述新闻标题或二手信息,而是给出有独立思考的深入分析,希望帮更多人获得有价值的一手科技认知。

⚠️ 文中介绍的开源代码与模型,仅供学习交流与技术借鉴。它们大多仍处于早期阶段,有待进一步研究和验证,请勿直接用于工作或生产环境;如需采用,请先自行充分测试,并核实其许可证与安全性。
Open-source code and models featured here are shared for learning and reference only. Most are early-stage and still need further study and verification — please don't use them directly in your work or in production. Test them thoroughly and check their licenses and security first.

  1. 本站文章均为作者基于公开信息的个人研究与观点整理,不代表文中提及的任何公司、产品、模型的官方立场,未与其构成商业关联或合作关系。
  2. 科技行业信息更新极快,我们尽力保证内容准确、及时,但不对完整性、实时性做绝对保证,具体请以相关企业/项目官方公告为准。
  3. 文中引用的第三方商标、产品名称、图片、数据等版权归原权利人所有,我们会尽量注明来源;如你认为存在版权疑问或侵权,请通过下方邮箱联系我们,收到通知后会尽快核实处理(更正、加注来源或删除)。
  4. 文章内容仅为技术科普与个人观点,不构成投资、法律或其他专业建议,据此进行任何决策的后果需自行判断和承担。

📮 侵权 / 勘误 / 合作咨询:[email protected]