Jellyfish 平台文档

1. 核心价值

Jellyfish 旨在连接完整的影视生产流，将 AI 能力转化为可复用的生产资产，并通过统一的基础设施解决生产过程中的核心痛点。

• 🚀 打通全流程生产链路 从脚本输入到分镜准备、图像/视频生成，再到任务追踪，所有环节集成在同一平台。
• 🔄 将 AI 输出转化为可复用资产 生成的镜头、候选素材、对白、提示词及生成任务均可被审查并重新利用。
• 🎭 将一致性作为第一优先级 通过集中化管理角色、场景、道具和服装，有效减少跨镜头的风格漂移（Identity Drift）。
• ⏱️ 长时生成任务可追踪管理 文本、图像及视频生成任务均通过统一的异步任务系统处理，支持状态监控、取消与恢复。
• 🏗️ 将 AI 能力构建为基础设施 模型管理、提示词模板、文件管理及基于 OpenAPI 的协作机制使系统具备高度的可扩展性。

2. 核心能力

Jellyfish 不仅仅是一个“AI 图像/视频”工具，而是一个围绕以下六大核心模块构建的生产工作台：

1. AI 脚本理解与分镜拆解
2. 镜头准备与确认工作流
3. 资产一致性与复用
4. 镜头级图像与视频编排
5. 统一异步任务中心
6. 模型、提示词与生成基础设施

3. 详细功能概览

3.1 AI 脚本理解与分镜拆解

• 分镜切割：将章节脚本自动拆分为具体镜头。
• 信息提取：提取角色、场景、道具、服装及对话。
• 优化检查：支持脚本优化、简化及一致性检查。
• 重点分析：支持针对角色肖像或场景细节的专项分析。

3.2 镜头准备与确认工作流

主要工作流为：

脚本拆解 → 镜头准备 → 候选确认 → 镜头就绪 → 生成工作区

准备阶段支持功能：

• 提取并刷新镜头候选项。
• 接受或忽略候选素材/对话。
• 将现有角色、场景、道具和服装进行关联。
• 修正镜头级基础信息。
• 使用统一的就绪状态（Readiness State）判断镜头是否准备好。

3.3 资产一致性与复用

系统在全局模型中维护以下实体的共享状态：

• 角色 / 演员
• 场景
• 道具
• 服装

作用： 支持跨镜头资产复用，并有助于稳定风格与身份一致性。

3.4 镜头级图像与视频编排

一旦镜头就绪，生成工作区支持以下操作：

• 素材管理：管理关键帧与参考图像。
• 预览：视频提示词预览。
• 生成任务：执行图像与视频生成任务。
• 检查：支持单镜头与批次的预检查。
• 写入：将生成输出写回镜头/媒体系统。

3.5 统一异步任务中心

• 任务支持：异步文本处理、异步图像/视频生成任务。
• 状态追踪：统一的任务状态、结果及耗时追踪。
• 管理：支持任务取消。
• 导航：具备感知上下文的导航中心，可快速返回项目、章节或镜头。

3.6 模型、提示词与生成基础设施

• 多提供商/模型管理：支持多模型默认设置。
• 提示词管理：管理图像、视频及镜头的提示词模板。
• 开放接口：基于 OpenAPI 驱动前后端合同，生成前端请求助手与类型。
• 扩展基础：为未来 AI 工作流的扩展提供稳定底座。

3.7 文件与媒体管理

• 上传管理：管理上传及生成的输出。
• 预览与链接：预览、链接并复用图像/视频资产。
• 上下文保留：在生成的媒体周围保留镜头与实体上下文。

4. 应用场景

• 短视频/微型短剧创作者：制作短平快内容。
• AI 内容工作室：批量生产视频内容。
• 独立创作者：探索垂直领域短剧制作。
• 教育/培训团队：制作教学视频。
• 品牌与电商团队：制作故事驱动的推广视频。

5. 技术实现与开发

5.1 前端 OpenAPI 客户端与类型生成

前端请求助手与类型从后端 OpenAPI 规范生成。

• 输出目录：front/src/services/generated/
• 缓存规范文件：front/openapi.json

执行命令： 在运行后端开发服务器 http://127.0.0.1:8000 的情况下：

bash

cd front
pnpm run openapi:update
cd front
pnpm run openapi:update

5.2 Docker Compose 部署

仓库包含位于 deploy/compose/ 下的即用型 Compose 设置。

• 服务端口：
• 前端：http://localhost:7788
• 后端：http://localhost:8000 (Swagger 文档：/docs)
• MySQL：localhost:${MYSQL_PORT:-3306}
• Redis：localhost:${REDIS_PORT:-6379}
• RustFS：http://localhost:${RUSTFS_PORT:-9000}

启动步骤：

1. 复制环境配置文件：
2. bash

cp deploy/compose/.env.example deploy/compose/.env
cp deploy/compose/.env.example deploy/compose/.env

1. 构建并启动：
2. bash

docker compose --env-file deploy/compose/.env -f deploy/compose/docker-compose.yml up --build
docker compose --env-file deploy/compose/.env -f deploy/compose/docker-compose.yml up --build

5.3 本地开发环境

若需本地调试，请分别进入后端和前端目录：

• 后端 (Backend)：
• bash

cd backend
cp .env.example .env
uv sync
uv run uvicorn app.main:app --reload --host 0.0.0.0 --port 8000
cd backend
cp .env.example .env
uv sync
uv run uvicorn app.main:app --reload --host 0.0.0.0 --port 8000

• 前端 (Frontend)：
• bash

cd front
pnpm install
pnpm dev
cd front
pnpm install
pnpm dev