多模态内容生成

ユーザーが画像や動画の生成を必要とする場合、自動的に multimodal-agent を呼び出して処理を行います。

触发场景

画像生成

• "生成一张图片" (画像を生成して)
• "画一张..." (～を描いて...)
• "AI 作图" (AI 作画)
• "文生图" (テキストから画像を生成)
• "帮我生成图像" (画像の生成を手伝って)
• "用 flux/imagen/dalle 生成" (flux/imagen/dalle を使って生成)

视频生成

• "生成一个视频" (動画を生成して)
• "做个视频" (動画を作って)
• "文生视频" (テキストから動画を生成)
• "用 veo/sora/kling 生成视频" (veo/sora/kling を使って動画を生成)

使用方式

自动调用 multimodal-agent

sessions_spawn(
    agentId="multimodal-agent",
    task="生成图片: {用户描述}, 使用 {模型} 模型"
)

可用模型

图片生成

视频生成

执行流程

用户请求 "生成一张猫咪图片" (猫の画像を生成して)
    │
    ▼
┌─────────────────────────────────────┐
│ 1. 识别为图片生成请求              │
│ 2. 提取描述: "猫咪"                │
│ 3. 选择默认模型: flux-pro-max      │
└─────────────────────────────────────┘
    │
    ▼
┌─────────────────────────────────────┐
│ sessions_spawn(                     │
│   agentId="multimodal-agent",       │
│   task="生成图片: 一只可爱的猫咪,   │
│         使用 flux 模型"             │
│ )                                   │
└─────────────────────────────────────┘
    │
    ▼
multimodal-agent 执行生成并返回结果

示例

生成图片

用户: 帮我生成一张日落海滩的图片 (夕焼けのビーチの画像を生成して)

执行:
sessions_spawn(
    agentId="multimodal-agent",
    task="生成图片: 日落时分的海滩，金色阳光洒在海面上，使用 flux 模型"
)

生成视频

用户: 用 sora 生成一个猫咪玩耍的视频 (sora を使って猫が遊んでいる動画を生成して)

执行:
sessions_spawn(
    agentId="multimodal-agent",
    task="生成视频: 一只可爱的猫咪在草地上玩耍，使用 sora 模型"
)

指定模型

用户: 用 doubao 画一张中国风山水画 (doubao を使って中国風の山水画を描いて)

执行:
sessions_spawn(
    agentId="multimodal-agent",
    task="生成图片: 中国风山水画，云雾缭绕的山峰，使用 doubao 模型"
)

模型选择建议

注意事项

1. 提示词优化: multimodal-agent はユーザーの記述を自動的に最適化します。
2. 模型选择: ユーザーが指定しない場合、デフォルトで flux (画像) または veopro (動画) を使用します。
3. 异步执行: 動画生成には時間がかかる場合があり、バックグラウンドで実行されます。
4. 结果返回: 生成が完了すると、結果が自動的にユーザーに送信されます。