jpskill.com
🎬 動画AI コミュニティ

ai-multimodal

Google Gemini APIを活用し、音声・画像・動画などのマルチメディアコンテンツを解析・生成することで、より高度な画像認識、文字起こし、要約、オブジェクト検出、画像/動画生成など、ビジネスにおける様々なニーズに対応できるSkill。

📜 元の英語説明(参考)

Process and generate multimedia content using Google Gemini API for better vision capabilities. Capabilities include analyze audio files (transcription with timestamps, summarization, speech understanding, music/sound analysis up to 9.5 hours), understand images (better image analysis than Claude models, captioning, reasoning, object detection, design extraction, OCR, visual Q&A, segmentation, handle multiple images), process videos (scene detection, Q&A, temporal analysis, YouTube URLs, up to 6 hours), extract from documents (PDF tables, forms, charts, diagrams, multi-page), generate images (text-to-image with Imagen 4, editing, composition, refinement), generate videos (text-to-video with Veo 3, 8-second clips with native audio). Use when working with audio/video files, analyzing images or screenshots (instead of default vision capabilities of Claude, only fallback to Claude's vision capabilities if needed), processing PDF documents, extracting structured data from media, creating images/videos from text prompts, or implementing multimodal AI features. Supports Gemini 3/2.5, Imagen 4, and Veo 3 models with context windows up to 2M tokens.

🇯🇵 日本人クリエイター向け解説

一言でいうと

Google Gemini APIを活用し、音声・画像・動画などのマルチメディアコンテンツを解析・生成することで、より高度な画像認識、文字起こし、要約、オブジェクト検出、画像/動画生成など、ビジネスにおける様々なニーズに対応できるSkill。

※ jpskill.com 編集部が日本のビジネス現場向けに補足した解説です。Skill本体の挙動とは独立した参考情報です。

⚡ おすすめ: コマンド1行でインストール(60秒)

下記のコマンドをコピーしてターミナル(Mac/Linux)または PowerShell(Windows)に貼り付けてください。 ダウンロード → 解凍 → 配置まで全自動。

🍎 Mac / 🐧 Linux 
mkdir -p ~/.claude/skills && cd ~/.claude/skills && curl -L -o ai-multimodal.zip https://jpskill.com/download/23712.zip && unzip -o ai-multimodal.zip && rm ai-multimodal.zip
🪟 Windows (PowerShell) 
$d = "$env:USERPROFILE\.claude\skills"; ni -Force -ItemType Directory $d | Out-Null; iwr https://jpskill.com/download/23712.zip -OutFile "$d\ai-multimodal.zip"; Expand-Archive "$d\ai-multimodal.zip" -DestinationPath $d -Force; ri "$d\ai-multimodal.zip"

完了後、Claude Code を再起動 → 普通に「動画プロンプト作って」のように話しかけるだけで自動発動します。

💾 手動でダウンロードしたい(コマンドが難しい人向け)
  1. 1. 下の青いボタンを押して ai-multimodal.zip をダウンロード
  2. 2. ZIPファイルをダブルクリックで解凍 → ai-multimodal フォルダができる
  3. 3. そのフォルダを C:\Users\あなたの名前\.claude\skills\(Win)または ~/.claude/skills/(Mac)へ移動
  4. 4. Claude Code を再起動
⬇ .zip でダウンロード(推奨) ⬇ .skill 形式(上級者用) 元のソース ↗

⚠️ ダウンロード・利用は自己責任でお願いします。当サイトは内容・動作・安全性について責任を負いません。

🎯 このSkillでできること

下記の説明文を読むと、このSkillがあなたに何をしてくれるかが分かります。Claudeにこの分野の依頼をすると、自動で発動します。

📦 インストール方法 (3ステップ)

  1. 1. 上の「ダウンロード」ボタンを押して .skill ファイルを取得
  2. 2. ファイル名の拡張子を .skill から .zip に変えて展開(macは自動展開可)
  3. 3. 展開してできたフォルダを、ホームフォルダの .claude/skills/ に置く
    • · macOS / Linux: ~/.claude/skills/
    • · Windows: %USERPROFILE%\.claude\skills\

Claude Code を再起動すれば完了。「このSkillを使って…」と話しかけなくても、関連する依頼で自動的に呼び出されます。

詳しい使い方ガイドを見る →
最終更新
2026-05-18
取得日時
2026-05-18
同梱ファイル
15

📖 Skill本文(日本語訳)

※ 原文(英語/中国語)を Gemini で日本語化したものです。Claude 自身は原文を読みます。誤訳がある場合は原文をご確認ください。

AI マルチモーダル

Google Gemini のマルチモーダル API を使用して、音声、画像、動画、ドキュメントを処理し、画像/動画を生成します。

セットアップ

export GEMINI_API_KEY="your-key"  # https://aistudio.google.com/apikey から取得
pip install google-genai python-dotenv pillow

クイックスタート

セットアップの確認: python scripts/check_setup.py メディアの分析: python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>

  • ヒント: 画像の分析を求められたら、gemini コマンドが利用可能か確認し、"<prompt to analyze image>" | gemini -y -m gemini-2.5-flash コマンドを使用してください。gemini コマンドが利用できない場合は、python scripts/gemini_batch_process.py --files <file> --task analyze コマンドを使用してください。 コンテンツの生成: python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"

標準入力のサポート: ファイルを標準入力経由で直接パイプできます (PNG/JPG/PDF/WAV/MP3 を自動検出)。

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Describe this"
  • python scripts/gemini_batch_process.py --files image.png --task analyze (従来の方法)

モデル

  • 画像生成: imagen-4.0-generate-001 (標準), imagen-4.0-ultra-generate-001 (品質), imagen-4.0-fast-generate-001 (速度)
  • 動画生成: veo-3.1-generate-preview (音声付き 8 秒クリップ)
  • 分析: gemini-2.5-flash (推奨), gemini-2.5-pro (高度)

スクリプト

  • gemini_batch_process.py: transcribe|analyze|extract|generate|generate-video 用の CLI オーケストレーターです。API キーを自動解決し、タスクごとに適切なデフォルトモデルを選択し、File API ではなくインラインでファイルをストリーミングし、Imagen 4 + Veo ワークフロー用に構造化された出力 (テキスト/JSON/CSV/Markdown および生成されたアセット) を保存します。
  • media_optimizer.py: ffmpeg/Pillow ベースのプリフライトツールです。音声、画像、動画の入力を圧縮/リサイズ/変換し、ターゲットサイズ/ビットレートを強制し、長いクリップを時間単位のチャンクに分割し、ディレクトリをバッチ処理してメディアが Gemini の制限内に収まるようにします。
  • document_converter.py: Gemini を利用したコンバーターです。PDF/画像/Office ドキュメントをアップロードし、Markdown を保持するプロンプトを適用し、複数のファイルをバッチ処理し、docs/assets 以下に自動的に名前を付けて出力し、モデル、プロンプト、自動ファイル命名、詳細ログのための CLI フラグを公開します。
  • check_setup.py: 対話型の準備状況チェッカーです。ディレクトリレイアウト、集中型環境変数リゾルバー、必要な Python 依存関係、および GEMINI_API_KEY の可用性/形式を確認し、ライブの Gemini API 呼び出しを実行して、何か問題が発生した場合は修正手順を出力します。

オプションについては --help を使用してください。

リファレンス

詳細なガイダンスについては、以下を参照してください。

トピック ファイル 説明
音声 references/audio-processing.md 音声形式と制限、文字起こし (タイムスタンプ、話者、セグメント)、非音声分析、File API とインライン入力、TTS モデル、ベストプラクティス、コストとトークン計算、具体的な会議/ポッドキャスト/インタビューのレシピ。
画像 references/vision-understanding.md ビジョン機能の概要、サポートされる形式とモデル、キャプション/分類/VQA、検出とセグメンテーション、OCR とドキュメント読み取り、複数画像ワークフロー、構造化 JSON 出力、トークンコスト、ベストプラクティス、一般的な製品/スクリーンショット/チャート/シーンのユースケース。
画像生成 references/image-generation.md Imagen 4 と Gemini 画像モデルの概要、generate_images と generate_content API、アスペクト比とコスト、テキスト/画像/両方のモダリティ、編集と構成、スタイルと品質管理、安全設定、ベストプラクティス、トラブルシューティング、一般的なマーケティング/コンセプトアート/UI シナリオ。
動画 references/video-analysis.md 動画分析機能とサポートされる形式、モデル/コンテキストの選択、ローカル/インライン/YouTube 入力、クリッピングと FPS 制御、複数動画の比較、時間的 Q&A とシーン検出、視覚的コンテキスト付き文字起こし、トークンとコストのガイダンス、最適化/ベストプラクティスのパターン。
動画生成 references/video-generation.md Veo モデルマトリックス、テキストから動画、画像から動画のクイックスタート、複数参照と拡張フロー、カメラとタイミング制御、設定 (解像度、アスペクト、音声、安全性)、プロンプト設計パターン、パフォーマンスのヒント、制限事項、トラブルシューティング、コスト見積もり。

制限

形式: 音声 (WAV/MP3/AAC, 9.5時間), 画像 (PNG/JPEG/WEBP, 3.6k), 動画 (MP4/MOV, 6時間), PDF (1kページ) サイズ: インライン 20MB, File API 2GB

リソース

📜 原文 SKILL.md(Claudeが読む英語/中国語)を展開

AI Multimodal

Process audio, images, videos, documents, and generate images/videos using Google Gemini's multimodal API.

Setup

export GEMINI_API_KEY="your-key"  # Get from https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow

Quick Start

Verify setup: python scripts/check_setup.py Analyze media: python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>

  • TIP: When you're asked to analyze an image, check if gemini command is available, then use "<prompt to analyze image>" | gemini -y -m gemini-2.5-flash command. If gemini command is not available, use python scripts/gemini_batch_process.py --files <file> --task analyze command. Generate content: python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"

Stdin support: You can pipe files directly via stdin (auto-detects PNG/JPG/PDF/WAV/MP3).

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Describe this"
  • python scripts/gemini_batch_process.py --files image.png --task analyze (traditional)

Models

  • Image generation: imagen-4.0-generate-001 (standard), imagen-4.0-ultra-generate-001 (quality), imagen-4.0-fast-generate-001 (speed)
  • Video generation: veo-3.1-generate-preview (8s clips with audio)
  • Analysis: gemini-2.5-flash (recommended), gemini-2.5-pro (advanced)

Scripts

  • gemini_batch_process.py: CLI orchestrator for transcribe|analyze|extract|generate|generate-video that auto-resolves API keys, picks sensible default models per task, streams files inline vs File API, and saves structured outputs (text/JSON/CSV/markdown plus generated assets) for Imagen 4 + Veo workflows.
  • media_optimizer.py: ffmpeg/Pillow-based preflight tool that compresses/resizes/converts audio, image, and video inputs, enforces target sizes/bitrates, splits long clips into hour chunks, and batch-processes directories so media stays within Gemini limits.
  • document_converter.py: Gemini-powered converter that uploads PDFs/images/Office docs, applies a markdown-preserving prompt, batches multiple files, auto-names outputs under docs/assets, and exposes CLI flags for model, prompt, auto-file naming, and verbose logging.
  • check_setup.py: Interactive readiness checker that verifies directory layout, centralized env resolver, required Python deps, and GEMINI_API_KEY availability/format, then performs a live Gemini API call and prints remediation instructions if anything fails.

Use --help for options.

References

Load for detailed guidance:

Topic File Description
Audio references/audio-processing.md Audio formats and limits, transcription (timestamps, speakers, segments), non-speech analysis, File API vs inline input, TTS models, best practices, cost and token math, and concrete meeting/podcast/interview recipes.
Images references/vision-understanding.md Vision capabilities overview, supported formats and models, captioning/classification/VQA, detection and segmentation, OCR and document reading, multi-image workflows, structured JSON output, token costs, best practices, and common product/screenshot/chart/scene use cases.
Image Gen references/image-generation.md Imagen 4 and Gemini image model overview, generate_images vs generate_content APIs, aspect ratios and costs, text/image/both modalities, editing and composition, style and quality control, safety settings, best practices, troubleshooting, and common marketing/concept-art/UI scenarios.
Video references/video-analysis.md Video analysis capabilities and supported formats, model/context choices, local/inline/YouTube inputs, clipping and FPS control, multi-video comparison, temporal Q&A and scene detection, transcription with visual context, token and cost guidance, and optimization/best-practice patterns.
Video Gen references/video-generation.md Veo model matrix, text-to-video and image-to-video quick start, multi-reference and extension flows, camera and timing control, configuration (resolution, aspect, audio, safety), prompt design patterns, performance tips, limitations, troubleshooting, and cost estimates.

Limits

Formats: Audio (WAV/MP3/AAC, 9.5h), Images (PNG/JPEG/WEBP, 3.6k), Video (MP4/MOV, 6h), PDF (1k pages) Size: 20MB inline, 2GB File API

Resources

同梱ファイル

※ ZIPに含まれるファイル一覧。`SKILL.md` 本体に加え、参考資料・サンプル・スクリプトが入っている場合があります。