概要
PIA (Personalized Image Animator) は、CVPR 2024で発表された、テキストプロンプトとパーソナライズモデルを組み合わせて画像から動画を生成するツールです。
高い動きの制御性と、テキストおよび画像との強力な整合性を持つ高品質な動画生成を特徴としています。
PyTorch 2.0.0のscaled_dot_product_attentionをサポートしており、16GBのGPUメモリで1024×1024の画像を処理できるなど、メモリ効率も考慮されています。
研究者、開発者、クリエイターが、画像やテキストから独自の動画アニメーションを作成するのに適しています。
互換性・特徴
- Python
- GPU必須
- HuggingFace対応
- Colab対応
- Replicate対応
- CLI
基本情報
| ライセンス | Apache-2.0 |
| Stars | 975 |
| Forks | 73 |
| カテゴリ | 動画生成 |
| アクティビティ | mid |
最新のissue
- state_dictに予期せぬキー: "text_model.embeddings.position_ids"。 (更新: 2025-02-18 / Unexpected key(s) in state_dict: "text_model.embeddings.position_ids".)
- モデルの学習にかかる時間 (更新: 2024-08-06 / How long to train the model)
- デモ実行時にエラーが発生しました (更新: 2024-07-05 / 运行 demo 的时候报错)
- Apple Silicon搭載Macでこれを実行する方法 (更新: 2024-07-02 / Here is how to run this on Mac with Apple Silicon)
- [コミュニティヘルプ募集] SDXL向けPIAの学習について (更新: 2024-07-02 / [Need-Community-Help] Training PIA for SDXL?)