stable-dreamfusion

概要

Stable-Dreamfusionは、テキストや画像から3Dモデルを生成するDreamfusionのPyTorch実装です。

Stable Diffusionを2Dテキスト-画像モデルとして利用し、NeRFとDiffusion技術を組み合わせています。

特に、multi-resolution grid encoder (Instant-NGP) をNeRFバックエンドに採用することで、高速なレンダリングを実現。

また、Perp-NegのサポートによりText-to-3Dにおけるmulti-head問題の軽減を図っています。

Zero-1-to-3やOmnidataといった事前学習済みモデルも活用。

高品質な3Dコンテンツ生成を目指す研究者や開発者、テキストや画像から手軽に3Dモデルを作成したいユーザーを対象としています。

Colabノートブックも提供されており、手軽に試すことが可能です。