Stable Diffusion 无限缩放

在Replicate上运行:

本仓库基于CompVis团队的Stable Diffusion 和Runway的Stable Inpainting

灵感源自Matt Henderson的这条推文

模型说明

给定提示词后，使用sd-v1-4.ckpt运行txt2img.py生成初始图像。 然后将图像缩小后粘贴至中心区域，使用inpaint.py和sd-v1-5-inpainting.ckpt对中心区域周边进行两次修复绘制。

接着通过放大图像并裁剪至原始尺寸实现缩放效果，同时将"中心"图像粘贴到对应区域。

运行方法

下载文生图和修复模型权重

hf_hub_download(repo_id="runwayml/stable-diffusion-v1-5", filename="v1-5-pruned-emaonly.ckpt", cache_dir=".", use_auth_token=<HuggingFace token>) hf_hub_download(repo_id="runwayml/stable-diffusion-inpainting", filename="sd-v1-5-inpainting.ckpt", cache_dir=".", use_auth_token=<HuggingFace token>)

创建视频

python3 scripts/inf_zoom.py <你的提示词>

致谢

@misc{rombach2021highresolution,
      title={High-Resolution Image Synthesis with Latent Diffusion Models}, 
      author={Robin Rombach and Andreas Blattmann and Dominik Lorenz and Patrick Esser and Björn Ommer},
      year={2021},
      eprint={2112.10752},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}