当 BLIP-2 遇上 Diffusion！可控图像生成的最优解，图像主题、风格任意切换，指哪改哪.pdf
版权申诉
110 浏览量
2023-08-12
22:43:51
上传
评论
收藏 6.25MB PDF 举报
2023/6/28 09:30
当 BLIP-2 遇上 Diffusion！可控图像生成的最优解，图像主题、风格任意切换，指哪改哪
https://mp.weixin.qq.com/s/d2_jGYTwNOkNIhnKSQdDBQ
1/9
当 BLIP-2 遇上 Diffusion！可控图像生成的最优解，图像主题、风
格任意切换，指哪改哪
夕 小 瑶 科 技 说 原 创
作 者 | 智 商 掉 了 一 地 、 ZenMoore
关于 P 图，本懒人想说的简直太多了，之前想换个背景总会把主体抠成毛边，随着最近越来越
多的强大图像或多模态工具的诞生，人们在图像创作方面的技术实力越来越强大。比如，现在
有许多智能 P 图工具，可以自动识别图像中的人物和背景，并将其快速地抠出。
越来越多的基于深度学习的图像生成模型也得到了发展，包括利用 GAN 进行图像生成、将文
本转化为图像的模型等等。这些技术的发展，为普通人的图像创作带来了更多的可能性和创造
力 。而 BLIP-2 在 多模 态 文 本生 成 上 的表 现 已 经广 为 人 知，当 它 与 Diff usion 技术 结 合使用
时，或许会进 一 步 提 升 “指 哪 儿 改 哪 儿 ”的 效 果 。
如图1所示，最近有一篇文章利 用 预 训 练 的 主 题 表 示 ， 在 有 效 的 微 调 或 零 样 本 学 习 的 情 况 下
进 行 主 题 驱 动 的 生 成 。 此外 ， 该模 型还 可 以作 为一 种 基础 的主 题 驱动 的文 本 到图 像生 成 模
型，通过与 ControlNet 和 prompt-to-prompt 等技 术相结合，支持 控制生成和 图像编辑等应
用。
智商掉了一地 2023-05-29 12:05 发表于四川
原创
夕小瑶科技说
资源评论
