梁天一_高级工程数学期末作业1
需积分: 0 160 浏览量
2022-08-04
13:14:37
上传
评论
收藏 466KB PDF 举报
高级工程数学期末作业
真的是作业
深度生成模型中隐空间局部最优方向推荐问题
梁天一
1*
, 陈昌谷
2*
1. 华东师范大学计算机科学与技术, 上海
2. 华东师范大学计算机科学与技术, 上海
学号: 51215901019, 52215901006
1 问题引入
用深度生成模型生成各种模态数据的方法发展迅猛, 比如生成图像 [1, 3, 3] 和声音 [4], 乃至 3D
模型 [5]. 这些方法成功的关键是能够使用具有更多层和更高维度内部表示 (即隐空间) 的复杂网络
架构。比如 3D 生成模型 IMAE [5] 有 128 维的隐空间. 这种网络架构的丰富性导致了内部隐变量和
真实数据之间高度非线性的表示，从而能够生成几乎与真实数据难以区分的高质量数据。当基础生
成网络架构发展逐渐成熟，可以直接生成大量高保真且多样的高质量生成物后，问题的关键转化为
如何从训练完成的生成模型（预训练模型）中，挖掘出我们想要的生成物。这种挖掘被表述为在生
成模型的隐空间中，找到一组隐向量，然后通过生成模型把隐向量映射为生成物，并检验这些生成
物是否满足用户偏好。这类挖掘预训练生成模型的工作非常好，简直就是发论文的源泉。别人用它
做了图像声音，我转手就倒卖到几何建模领域，而且我每个几何模型靠美工都要花费相当长的时间
来完成，而且美工要熟练掌握犀牛，3Dmax 等专业软件。我这边只要准备好数据集 train 一发，之
后部署这个来挑选一波，就算每个模型打 1 折都可以挂到模型网站血赚一波。回头搞个孵化，融资
的时候吹吹元宇宙，区块链中的 NFT，财务自由美滋滋。（拉回来拉回来）
完成这一挖掘是极其富有挑战性的。一方面是因为用户偏好是因人而异，随时间有扰动，因此
难以用封闭形式的数学模型来刻画。所以需要引入用户参与进行探索。现有方法主要用在描述子提
取的特征空间中，尝试给出一组交互策略，让用户通过尽可能地少量交互，就可以搜寻到用户满意
的物体。和生成模型的挖掘任务需要创造样本不同，这种方法仅仅是一种搜索或者溯源任务，因为
所以样本都来自现实中已经存在的数据集。生成模型隐空间中除了已经存在的数据集的投影，还可
以在这些可列个点的不可数补集中找到大量生成物对应的隐向量。另一方面，是因为隐空间高维且
难以估计数据先验分布。隐向量十分高维，这意味贝叶斯优化难以胜任。且对于一般自编码器中隐
空间数据作为先验分布而言是多峰难以估计的。通过推荐一些隐空间的方向，组成滑条，用户可以
通过滑动滑条来改变隐向量，进而得到了搜索空间。然而, 在这种几百维的高维空间找到合适的修改
操作是十分困难的。最近针对预训练的生成模型，无监督的挖掘可解释的方向 [8] 为这类方法的解
决提供了希望。
资源评论
