腾讯SSV :当千年彩灯遇见AI
发表时间:2023/06/20 阅读量:996
腾讯SSV :当千年彩灯遇见AI
了解AI的朋友都知道,AI生成目前的可控性还很有限,经过多轮方案迭代,最终确定了如今的方式:我们从彩灯博物馆的藏品中选取20个彩灯主题,在线下用AI技术为每个主题生成好一批图片,用户在H5中选择主题后将得到该主题的随机一张彩灯图片,H5实时生成该AI彩灯图片与用户信息组合的专属海报。
敲定方案后,我们便开始正式的AI图片生成了。
我们通过彩灯博物馆官方和实地采风两个渠道获取了一大批彩灯照片作为训练素材,经过一些基本的预处理,交由腾讯SSV技术团队打标训练出一个正式的彩灯风格模型。
一般都会存储中间文件,以便在发现过度拟合时,可以使用中间文件作为最终结果,这需要将输出的模型载入SD中。
我们的彩灯模型试用效果不错——彩灯风格清晰,能够泛用于不同对象,并且在赋予lora不同强度时能表现出不同强度的风格。
在模型验收过程中我们也初步试验出适合的参数范围,由于不同类型的对象适合的参数略有不同,每次手动调参效率低下,我们通过x/y/z plot脚本,使每批次输出多组不同参数组合的结果。
x/y/z plot脚本输出的grid(*此处z轴为none)
训练模型的同时,创意组同学根据彩灯博物馆藏品选出20+个主题,并对每个主题进行了多个画面发想,模型完成后,设计组同学便以这些发想为参考原点,改写为文生图提示词,并根据输出结果不断优化迭代。
在这个过程中,设计同学也产生新的画面创意,加入提示词迭代,如此为每个主题都产出了少则数百多则千余张图。
《荷花仙子》的初筛图片
《孔雀开屏》的初筛图片
《卖火柴的小女孩》的初筛图片
面对茫茫多的生成结果,我们经过了多轮筛选,挑选标准有三:契合主题、美观、多样性,最终每个主题精选出5-8张,进入修图流程。
我们将精选出的图片通过AI的超分网络放大,再手工修正AI图中如五官、肢体扭曲等问题,最后根据页面版式调整彩灯图的画面布局——背景杂物清理、元素位置调整、主体大小调整、四周压暗等——使所有彩灯图经同一程序规则生成页面时都能有最佳的展示效果。
精修调整完成的AI彩灯图
修图前后对比《荷花仙子》
修图前后对比《孔雀开屏》
修图前后对比《卖火柴的小女孩》
整体视觉风格以“闪烁的繁星”为印象,各页均以“灯”元素串连,融入传统文化元素,同时简化造型以避免过于古朴与科技表达冲突,简化用色以避免与多变的彩灯图冲突。
黑暗中散发微光的宫灯轮廓,营造一丝神秘感,配合文案又暗示后续内容;一件件飞出的中小博物馆馆藏文物轮廓化作星辰,带出繁星计划的介绍;
星辰散去,完整的宫灯浮现;
20个馆藏彩灯主题环绕中央的大宫灯,转动选词;
等待结果的时间里,展示传统彩灯的制作流程;
点击地图块,将生成的AI彩灯送给家乡,获得繁星计划助力人编号,及纪念海报。
部分分享海报欣赏。
创作人员名单
品牌方:腾讯
代理商:TINY.
创意总监:Yoyo
客户总监:Helen
创意&文案:文静
设计:秋几、wowow、小波、丹青
动画制作:阿金
Account:诗琪
了解AI的朋友都知道,AI生成目前的可控性还很有限,经过多轮方案迭代,最终确定了如今的方式:我们从彩灯博物馆的藏品中选取20个彩灯主题,在线下用AI技术为每个主题生成好一批图片,用户在H5中选择主题后将得到该主题的随机一张彩灯图片,H5实时生成该AI彩灯图片与用户信息组合的专属海报。
敲定方案后,我们便开始正式的AI图片生成了。
我们通过彩灯博物馆官方和实地采风两个渠道获取了一大批彩灯照片作为训练素材,经过一些基本的预处理,交由腾讯SSV技术团队打标训练出一个正式的彩灯风格模型。
一般都会存储中间文件,以便在发现过度拟合时,可以使用中间文件作为最终结果,这需要将输出的模型载入SD中。
我们的彩灯模型试用效果不错——彩灯风格清晰,能够泛用于不同对象,并且在赋予lora不同强度时能表现出不同强度的风格。
在模型验收过程中我们也初步试验出适合的参数范围,由于不同类型的对象适合的参数略有不同,每次手动调参效率低下,我们通过x/y/z plot脚本,使每批次输出多组不同参数组合的结果。
x/y/z plot脚本输出的grid(*此处z轴为none)
训练模型的同时,创意组同学根据彩灯博物馆藏品选出20+个主题,并对每个主题进行了多个画面发想,模型完成后,设计组同学便以这些发想为参考原点,改写为文生图提示词,并根据输出结果不断优化迭代。
在这个过程中,设计同学也产生新的画面创意,加入提示词迭代,如此为每个主题都产出了少则数百多则千余张图。
《荷花仙子》的初筛图片
《孔雀开屏》的初筛图片
《卖火柴的小女孩》的初筛图片
面对茫茫多的生成结果,我们经过了多轮筛选,挑选标准有三:契合主题、美观、多样性,最终每个主题精选出5-8张,进入修图流程。
我们将精选出的图片通过AI的超分网络放大,再手工修正AI图中如五官、肢体扭曲等问题,最后根据页面版式调整彩灯图的画面布局——背景杂物清理、元素位置调整、主体大小调整、四周压暗等——使所有彩灯图经同一程序规则生成页面时都能有最佳的展示效果。
精修调整完成的AI彩灯图
修图前后对比《荷花仙子》
修图前后对比《孔雀开屏》
修图前后对比《卖火柴的小女孩》
整体视觉风格以“闪烁的繁星”为印象,各页均以“灯”元素串连,融入传统文化元素,同时简化造型以避免过于古朴与科技表达冲突,简化用色以避免与多变的彩灯图冲突。
黑暗中散发微光的宫灯轮廓,营造一丝神秘感,配合文案又暗示后续内容;一件件飞出的中小博物馆馆藏文物轮廓化作星辰,带出繁星计划的介绍;
星辰散去,完整的宫灯浮现;
20个馆藏彩灯主题环绕中央的大宫灯,转动选词;
等待结果的时间里,展示传统彩灯的制作流程;
点击地图块,将生成的AI彩灯送给家乡,获得繁星计划助力人编号,及纪念海报。
部分分享海报欣赏。
创作人员名单
品牌方:腾讯
代理商:TINY.
创意总监:Yoyo
客户总监:Helen
创意&文案:文静
设计:秋几、wowow、小波、丹青
动画制作:阿金
Account:诗琪