前几天,OpenAI又发布了新模型,叫做DALL-E,以艺术家达利和机器人瓦力合体命名。
它和GPT-3一样极其强大,仅仅通过一段自然语言,就能生成对应图片。
这里的“自然语言”,指的是人们平常说的话(和编程语言相区分),无论这段话的内容有多扯淡,DALL-E都能把图做出来。
比如,“一个穿着芭蕾舞裙的小萝卜在遛狗”,这话够扯淡吧,但DALL-E能画。
或者,“一个熊猫宝宝穿着睡衣开车”,它也能画。
“一根戴墨镜的小黄瓜弹钢琴”,也没问题。
DALL-E就是这样一个图片转文字的模型,它使用了GPT-3中120亿个参数版本,可以完全无中生有,制造出原本不存在的图片。
它也可以让两个不相干的东西融合成一张图,以合理的形式出现。
比如说,“牛油果”和“扶手椅”,这两个东西没有一点关系,但输入“一个有着牛油果形状的扶手椅”,DALL-E能输出看上去很像的椅子。
虽然这些椅子看着就知道坐起来不舒服,但是,创意十足啊。
类似离奇的东西,还有“五边形的绿色马桶”。
世界上应该没有这样的东西,但DALL-E能做出来,而且看上去很真实。
DALL-E还能将植物、动物和其他东西的纹理投射到三维实体上。
“正方体的刺猬”
“正方体的火焰”
“球体的云朵”
(其中一个看上去好像冰淇淋球,馋了)
DALL-E还能在一张图中做出两个以上的东西,输出很像照片的图。
“桌上放一堆薯片”
“桌上放一堆闹钟”
不过有时,DALL-E会理解得太片面,比如“桌上放一堆高尔夫球杆”,球杆似乎没受地心引力影响。
DALL-E也能控制两个物体在一张图中的位置。
比如,“一本小红书放在大绿书上”,这句话DALL-E是能理解的。
DALL-E还有一点很厉害,是它能理解一句话中多个重点,并且正确地呈现出来。
“一个刺猬宝宝,戴着蓝帽子和红围巾,穿着绿上衣和黄裤子。” 根据这句话,它需要让服装和颜色一一匹配,放在刺猬身上正确的位置。
大部分情况下,它出的图和文字描述是一致的。
当然,这并不是百分百正确。随着重点的增多,DALL-E的准确率会下降。
比如下图,应该穿着“绿裤子”的企鹅,在好几处没穿裤子,或者颜色穿错了。
不过,仅仅写一句话,就能收获一堆插图也是够厉害的。DALL-E画的不少图挺好看的,未来设计师的费用也省了……
OpenAI的研究人员发现,DALL-E还能控制图中的拍摄视角。
它知道如何生产出正面、背面、侧面,以及俯视、仰视的图,甚至包括鱼眼镜头的图。
输入“山顶上,一只猫头鹰的背影图“,一张媲美野外摄影的照片就出现了。
或者,“山顶上,一只猫头鹰的超近距离照”,各种细节栩栩如生。
狐狸的高视角拍摄和低视角拍摄,看上去也很逼真。
(再提醒一下,这些动物是不存在的,图是DALL-E自己做出来的)
DALL-E还能让不同的图案出现在各种日常用品上。
OpenAI认为这是未来商业发展的方向,可以让企业探索不同的产品概念,不用生产就能看到效果。
“有着蓝色梨子图案的扑克牌”
“有着粉色南瓜图的地毯”
“有着白色茄子图的钱包”
(额,其中两个意外的鬼畜…)
有时候,DALL-E能制造出很有意思的效果,比如“有着粉色茄子的广告牌”,
出现了一个奇怪的图案……
“房子的一面,有着一副黑茄子的墙画”。这,这又是个啥……
不过,DALL-E中最好笑、最有意思的功能,是让动物和非动物结合,生产出稀奇古怪的图片。
看了以后让人怀疑,自己的想象力还没有一个AI强大。
“用牛油果做成的孔雀”,嗯?
“用大蒜做成的蜗牛”,嗯??
“本体是扫帚的猫”
(猫咪委屈)
“由披萨做成的袋鼠”
(意外的合适!)
“由竖琴做成的蜗牛“
“本体是墨西哥卷饼的猪“
“竖琴做成的猪“
“小提琴做成的企鹅“
“由开瓶器做成的刺猬”
服你
最搞笑的是“坦克做成的猪”,这坦克根本没法开吧(@_@;)
让鬼畜更上一层楼的,是动物与动物合体,生成图画。
“长得很像乌龟的长颈鹿”
“长得很像凤凰的猫”
“长得很像鸡的龙”???
还有,世界名画“长得像水母的熊猫”……
大家可以去OpenAI的官网看,这样鬼畜的儿童画还有很多。
DALL-E的功能如此稀奇古怪,OpenAI研发它的目的是为了什么呢?
其实,研究就是研究,是为了拓展未来的边界,让AI达到更强大的功能。
OpenAI的首席科学家IIya Sutskever在推特上说,人工智能的长期目标是建立多模态的神经网络,让AI能够学习不同模态之间的概念。
以往的大部分AI,包括GPT-3,都是以文本为主,研发DALL-E是为了拓展视觉领域,让AI更好地理解世界。
DALL-E确实有着出色的理解能力和混合概念的能力。不少研究人员认为这意味着DALL-E充满创意,就像人类一样。
“我预计这个技术能带来各种各样的应用。” 剑桥大学的Neil Lawrence教授在CNBC的采访中说,“它非常令人兴奋,可以解决我们自己都不知道的问题。”
乔治亚理工学院的Mark Riedl教授也说:“混合概念的能力被认为是人类创造力的关键。所以,从创意角度看,DALL-E是一大进步。虽然人们对AI是否理解概念看法不一致,但用新的方式创造东西,是它智力和创造力的一大证明。”
这样一个有着120亿个参数的智能模型,肯定不只是用来画画搞笑图的,未来,它值得畅想……
ref:
https://www.cnbc.com/2021/01/08/openai-shows-off-dall-e-image-generator-after-gpt-3.html
https://openai.com/blog/dall-e/