他们做了个有无限想象力的画画AI!无论给它多扯淡的描述,它都能给你画出来!牛掰了

大家可能还记得,去年7月份,我们介绍了一个叫GPT-3的语言模型。这个模型是由人工智能公司OpenAI研发的,它能根据一段话自动写出语录、小说和论文,让全球科技圈大为兴奋,称它是“能窥见未来的AI”。

前几天,OpenAI又发布了新模型,叫做DALL-E,以艺术家达利和机器人瓦力合体命名。

它和GPT-3一样极其强大,仅仅通过一段自然语言,就能生成对应图片。

这里的“自然语言”,指的是人们平常说的话(和编程语言相区分),无论这段话的内容有多扯淡,DALL-E都能把图做出来。

比如,“一个穿着芭蕾舞裙的小萝卜在遛狗”,这话够扯淡吧,但DALL-E能画。

或者,“一个熊猫宝宝穿着睡衣开车”,它也能画。

5-103.jpg

“一根戴墨镜的小黄瓜弹钢琴”,也没问题。

5-104.jpg

DALL-E就是这样一个图片转文字的模型,它使用了GPT-3中120亿个参数版本,可以完全无中生有,制造出原本不存在的图片。

它也可以让两个不相干的东西融合成一张图,以合理的形式出现。

比如说,“牛油果”和“扶手椅”,这两个东西没有一点关系,但输入“一个有着牛油果形状的扶手椅”,DALL-E能输出看上去很像的椅子。

虽然这些椅子看着就知道坐起来不舒服,但是,创意十足啊。

类似离奇的东西,还有“五边形的绿色马桶”。
世界上应该没有这样的东西,但DALL-E能做出来,而且看上去很真实。

DALL-E还能将植物、动物和其他东西的纹理投射到三维实体上。

“正方体的刺猬”

“正方体的火焰”

“球体的云朵”
(其中一个看上去好像冰淇淋球,馋了)

DALL-E还能在一张图中做出两个以上的东西,输出很像照片的图。
“桌上放一堆薯片”

“桌上放一堆闹钟”

不过有时,DALL-E会理解得太片面,比如“桌上放一堆高尔夫球杆”,球杆似乎没受地心引力影响。

DALL-E也能控制两个物体在一张图中的位置。

比如,“一本小红书放在大绿书上”,这句话DALL-E是能理解的。

DALL-E还有一点很厉害,是它能理解一句话中多个重点,并且正确地呈现出来。

“一个刺猬宝宝,戴着蓝帽子和红围巾,穿着绿上衣和黄裤子。” 根据这句话,它需要让服装和颜色一一匹配,放在刺猬身上正确的位置。

大部分情况下,它出的图和文字描述是一致的。

当然,这并不是百分百正确。随着重点的增多,DALL-E的准确率会下降。
比如下图,应该穿着“绿裤子”的企鹅,在好几处没穿裤子,或者颜色穿错了。

不过,仅仅写一句话,就能收获一堆插图也是够厉害的。DALL-E画的不少图挺好看的,未来设计师的费用也省了……

5-20.jpg

OpenAI的研究人员发现,DALL-E还能控制图中的拍摄视角。
它知道如何生产出正面、背面、侧面,以及俯视、仰视的图,甚至包括鱼眼镜头的图。

输入“山顶上,一只猫头鹰的背影图“,一张媲美野外摄影的照片就出现了。

或者,“山顶上,一只猫头鹰的超近距离照”,各种细节栩栩如生。

狐狸的高视角拍摄和低视角拍摄,看上去也很逼真。
(再提醒一下,这些动物是不存在的,图是DALL-E自己做出来的)

DALL-E还能让不同的图案出现在各种日常用品上。

OpenAI认为这是未来商业发展的方向,可以让企业探索不同的产品概念,不用生产就能看到效果。

“有着蓝色梨子图案的扑克牌”

“有着粉色南瓜图的地毯”

“有着白色茄子图的钱包”
(额,其中两个意外的鬼畜…)

有时候,DALL-E能制造出很有意思的效果,比如“有着粉色茄子的广告牌”,

出现了一个奇怪的图案……

“房子的一面,有着一副黑茄子的墙画”。这,这又是个啥……

不过,DALL-E中最好笑、最有意思的功能,是让动物和非动物结合,生产出稀奇古怪的图片。


看了以后让人怀疑,自己的想象力还没有一个AI强大。

“用牛油果做成的孔雀”,嗯?

“用大蒜做成的蜗牛”,嗯??

“本体是扫帚的猫”
(猫咪委屈)

“由披萨做成的袋鼠”
(意外的合适!)

“由竖琴做成的蜗牛“

“本体是墨西哥卷饼的猪“

“竖琴做成的猪“

“小提琴做成的企鹅“

“由开瓶器做成的刺猬”

服你

最搞笑的是“坦克做成的猪”,这坦克根本没法开吧(@_@;)

让鬼畜更上一层楼的,是动物与动物合体,生成图画。

“长得很像乌龟的长颈鹿”

“长得很像凤凰的猫”

“长得很像鸡的龙”???

还有,世界名画“长得像水母的熊猫”……

5-105.jpg

大家可以去OpenAI的官网看,这样鬼畜的儿童画还有很多。

DALL-E的功能如此稀奇古怪,OpenAI研发它的目的是为了什么呢?

其实,研究就是研究,是为了拓展未来的边界,让AI达到更强大的功能。

OpenAI的首席科学家IIya Sutskever在推特上说,人工智能的长期目标是建立多模态的神经网络,让AI能够学习不同模态之间的概念。

以往的大部分AI,包括GPT-3,都是以文本为主,研发DALL-E是为了拓展视觉领域,让AI更好地理解世界。

DALL-E确实有着出色的理解能力和混合概念的能力。不少研究人员认为这意味着DALL-E充满创意,就像人类一样。

“我预计这个技术能带来各种各样的应用。” 剑桥大学的Neil Lawrence教授在CNBC的采访中说,“它非常令人兴奋,可以解决我们自己都不知道的问题。”

乔治亚理工学院的Mark Riedl教授也说:“混合概念的能力被认为是人类创造力的关键。所以,从创意角度看,DALL-E是一大进步。虽然人们对AI是否理解概念看法不一致,但用新的方式创造东西,是它智力和创造力的一大证明。”

这样一个有着120亿个参数的智能模型,肯定不只是用来画画搞笑图的,未来,它值得畅想……

ref:

https://www.cnbc.com/2021/01/08/openai-shows-off-dall-e-image-generator-after-gpt-3.html
https://openai.com/blog/dall-e/