影视后期会被人工智能代替吗
早在2016年,20世纪福克斯和IBM合作,居然用人工智能系统沃森剪辑出了惊悚电影《Morgan》的预告片。
在这支1分20秒的预告片中,紧张的音乐、快速的节奏、曾经出演《纸牌屋》的演员KateMara都组成了吸引观众的要素。如果不特意说明的话,这支出自人工智能之手的预告片看上去并没有什么不同。
沃森分析了超过100部惊悚片,试图总结出这一类型影片在叙事结构、配乐、情节上的套路。对于机器人来说,最难的在于如何把电影中的各种隐喻找出来,最大程度地用悬疑、惊悚的气氛把观众的情绪调动起来。目前的人工智能剪辑在情绪控制方面还有不足。
沃森从6分钟的脚本中剪辑出了这部预告片,用了不到24小时,这比常规的预告片剪辑速度快了至少10倍。
2018年世界杯期间,阿里巴巴机器智能技术实验室研发的AI智能集锦官“快影”正式在央视CCTV-5手机客户端上任。“快影”是AI和媒体界首个打通视觉,运动、音频、语音等多模态信息,实现足球赛事直播流跨模态分析的解决方案,这项技术正通过阿里云对外输出。
传统的人工剪辑至少需要30分钟,而“快影”能够在每场比赛结束后3-5分钟之内生成10分钟的全场视频集锦,相比人工剪辑,效率提升了10倍。让视频剪辑人员不熬夜,可以花时间做其他更具创造力的事。据说,这项AI技术已然成了体育赛事的标配。未来你看的所有集锦可能都是AI剪辑的了!
人工智能对影视行业有什么影响
人工智能在影视行业的具体应用已经有比较多的应用了。比如去年伦敦科幻电影节上首次亮相的科幻微电影《Sunspring》(《阳春》),它背后的编剧其实就是人工智能。虽然里面还有很多“穿帮”剧情。比如,片中某个角色咳嗽时眼球竟然掉了!还有有影评家指出:“片中的对话听起来像是不相关语句的拼凑”。但是如何和人类进行协同合作的话,还是可以擦出不少火花的。
这不,就在不久前麻省理工学院媒体实验室就对人机合作编剧的形式进行了研究,并从中确认机器能否识别影片中常见的情感曲线。
在业界,大家普遍认为导致有些电影广受好评,而有些却无人问津的很大原因,在于对情感曲线的把握。
于是麻省理工学院联合麦肯锡消费技术与媒体团队继续进行了深入研究,研发了基于深度神经网络的机器学习模型,用来观看影片、电视节目和网络短片中的细节特征,并实时评估其中包含的积极与消极情绪。
这些模型的研究范围覆盖影片的所有元素,包括情节、角色、对话,及例如追车场景中的人脸特写或音乐片段等其他细节。通过将各部分组成一个整体,就形成了故事的情感曲线。
也就是说,当机器查看了未标记视频后,就能基于所有视听元素为故事创作出情感曲线。这是前所未见的。
以著名的3D动画电影《飞屋环游记》的片头为例,影片主角CarlFredricksen是个脾气暴躁的小老头,在妻子Ellie去世后,他用数千个气球带着自己的房子飞向南美。为了更好展现Carl的探险旅程,编剧需要想出一个快速交代复杂背景故事的方法。
影片以一个无声的片段(只有背景音乐)为开头,随着Carl的生活场景徐徐展开,情感曲线也就出现了。(我们也观察了整部影片的情感曲线,但分段考查更能以小见大。)如下图:
▲图1:由机器算法所展现的电影《飞屋环游记》片头的情感曲线
从图中可以看到,影片中蒙太奇(在电影中指有意涵的时空人为的拼贴剪辑手法)的高低点,x轴是时间,以分钟为单位;y轴是视觉效价,即图像在特定时间唤起观众积极或消极情绪的程度。此处由机器打分,分数越高,情绪越积极。为开展全面分析,我们还用机器为完整影音建立了类似图表。不过重点在图像上,因为这也是接下来分析观众情感投入的研究重点。
在图中,视觉效价的分值为0到1,但并非每部电影的情感曲线都会跨域整个区间。重点在于相对效价,即某个场景与其他场景相比之下的积极或消极程度,以及情感曲线的整体形状。
和其他影片一样,《飞屋环游记》片头的蒙太奇片段中也有系列情绪波动,因此其情感曲线并非连续上升或下降。例如:
Carl在儿时探险时,曲线到达了峰值(carl儿时的探险经历中有很多美好快乐的回忆)
当儿时的Ellie半夜吓到Carl时,曲线瞬间大幅下滑。Carl受到惊吓后,曲线呈现了消极走向。
另外两处的峰值间隔较长,出现于Carl和Ellie婚后渴望孩子以及老两口深情相拥的片段。
结尾处,Carl在Ellie病逝后独自一人回到家中,情感效价骤降。
目前,MIT的机器学习模型已经分析了上千部影片,并为每部影片绘制了情感曲线。为检验其准确性,团队还招募了志愿者为各电影片段手动标注情感标签,同时,志愿者们通过注明唤起情感共鸣的影片元素,如对话、音乐或画面,还可以不断优化模型。
通过对影片分析数据的筛选,研究团队还开发了一套为影片故事分类的方法,即把情感曲线相同的影片归为一类。这个方法结合了聚类算法k-medoids与动态时间规整算法,从而检测两个不同情绪变化频率的视频序列之间的相似之处。
整个研究过程选取了两个不同的数据集,分别由500多部好莱坞电影和Vimeo网站上的1500个短片构成,并从中归纳情感曲线的类别。
在初步分析其视觉效价时,我们发现大多数影片可归纳为几种类别,结果与KurtVonnegut的猜想一致。
从上图中看到,Vimeo数据集中的情感曲线可分为五类。例如,标黄的曲线类型在视频前期消极情绪激增,此后直至接近尾声,始终维持积极情绪。(经机器对数据进行分析评分,所有影片开头和结尾处的效价值都会偏低。)
特别需要强调的是,了解影片的情感走向诚然有趣,但明确如何使用这些分析结果更为重要。
影片的情感曲线或曲线类别能否决定观众的观影反应?包含特定情感曲线的影片能否激发观众的情绪?研究团队尝试通过分析Vimeo短片的数据集来回答以上问题。(相较于声音曲线,视觉曲线与影片内容的关联性更强,且结合两种曲线会增加分析难度,因此决定围绕视觉曲线展开分析。)
在保证影响在线反馈的元数据(如影片长度和上传日期)不变的前提下,我们运用了回归模型分析影片的情感曲线特征。
需要说明的是,本研究的目的是预测Twitter及其他社交媒体上影片的评论数。除去评论中的负面内容,多数情况下,评论越多说明观众反应越强烈。但也有例外,比如像Gigli和Ishtar(《鸳鸯绑匪》和《伊斯达》)这类电影,尽管能引发大量网评,却鲜有好评。
在分析Vimeo短片时,利用视觉曲线确实可以预测观众的参与度,其中几类影片更能吸引评论(为确保准确性,每次分析都会选择不同类别的电影)。由分析可知,图2标红的曲线类型走势起起伏伏,早期充满成功和喜悦,后期逐渐陷入不幸。在所有类别中,此类影片结局最悲惨。但尽管如此,还是会给观众留下深刻印象。
除此之外,在针对Vimeo短片的其他分析中,还有一类影片的评论最多,远高于其他影片(见图3)。这类影片多以积极的情感爆发作为故事高潮,接近曲线尾端时走势激增。而图中这两类影片的主要区别在于左侧图中的故事在圆满结局前的情绪波动更大。
▲图3:两类评论最多的影片类型
相较于其他悲情结局的电影,上图这两种影片的评论更多,这一发现或许与宾夕法尼亚大学研究表明观众更喜爱大团圆结局的结果正好相反。
在此基础上,研究团队还浏览了Vimeo网上短片的所有评论,对情感倾向进行分类评分,然后运行程序统计了评论长度。分析结果表明,上述三类影片(即黄色、红色和蓝色线条)的评论更长,观众反应更强烈。评论不仅只有“好电影”几个字,还可见走心评论,如“太棒了……太震撼了……仿佛受到了重击。”还有些评论也很醒目,它们不局限于个别的视觉画面,还在意影片带来的整体感受,或影片的情节走向。
事实上,这些分析并非要让编剧按照特定模版撰写剧本,就像要求GeorgeOrwell为《1984》续写美满结局来博观众欢心一样。但它们可以激励编剧客观地审视剧本内容,并作出相应调整以引发观众共鸣,包括改变关键场景配乐或对情节、对话或角色等内容进行微调。
总的来看,随着AI的推广,影片制作过程也在发生改变,编剧和作家可以借助人工智能来打磨情节,增加故事的吸引力,而导演也可以借此在影片中设置更具冲击力的动作捕捉。越来越多的影视从业者开始逐渐意识到AI的价值,并利用其中的价值进行创作。
来自科技行者团队丢了四维口袋的Dora老师人工智能影视专业学什么
人工智能影视学专业
培养目标:培养具有深厚人文素质和坚实专业基础,一专多能,适应市场需要的高端应用型、创新型人才,毕业生可从事戏剧、电影、电视、纪录片、专题片、DV短剧的编剧、导演、拍摄与制作等工作。
主要课程:电影写作、电视剧写作、剧本分析、剧作实务、毕业作品创作、影视导演实践、纪录片、专题片编导、故事片编导、电视栏目编导与制作、影视剪辑与合成、电视新闻制作与编辑、影视实务、影视摄影技术、影视摄影造型、影视照明技术、影视录音、影视剪辑与合成、影视特技制作、影视广告摄影、电视栏目编导与制作、摄影实务、
就业方向:可从事电视台、广播电视台、网站、游戏公司、影视制作公司、音像公司、报刊杂志社、艺术院、团以及企事业单位工作。
推荐阅读美国担心人工智能领域(美国人工智能出问题)
创业人工智能领域,创业人工智能领域包括
mit 人工智能领域(mit首次提出人工智能)
小米人工智能领域加盟,小米人工智能家居加盟
人工智能领域工程 人工智能领域工程有哪些
医疗人工智能领域 医疗人工智能领域包括
医疗领域人工智能融资(医疗领域人工智能融资现状)
人工智能领域规范,人工智能领域规范文件