NEXT:虚拟数字人 活得并不容易_NEXM

题图|虚拟数字人AYAYI,燃麦科技官网

3月25日,抖音@柳夜熙账号更新了短剧“地支迷阵”的第五集,在科幻+玄幻的背景下,虚拟数字人和现实存在的人类互相倾轧,冰冷的科技和温暖的人性迸撞出火花。在评论区,除了“你竟然可以在抖音看电影”这样的褒奖外,还有“求问作者,这条视频要花多少钱”的好奇,以及“是不是该更新了”的期待。

而过去半年,“柳夜熙”账号实际上仅发布了11条作品,除去几条30秒左右的宣传视频,只有最初的亮相视频和5条4分钟左右的正片。众所周知,互联网没有长久的记忆,这样的产量对以抖音为主阵地的短视频创作者来讲,是远远无法令人满意的。

其实对国内用户而言,过去半年,已经是虚拟数字人自诞生以来存在感最高的一段时间。

一方面,以Meta为代表的科技巨头再度抛出元宇宙概念,引发市场追捧,“虚拟数字人”被视为未来人类进入元宇宙的介质,随之站上舆论风口;另一方面,北京冬奥会成为当前虚拟数字人技术的展示舞台,无论是体娱明星的虚拟分身,还是以公共服务为导向的虚拟主播,都让大众对虚拟数字人产生了更直观、更深入的认知。

MeetGu3DAvatar风格化数智达人/图片:网络

数据也能反映国内虚拟数字人行业的热度。根据启信宝数据显示,2020年国内虚拟数字人相关企业新增数量为36080家,2021年该数据达到66293家,同比增长80%。天眼查数据显示,我国现有“虚拟数字人”相关企业约30万家。

当前正在孵化的虚拟数字人项目数量暂时不得而知,但根据普遍存在的一个团队、一条技术链路同时支撑多个虚拟数字人IP孵化的并行模式估算,这个数字当以万计,甚至更多。

如果模糊掉纯概念阶段的虚拟数字人历史,那么CryptonFutureMedia于2007年推出的“初音未来”可算作是第一个广为人知的虚拟数字人,我们此前所见的虚拟数字人也以二次元形象的虚拟偶像和Vtuber居多。而本轮热潮中,虚拟数字人逐渐开启多元化发展:外在观感层面,依托新一代引擎和技术,超写实数字人、虚拟分身已经与现实存在的人类真假难辨;功能应用层面,具备更多服务属性的虚拟员工、虚拟主播开始呈现规模应用趋势。

LVMH利用Epic Games的3D技术工具提供虚拟数字体验:金色财经报道,LVMH将使用Epic Games的3D技术工具提供虚拟试衣间、AR、时装秀、360度产品轮播和数字孪生体验等。LVMH将利用Fortnite创作者的技术堆栈,其中包括3D头像软件和虚拟环境来创建虚拟试衣间和时装秀。

Epic Games的3D创意工具包括Unreal Engine、Reality Capture、Twinmotion和Meta Human。[2023/6/17 21:43:13]

在艾媒咨询发布的《2022中国虚拟人行业发展研究报告》中,将国内虚拟人产业的发展历程分为4个阶段:萌芽阶段、探索阶段、初级阶段、发展阶段,而发展阶段的特征是,“技术、需求均有突破,虚拟偶像凭借独特的人设吸引年轻群体。”

中国虚拟人产业发展历程/图片:艾媒咨询

在当下发展阶段,整个行业进入快速扩张期,但距离成熟仍有距离。就近而论,虚拟数字人仍未有获得广泛认可的权威定义和标准化分类;从长远看,元宇宙构想落地尚早,虚拟数字人发力缺乏环境支持。

那么从眼下出发,已经孵化和即将孵化的数字人们可能都面临同样的问题——如何活着?正如互联网时代的许多新事物一样,数字人们也必将经历“雨后春笋-大浪淘沙-适者生存”的考验,因此,技术迭代、长线运营、商业化路径可能是行业近期最需要关心的几个问题。

注:本文采用中国传媒大学《中国虚拟数字人影响力指数报告》中的分类方法。技术上,虚拟数字人可以分为智能驱动、真人驱动两大类。应用上则包括身份型、服务型、表演型三大类。”

技术先行一步?

虚拟数字人的制作是一个相对复杂的流程。以新华社联合腾讯互娱旗下NExTStudios推出的虚拟数字航天员小诤为例,NExT技术团队介绍了超写实数字人的制作流程。

扫描:采用Photogrammetry扫描系统对特定演员进行全方位扫描,包括脸部模型、身体、衣服等,随后生成点云模型。

建模:针对身体和脸部特征,将点云模型转成低模,便于后续绑定制作。同时手工制作扫描出错或扫描不到的地方,如口腔内部、眼睛、牙齿、头发。

杭州判决首例涉虚拟数字人侵权案,判决被告构成侵权:金色财经报道,近日,杭州互联网法院一审判决了首例涉虚拟数字人侵权案,判决被告公司构成著作权侵权及不正当竞争,为原告公司消除影响并赔偿经济损失(含维权费用)12万元。[2023/5/6 14:46:23]

绑定:基于FACS、MotionBuilder和Maya,完成人脸、身体绑定,生成仿真的虚拟形象。

动画:采用面部、身体动作捕捉方案,结合后期人工动画精修,实现虚拟形象的动态展示。

渲染:通过虚幻引擎,完成角色渲染和动画输出,所见即所得。

而虚拟数字人的制作,同其它工业化制程一样,不仅包括产品的迭代,也伴随生产工具的革新。例如,通过开发基于FACS的表情模型制作工具,大幅提升表情模型数量,解决虚拟形象面部表情僵硬的问题;通过自动化算法,解决虚拟角色和真实演员身体比例不一样导致的角色穿模问题。

自2017年以来,NExTStudios团队逐渐摸索出两条超写实虚拟人制作管线,分别取名为xFaceBuilder?和xMoCap?,对应虚拟数字人的面部和身体制作,除了数字人领域,二者也应用于腾讯的PC游戏和手游项目。

虚拟数字航天员小诤/图片:新华社

目前,多数大型科技公司都有技术团队试水虚拟数字人孵化。而对有实际需求,仅缺少技术储备的应用方而言,百度智能云曦灵数字人平台提供了相对简单的一站式接入方案。

百度智能云AI人机交互实验室负责人李士岩介绍,曦灵平台可以满足数字人的低成本快速定制,同时提供人设、业务、内容方面的运营支持。其中3D卡通数字人可以通过人脸识别、照片建模分钟级生成,2D平面数字人可以通过上传真人视频小时级生成。而3D高清数字人方面,非特异型数字人支持分钟级生成,同时支持AI驱动;特异型数字人成本最高,需要10到30天。

需要注意,快速低成本生成的数字人与虚拟员工等服务性需求契合度较好,训练完成基本可以无缝接入当前应用场景。但对于虚拟偶像等表演型需求,生成虚拟形象只是第一步,更精细的打磨和长期的运营支持必不可少。

百度新专利获授权,可应用于虚拟数字人、元宇宙等场景:金色财经报道,近日,百度旗下北京百度网讯科技有限公司“虚拟对象驱动方法、深度学习网络的训练方法及装置”专利获得授权。专利摘要显示,本公开提供了一种虚拟对象驱动方法、深度学习网络的训练方法及装置、设备、介质和产品,涉及人工智能领域,尤其涉及深度学习、计算机视觉、虚拟/增强现实和图像处理技术领域,可应用于虚拟数字人、元宇宙等场景。

据悉,该专利能使虚拟人发声时唇部肌肉运动更加自然,贴近真人。借助这一技术和百度类ChatGPT项目文心一言(ERNIEBot),百度有望推出与用户对话更加自然的高拟真度虚拟形象。(上证报)[2023/2/14 12:05:53]

央视AI手语主播/图片:央视新闻

和虎嗅有过交流的多个虚拟数字人团队,都认为数字人的工业化生产即将到来。可以说,当前虚拟数字人技术正在快速发展和迭代,至少在外观上已经无限接近所想即所得,以至个别超写实数字人正是因为在审美层面过于完美,而被识别为假。

但与此同时,当下数字人在交互上的瓶颈显而易见,现有AI技术还不足以支持数字人养成独立行为,独立思想则更远。只是在潮流概念和技术驱动下,数字人的发展先于需求一步,然而也正是因为技术的瓶颈,数字人尚未打通自身的生存路径。反映到当下,每一个数字人要想成为长久存在的“人”,更多还是靠幕后运营团队去支撑。

运营后继乏力

暂时不考虑身份型虚拟数字人的应用,目前表演型虚拟数字人主要以ToC为主,而实用型数字人主要以ToB和ToG应用为主。保持活跃、保有关注,是悬在每一个虚拟数字人头顶的达摩克利斯之剑。

目前虚拟数字人的曝光方式主要有以下几种途径:发布离线视频、图片;才艺直播、舞台演出;参与大型活动、特殊场景报道。上述数字人IP面临的挑战,也是整个行业必须直面的问题。

其一是成本。去年10月31日,柳夜熙凭借“捉妖”题材短视频爆红,一夜涨粉363万,影响力在中国传媒大学发布的《中国虚拟数字人影响力指数报告》中名列首位。但至今5个月以来,柳夜熙抖音官方账号总计发布视频数量为11条,更新频率每月2次,粉丝留言中“催更”频繁出现。

广州市政协委员刘佳:提议打造以政府主导的“元宇宙城市”虚拟数字经济体:1月25日消息,广州市政协委员、佳都科技高级副总裁刘佳在地方两会上带来了《关于打造以政府主导的“元宇宙城市”虚拟数字经济体,开辟数字经济新领域的提案》。刘佳认为,建议由政府主导,打造“元宇宙广州”虚拟数字经济体,出台“元宇宙广州”的顶层设计方案。同时筹划成立由国资牵头、民企参与的混合所有制开发主体,保障“元宇宙广州”数字孪生经济体国有性质,吸收对“元宇宙广州”有技术、经济、资源贡献的民企参与,形成科学合理的治理体制,为“元宇宙广州”建设提供组织保障。(证券时报)[2022/1/25 9:10:59]

而在《影响力指数报告》中排名第五的AYAYI一直活跃在平面媒介,通过晒硬照保持较高的曝光频次。但翻看其小红书动态即可发现,高频次的晒照并没有持续推升人气和互动量,反而从最初的峰值有所回落,动态下方的评论区也时不时收到“新片质量不如早期照片精致”的反馈。

现象级虚拟数字人柳夜熙/图片:网络

据百度李士岩介绍,“采用传统方法制作CG级的视频、海报成本很高,一分钟视频做一个月可能是算短的,2到3个月也很正常。目前生产工具还没有做的特别好,限制了生产力,而生产力又进一步限制了生产关系的创新。未来通过人工智能深度学习,可以一定程度上压缩生产周期。”

腾讯NExTStudios团队也证实了成本瓶颈,“超写实数字人是虚拟数字人技术皇冠上的明珠,有远高于二次元纸片人的制作难度,国内行业积累有限,相关技术人才也很稀缺,大部分国内厂商的生产能力都被压制在一个较为初级的水平线上。但与此同时,团队只需要在某一两个环节上有长板,也就容易脱颖而出。

目前市场上的虚拟数字人制作公司大多是创业型公司,有短期融资变现的强需求,因此会比较追求快速生产或规模化,对于精工细作很难兼顾。一个超写实虚拟数字人形象恐怕至少要投入100至200万制作费用才能不至羞于见人,甚至即便投入了也未必能做出令人满意的角色。”

曾经引起轰动的黄仁勋虚拟人也可作为参考,根据英伟达官方博客,黄仁勋虚拟人在发布会上出镜的14秒视频,共有34位3D美术师和15位软件工程师协同参与,总计近千工时。

天神娱乐:将以合资公司为主体打造虚拟数字人制作平台:金色财经报道,天神娱乐在机构调研中表示,公司全资子公司聚为数字科技(大连)有限公司与北京智京未来科技有限公司合资设立新公司北京元境数字科技有限公司。公司会将在电竞游戏领域的产品、技术、用户资源以及在短视频、直播、内容营销领域的数据流量资源导入合资公司,以合资公司为主体打造虚拟数字人制作平台,实现虚拟数字人在电竞游戏、品牌营销领域的应用。(鞭牛士)[2021/12/30 8:14:37]

其二是内容和运营。对于A-SOUL、洛天依等虚拟偶像,可供直接参考发展路径是明星艺人,那么业务能力和粉丝运营能力便是两项硬指标。只是国内Vtuber行业起步较晚,且一直囿于小众,专业的中之人、能为虚拟偶像定制内容的创作团队都很稀缺;与此同时,能弄明白“二次元为爱发电”,能玩转粉丝经济,能熟谙饭圈文化的运营团队更是屈指可数。

拥有多年流量明星培养、管理经验的乐华娱乐,可以说代表了国内虚拟偶像运营的较高水平。在过去一年中,乐华既有与方文山、许嵩合作,为A-SOUL量身打造新作品的手笔,也不只一次犯过运营不够精细化的错误——比如“嘉然直播玩手机”事件、“向晚中之人疑似曝光”事件。

虚拟偶像组合A-SOUL/图片:A-SOUL官方微博

除此之外,还有一些案例也反映出当下数字人运营的壁垒。去年年中,国风写实数字人翎_Ling发布小红书笔记,称某品牌口红“滋润不干”,引发网友质疑。“AI知道口红好不好吗?”“AI就人物带带衣服这类货还差不多,化妆品、护肤品就免了吧。”

国外数字人网红鼻祖LilMiquela也曾遭争议——2019年,LilMiquela通过Vlog分享了一段自己在和陌生人共乘计程车时遭到骚扰的过程,但网友认为将遭受性侵作为营销手段明显过界。

可见,用户对数字人的信任,主要集中在视听感观。尽管数字人从外观上已经足够接近人类,但现实和虚拟的鸿沟仍然很难跨越。

不过在李士岩看来,时间可以解决很多问题,“因为计算机技术的发展,一直在追求将物理世界的信息进行数字化,如果有足够的发展周期,感觉、其它一切都是可以数字化的。”

其三是打破同质化。当前数量较多的虚拟主持人、虚拟带货主播、Vtuber等,是AI驱动应用最多的场景。7*24小时在岗,随时、随地工作的特性体现了技术的优势。但正如前文提及的《影响力指数报告》而言,目前虚拟主播技术借力多、自主少,需要关注、提升。“同质化竞争”是虚拟主播的重要挑战,无论是专业媒体经营,还是企业或者个人运营的,其主持、直播功能雷同,要突出重围则需更强的内容策划和运营能力。

腾讯NExTStudios团队表示,“虚拟数字人是一个新兴产物,在市场上引起一定的关注、热度、吹捧也属正常。伴随着数字人技术的日趋先进、门槛降低,比如英伟达的OmniverseAvatar、Epic的MetaHumanCreator等工具推出,用户能看到同类水准的东西越来越多,审美品味也会随之提高,对优秀作品的需求会放大。届时用户不只会被虚拟数字人漂亮的形象吸引,而会更进一步看到TA背后的表演、内涵甚至于精神。那么那种只靠一张皮、一张图,而缺乏形象背后深度运营能力的数字人肯定都会快速退潮,死在沙滩上。”

商业路径未明

根据量子位发布的《虚拟数字人深度产业报告》,到2030年,我国虚拟数字人整体市场规模将达到2700亿,其中身份型数字人约占1750亿,服务型数字人约950亿,市场目前仍处于培育阶段。至于应用层面,替代真人服务的虚拟主播和具备IP潜力的虚拟偶像是当前市场热点。

而在艾媒咨询提供的数据中,虚拟偶像产业保持稳定增长态势,2021年,虚拟偶像带动整体市场规模和核心市场规模分别为1074.9亿元和62.2亿元,预计2022年将分别达到1866.1亿元和120.8亿元。

腾讯NExTStudios团队也认为虚拟偶像、Vtuber可能是目前最有商业化前景的方向,“毕竟能与用户直接交互,想象空间比单向的CG视频更大。”

在一众虚拟数字人前景未明的时候,虚拟偶像团体A-SOUL给业界注入不少信心。3月8日,乐华娱乐向港交所递交招股书,通过各机构对招股书的解读,推测出A-SOUL在2021年取得的收入应不少于1700万。尽管这个数字只占乐华总收入的不到3%,远远无法和乐华旗下的流量明星相提并论,但已经是虚拟数字人迄今取得的最好成绩。

国内虚拟偶像产业预测/图片:艾媒咨询

至于其它表演型、服务型数字人,除了流量变现,目前还没能看到明确的商业路径。虚拟带货主播可以节约商家的人力成本,但能否替代真人的评测功能,与真人是竞争关系还是竞合关系仍有待验证;借助春晚、冬奥会吸引到广泛关注的虚拟媒体主播、记者,似乎使命完成,又回归了此前不温不火的状态;而当下企业的大部分“虚拟员工”,与此前的智能客服差异不大,能被人记住的,只有少数采用独特人设展现企业品牌形象、用于营销的IP。

虎嗅也从燃麦科技了解到,“目前数字人只占公司四分之一的业务板块,当AYAYI引领了数字人行业以后,其实她的任务已经完成,我们现在正在筹备数字厂牌,孵化数字艺术家,举办数字艺术展览,上线数字藏品平台等。”

每一类、乃至每一个数字人,可能都在探索自己的生存之道。那么此后一段时间,什么样的数字人可能会接近成功呢?

在较近阶段,腾讯NExTStudios团队认为主流的打造虚拟数字人IP的途径可能会有如下几种:

1.自带IP属性的明星。例如虚拟邓丽君、梅兰芳、威尔史密斯等真人的数字复刻,运营思路其实就是真人明星的再现,是最具技术和产品挑战的一种数字人形式。

2.与真人联动的虚拟数字人IP。此类IP运营方式会对运营方有更专业和更全局化的要求,一般都有传统的艺人经纪公司参与,主要以突破既有用户圈层、规避真人塌房风险等为核心诉求。

3.基于成熟的MCN网红打造IP。在此维度上,由于可观的技术投入费用在前,虚拟数字人必然趋于劣势。

4.基于故事、游戏虚拟世界创建出来的IP。此类IP打造方式更符合传统IP的打造思路,从文字到平面、立体、动态…内容形式也会从传统纸媒、多屏覆盖到新媒体的各个维度,属于高举高打的形式。整体投入巨大,且成功概率呈漏斗型,只有经久不息的内容和质量才能持续打动观众,形成真正的IP。

5.基于二次元形象而打造的虚拟数字人IP。这类虚拟偶像虽然相对技术门槛低,但用户触达难度高,并非光靠砸钱堆人就能成功。

国内虚拟人产业链/图片:艾媒咨询

在稍长远的周期中,百度李士岩认为,数字人是基于计算机平台的交互载体,将呈现段落式发展。“当下所处的平面计算时代,主要以服务型与表演型数字人应用为主,下一个阶段是更大的时代,暂时定义为空间计算时代。空间计算时代计算平台呈现的信息不再是平面的,而是实时三维的,届时核心用户的行为大概会有社交、获取商品、信息消费、获得服务四类,那么能够提供个性化交互、能提供情绪价值和内容价值的虚拟分身是必选项,能够提供人文情感关怀、又能保证效率的服务型数字人则是另一种应用形态。在未来的空间计算时代,一定会产生比现在平面计算时代更大的市场。”

写在最后

正如柳夜熙“地支迷阵”短片中抛出的核心矛盾——随着虚拟数字人技术的进一步发展,舆论泡沫、伦理制约等问题将可能成为潜在的风险,人类也必将直面AI与人类、数字人与人类的议题。

对此,李士岩认为,“在当前的虚拟数字人领域,人工智能更像是一个生产工具,人的创造力加上生产工具,可以更高效更低成本地生产内容。”

腾讯NExTStudios团队也分享了他们的看法。

“作为科技产物,虚拟数字人背后的“魂”或“神”,依旧需要依托人、或者人工智能完整表达。随着计算机图形技术、动捕技术以及AI技术的发展,虚拟数字人将在场景技术、情感技术、交互技术上产生长足的进步,这就会让未来的数字人越来越接近于真人,甚至于超越。

整体来看,虚拟数字人的进化路径由拟人化走向同人化,最终将走向超人化,实现归真超实。在拟人化阶段,数字虚拟人是由计算机虚拟合成的、高度逼真的三维动画人物;在同人化阶段,数字虚拟人的外观、情感、交流能力、理解能力等各方面与真人相同;在超人化阶段,数字虚拟人的能力将超越自然人。

未来虚拟数字人的发展不能单独依托技术,要拥有足够的竞争力,必须打造全新体验,对整个应用场景深刻理解。满足用户需求,给用户前所未有的情感体验,让用户接纳虚拟人,才是虚拟人走向成功的必经之路。”

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

大币网

PEPEVIB:Vibe:Web3 的不可或缺_WEB

编者按 SeeDAO翻译公会非常喜欢这篇文章。根据我们的一系列实践,深深地感到了Vibe是比Token等金融化手段,以及一切DAO协作工具更加重要的东西.

[0:0ms0-15:715ms