首页>帮助中心>3D直播>【3D】面部捕捉

【3D】面部捕捉

Part 1 如何使用普通摄像头面捕?

Part 2 如何使用VFace手机摄像头面捕?

Part 3 面捕参数设置

Part 4 如何映射,编辑模型的表情通道?

Part 5 VUP面捕常见问题

Part 1 如何使用普通摄像头面捕?

请参阅:如何使用普通摄像头面捕

Part 2 如何使用VFace手机摄像头面捕?

请参阅:如何使用VFace手机摄像头面捕

Part 3 面捕参数设置

一、面捕校准

1、在校准前,需要先确保摄像头已经捕捉到你的脸,然后正视display窗口中的虚拟形象,保持平静的表情,再点击【开始校准】

2、稍等片刻,待进度条加载完成,即可完成校准

点击【校准成功】右上角的“X”,可关闭“校准成功”提示窗

二、面具

为避免中之人在直播过程中意外曝光,我们给面捕窗口添加了【面具】选项

勾选【显示面具】,如下图所示,面捕窗口将被替换为黑色背景,中之人的脸将被 “薏夏” 的脸遮盖。

三、左右眨眼同步

请参阅:【3D】左右眨眼同步

四、面捕通道调整

1、通用设置

即:眼,眉,口的放大值,平滑值调整

2、高级设置(让面捕调整更细节!)

即:对已映射的面捕表情通道的放大值,平滑值调整

3、关于放大值,平滑值

(1)放大值

放大值越大,放大效果越明显

比如:嘴部放大的值越大,稍微一张嘴,嘴就会张的比较大。

(2)平滑值

平滑值越小,捕捉越灵敏;

平滑值越大,捕捉越顺滑,但存在延时;


五、头部旋转

开启【头部旋转】,可实现虚拟形象实时同步你的头部摆动。

1、旋转幅度

旋转幅度越大,摆头的幅度就越大。

2、平滑值

平滑值越小,摆头越灵敏;

平滑值越大,摆头越顺滑,但存在延时;

3、偏移

用于校准朝向,如果摄像头没有正对你,而是有偏移,此时虚拟形象头部朝向也会有偏移,可不改变摄像头的位置,仅通过调整偏移值,使得虚拟形象头部正对屏幕。

4、轴映射

由于模型标准不同,当你左右摇头时,部分模型会前后摇头,此时可通过修改 “轴映射” 去解决此问题。


六、身体旋转

开启【身体旋转】,可实现虚拟形象实时同步你的身体摆动,转动。

1、晃动模式

(1)上半身晃动

虚拟形象腰以上的部位,将同步您的身体转动,摆动

(2)上半身+下半身晃动

虚拟形象不仅同步您的上半身转动/摆动,以此同时,下半身也会随之晃动

(3)全身晃动

【视频介绍】如何使用全身晃动

2、参数设置

(1)旋转幅度

旋转幅度越大,同步身体旋转(摆动)的幅度就越大。

(2)平滑值

平滑值越小,身体旋转同步越灵敏;

平滑值越大,身体旋转同步越顺滑,但存在延时;

(3)偏移(不适用于【全身晃动】模式)

用于校准朝向

如果摄像头没有正对你,而是有偏移,此时虚拟形象腰部朝向也会有偏移

可不改变摄像头的位置,仅通过调整【偏移值】,使虚拟形象上半身正对屏幕。

(4)轴映射(不适用于【全身晃动】模式)

由于模型标准不同,当你左右摆动上半身时,部分模型会前后摆动上半身,此时可通过修改 【轴映射】 去解决。

七、恢复默认

点击【恢复默认】,所有的面捕设置项,均恢复为默认设置。

Part 4 如何映射,编辑模型的表情通道?

一、什么是表情通道?

对于3D模型,其在VUP中的面捕,声捕,自动看镜头,自动眨眼是通过blendshape的方式实现的(但眼球运动也支持骨骼的方式),所以在使用面捕,声捕,自动看镜头,自动眨眼前,需要映射对应的表情通道。

VUP表情通道包含了:自动眨眼通道,面部捕捉通道,声音捕捉通道,自动看镜头通道,请按照你的需要,去映射所需的表情通道。

在你导入模型后,会弹出“表情通道映射”窗口

1、对于vrm格式,以及 “由pmx转化为vup格式”的模型,VUP已自动映射部分表情通道,你可以根据自己的喜好,编辑修改。

2、对于 “由fbx转化为vup格式” 的模型,表情通道均需要手动映射,没有被映射的表情通道,默认选项为”Null”。这意味着,在捕捉时,此表情通道对应的表情无法被使用。比如:张嘴通道,选项为null,则你在面捕时,你张嘴,虚拟形象不会张嘴。


二、如何映射表情通道?

1、鼠标悬停在模型卡片上,点击“笑脸”图标,即可开始映射此模型的表情通道。

2、点击每个表情通道右侧的 “眼睛” 图标,然后预览左侧官方模型(薏夏)的表情。

3、参考薏夏的表情效果,下拉此表情通道的选项,逐个尝试,直到找到一个选项使得你模型此时的表情与薏夏的表情相同,则表示“匹配成功”。

4、如果找不到“匹配项”,表示你的模型缺乏此表情对应的形态键(blendshape key),如有需要,可以在建模软件制作此形态键。然后此处选择 “Null” ,继续匹配下一个表情通道。

5、按需要,逐个完成所需的表情通道的匹配,点击【保存】,编辑生效。

三 、注意事项

1、因为表情通道和选项是“一一对应”的关系,所以在同一模块下,比如在“面捕通道”模块下,不同的表情通道不能选择同一个选项,否则可能导致捕捉异常。比如:同在 “面捕通道”模块 下的 通道“张嘴” 和 通道 “眨右眼”,都选择选项 “a”,最终,会导致面捕异常。

2、表情通道的选项为”Null”,则在捕捉时,此表情通道对应的表情无法被使用。比如:张嘴通道,选项为null,则你在面捕时,你张嘴,虚拟形象不会张嘴。(此条适用于:面捕通道,声捕通道,自动眨眼通道,自动看镜头通道)


四、编辑表情通道

鼠标悬停在需要编辑表情通道的模型卡片上,点击“笑脸”图标,即可开始编辑表情通道。

五、表情配置文件的导出和导入

前面提到:角色在使用捕捉功能前,都需要映射模型的表情通道。

所以,一般来说,每次导入模型后,在使用捕捉功能之前,都需要映射。但,这样很不方便!

此时 “表情配置文件” 的【导入】和【导出】,将带来很多便利!

比如:我们对角色做升级(如:换衣服,加配饰…),只要不改变模型的面部及表情形态键的前提下,通过这两个按钮,可以将旧版模型的表情配置文件替换给新版模型。

1、首先,进入旧版模型的表情通道映射界面,然后点击【导出配置】按钮,导出旧版模型的表情映射的配置文件。

2、然后,进入新版模型的表情通道映射界面,点击【导入配置】按钮,将旧版模型的表情映射配置文件给到新版模型,这样新版模型就无需再手动去映射表情通道了。

Part 5 VUP面捕常见问题

请参阅:VUP面捕的常见问题

个人中心
今日签到
有新私信 私信列表
搜索