首页>帮助中心>3D直播>【3D】面部捕捉

【3D】面部捕捉

Part 1 如何使用普通摄像头面捕?

Part 2 如何使用VFace手机摄像头面捕?

Part 3 面捕参数设置

Part 4 如何映射,编辑模型的表情通道?

Part 5 VUP面捕常见问题

Part 1 如何使用普通摄像头面捕?

请参阅:如何使用普通摄像头面捕

Part 2 如何使用VFace手机摄像头面捕?

请参阅:如何使用VFace手机摄像头面捕

Part 3 面捕参数设置

一、面捕校准

1、在校准前,需要先确保摄像头已经捕捉到你的脸,然后正对摄像头,保持平静的表情,再点击【开始校准】

2、稍等片刻,待进度条加载完成,即可完成校准

点击【校准成功】右上角的“X”,可关闭“校准成功”提示窗

二、面具

为避免中之人在直播过程中意外曝光,我们给面捕窗口添加了【面具】选项

勾选【显示面具】,如下图所示,面捕窗口将被替换为黑色背景,中之人的脸将被 “薏夏” 的脸遮盖。

三、左右眨眼同步

请参阅:【3D】左右眨眼同步

四、眉,眼,嘴的平滑值与放大值

1、放大值

放大值越大,放大效果越明显

比如:嘴部放大的值越大,稍微一张嘴,嘴就会张的比较大。

2、平滑值

平滑值越小,捕捉越灵敏;

平滑值越大,捕捉越顺滑,但存在延时;


五、头部旋转

开启【头部旋转】,可实现虚拟形象实时同步你的头部摆动。

1、旋转幅度

旋转幅度越大,摆头的幅度就越大。

2、平滑值

平滑值越小,摆头越灵敏;

平滑值越大,摆头越顺滑,但存在延时;

3、偏移

用于校准朝向,如果摄像头没有正对你,而是有偏移,此时虚拟形象头部朝向也会有偏移,可不改变摄像头的位置,仅通过调整偏移值,使得虚拟形象头部正对屏幕。

4、轴映射

由于模型标准不同,当你左右摇头时,部分模型会前后摇头,此时可通过修改 “轴映射” 去解决此问题。


六、上半身旋转

开启【上半身旋转】,可实现虚拟形象实时同步你的上半身摆动。

1、旋转幅度

旋转幅度越大,摆动上半身的幅度就越大。

2、平滑值

平滑值越小,摆动上半身就越灵敏;

平滑值越大,摆动上半身越顺滑,但存在延时;

3、下半身晃动

开启【下半身晃动】,在摆动上半身的同时,下半身也会随之晃动

4、偏移

用于校准朝向,如果摄像头没有正对你,而是有偏移,此时虚拟形象腰部朝向也会有偏移,可不改变摄像头的位置,仅通过调整偏移值,使得虚拟形象上半身正对屏幕。

5、轴映射

由于模型标准不同,当你左右摆动上半身时,部分模型会前后摆动上半身,此时可通过修改 “轴映射” 去解决此问题。

七、恢复默认

点击【恢复默认】,所有的面捕设置项,均恢复为默认设置。

Part 4 如何映射,编辑模型的表情通道?

一、什么是表情通道?

对于3D模型,其在VUP中的面捕,声捕,自动看镜头,自动眨眼是通过blendshape的方式实现的(但眼球运动也支持骨骼的方式),所以在使用面捕,声捕,自动看镜头,自动眨眼前,需要映射对应的表情通道。

VUP表情通道包含了:自动眨眼通道,面部捕捉通道,声音捕捉通道,自动看镜头通道,请按照你的需要,去映射所需的表情通道。

在你导入模型后,会弹出“表情通道映射”窗口

1、对于vrm格式,以及 “由pmx转化为vup格式”的模型,VUP已自动映射部分表情通道,你可以根据自己的喜好,编辑修改。

2、对于 “由fbx转化为vup格式” 的模型,表情通道均需要手动映射,没有被映射的表情通道,默认选项为”Null”。这意味着,在捕捉时,此表情通道对应的表情无法被使用。比如:张嘴通道,选项为null,则你在面捕时,你张嘴,虚拟形象不会张嘴。


二、如何映射表情通道?

1、鼠标悬停在模型卡片上,点击“笑脸”图标,即可开始映射此模型的表情通道。

2、点击每个表情通道右侧的 “眼睛” 图标,然后预览左侧官方模型(薏夏)的表情。

3、参考薏夏的表情效果,下拉此表情通道的选项,逐个尝试,直到找到一个选项使得你模型此时的表情与薏夏的表情相同,则表示“匹配成功”。

4、如果找不到“匹配项”,表示你的模型缺乏此表情对应的形态键(blendshape key),如有需要,可以在建模软件制作此形态键。然后此处选择 “Null” ,继续匹配下一个表情通道。

5、按需要,逐个完成所需的表情通道的匹配,点击【保存】,编辑生效。

三 、注意事项

1、因为表情通道和选项是“一一对应”的关系,所以在同一模块下,比如在“面捕通道”模块下,不同的表情通道不能选择同一个选项,否则可能导致捕捉异常。比如:同在 “面捕通道”模块 下的 通道“张嘴” 和 通道 “眨右眼”,都选择选项 “a”,最终,会导致面捕异常。

2、表情通道的选项为”Null”,则在捕捉时,此表情通道对应的表情无法被使用。比如:张嘴通道,选项为null,则你在面捕时,你张嘴,虚拟形象不会张嘴。(此条适用于:面捕通道,声捕通道,自动眨眼通道,自动看镜头通道)


四、编辑表情通道

鼠标悬停在需要编辑表情通道的模型卡片上,点击“笑脸”图标,即可开始编辑表情通道。

五、表情配置文件的导出和导入

前面提到:角色在使用捕捉功能前,都需要映射模型的表情通道。

所以,一般来说,每次导入模型后,在使用捕捉功能之前,都需要映射。但,这样很不方便!

此时 “表情配置文件” 的【导入】和【导出】,将带来很多便利!

比如:我们对角色做升级(如:换衣服,加配饰…),只要不改变模型的面部及表情形态键的前提下,通过这两个按钮,可以将旧版模型的表情配置文件替换给新版模型。

1、首先,进入旧版模型的表情通道映射界面,然后点击【导出配置】按钮,导出旧版模型的表情映射的配置文件。

2、然后,进入新版模型的表情通道映射界面,点击【导入配置】按钮,将旧版模型的表情映射配置文件给到新版模型,这样新版模型就无需再手动去映射表情通道了。

Part 5 VUP面捕常见问题

请参阅:VUP面捕的常见问题

个人中心
今日签到
有新私信 私信列表
搜索