使用教程
1. 光子引擎简介
光子引擎是互动VR影视内容的编辑工具,通过将360°视频、图片、声音等多媒体素材与观众的动作相结合,创造出VR独有的沉浸式故事体验。
1.1. 4分钟快速上手
2. 准备素材
2.1. 简介
光子引擎支持已经缝合好的360°(立体)视频和图片、局部视频和图片,以及音频。需要注意的是,360°视频和图片的比例必须为2:1,例如3840x1920。立体360°视频和图片的比例必须为1:1,例如2000x2000,左眼画面在上右眼画面在下。
2.2. 全景视频
为了在不同的VR设备上获得最好的体验,建议参考下表对360°素材进行压缩。
2.3. 全景图片
格式:JPG 或者 PNG
最大尺寸:3840x1920 px
2.4. 局部视频或图片
局部视频或者图片截取自全景的一部分,常与全景素材配合使用,达到触发时仅改变局部画面的作用。制作方法是从缝合好的全景素材上选取局部区域,然后保存。例如,在Nuke里可以用Crop节点选择区域,然后勾选Crop节点的"Reformat",输出后即可获得局部视频或者图片。
2.5. 音频
格式:MP3
3. 创建工程以及素材管理
3.1. 创建工程
  1. 打开光子引擎之后会自动新建一个工程。
  2. 也可以点击菜单"文件"(快捷键:cmd+n/ctrl+n)在任何时候新建工程。
3.2. 导入素材
将素材文件直接拖入光子引擎界面下半部分(节点编辑器)即可完成导入。
3.3. 预览素材
  1. 选中节点即可在光子引擎界面上半部分(媒体播放器)预览。
  2. 预览全景素材时,在媒体播放器中按下空格键+鼠标左键可以拖动画面。
  3. 在节点上将全景改为立体全景,此时在媒体播放器上会出现三个按钮,分别代表"左、立体、右",点击可以切换左眼画面、左右眼叠加画面、右眼画面。还可以使用快捷键"1,2,3"快速切换显示。
  4. 在节点上选择"局部",即可在媒体播放器中预览局部素材。
3.4. 删除素材
选中相关节点,按下键盘"Backspace(退格)/Delete"键即可删除该节点。
4. 连接素材
光子引擎是节点式的,每一个节点左侧代表可以进行的动作,比如视频节点能够进行的动作是"播放、暂停、恢复、停止",右侧代表能够发出的输出信号。
比如,下面这个连线代表:
a. 作品开始时播放全景视频"k.mp4",同时循环播放音乐"chair.mp3"。
b. "k.mp4"播放完毕后,播放全景视频"bright movement.mp4"。
在节点右侧的连接口上按下鼠标左键,拖动线条到任意节点左侧的连接口上,松开鼠标左键即可建立连接。
  1. 选中线条,按下鼠标左键拖动,放开鼠标左键即可删除连接。
  2. 选中线条,按下键盘"Backspace(退格)/Delete"也可以删除连接。
5. 目光触发区
目光触发区是一个方形的区域,光子引擎会监测观众的目光(目前是观众可视范围的中心点),并且在目光进入、离开或者在触发区停留了n秒之后发出触发信号。
光子引擎支持在同一个全景素材上绘制无限个目光触发区。
5.1. 建立目光触发区
选中全景素材节点,在媒体播放器中按下鼠标左键,拖动鼠标画出触发区,松开鼠标左键即可建立目光触发区,此时在节点上可以看到建立好的触发区。
5.2. 编辑目光触发区
选中想要编辑的目光触发区,在媒体播放器中即可改变触发区的位置和大小。
5.3. 删除目光触发区
选中触发区,按下键盘"Backspace(退格)/Delete"即可删除。
5.4. 一次性触发区
勾选触发区"一次性"选项之后,该触发区在被触发(无论是进入、离开还是停留)一次之后就会失效。
6. 在全景素材上叠加局部素材
光子引擎支持在显示全景素材的同时叠加显示局部素材。
6.1. 局部素材和全景素材同时出现
先连接全景背景,再连接需要同时出现的局部素材,即可让两者同时出现。
注意,连接的顺序就是显示的层级,比如上图这个场景中,先连接全景背景,再连接局部素材,意思是先显示全景背景,然后显示局部素材。如果先连接局部素材再连全景背景,那么运行的时候会发现局部素材不可见,这是因为全景背景把局部的素材覆盖了。
6.2. 局部内容被触发后出现
6.3. 调整显示层级
同一个输出信号上如果连接了多个局部素材,就会存在显示层级关系。点击输出信号口右侧的三角,可以展开显示层级列表,拖动该列表即可改变显示层级。
下面这个例子展示了完整的操作过程。
6.4. 微调局部素材的位置
在媒体播放器中选中局部素材,按下键盘"上下左右"键即可微调位置,按下键盘"Shift+上下左右"可以稍大幅度微调位置。在素材的左上角有一个切换显示隐藏的图标,同时,也可以按下键盘"d"键快速切换显示/隐藏局部内容,方便对齐。
6.5. 如何让局部视频和全景背景图片完美融合
6.5.1. 在同一个机位拍摄空背景和带内容的全景视频
如图所示,在同一个机位拍摄空背景和带有人物的全景视频,并且拼接成一条全景视频。这里要注意的是,把空背景和带有人物的素材当成一条全景视频进行拼接,因为近景如果有人物在走动会导致远景的拼接出现畸变,如果把空背景和带近景人物运动的素材分开拼接,会导致不同素材之间的远景无法完美融合。
6.5.2. 从拼接好的素材中截取全景背景图片和局部视频
打开Nuke,从空背景素材中选取一帧输出成全景图片。
然后使用crop节点截取局部视频。
注意,截取出来的素材要输出成图片序列
6.5.3. 用Nuke或者AE对局部视频的边缘进行羽化
因为现场光线的原因,全景图片和局部视频在颜色上可能会不一致,此时使用Nuke或者AE,使用RotoPaint或者Mask等方法对局部视频的边缘进行羽化,让颜色融合。
6.5.4. 把边缘融合好的局部视频截取出来
重复第二步的操作,把融合过的局部视频接取出来,注意,截取出来的素材要输出成图片序列
6.5.5. 把图片序列转换成MP4
为保证颜色完全融合,请使用光子引擎附属工具-Seq2MP4(点击下载),把图片序列转换成为MP4。
6.5.6. 此时就在光子引擎里做互动合成了
7. 发布项目
光子引擎支持将作品直接打包成独立运行的App。
  1. 保存工程文件之后,点击菜单"项目->发布",打开发布窗口。
  2. 在发布窗口中可以设置作品信息。
  3. 选择需要发布的版本(支持同时发布多个版本)。
  4. 编译完成之后就能在项目文件保存目录下的"Publish"目录找到相应的App。该目录也可以点击菜单"项目->查看已发布文件目录"找到。
8. 高级功能
8.1. 触发调整音频的音量
通过新增音频节点的音量调节,可以在作品中动态的调节音频的音量。
如果想要删除音量调节,只要选中音量调节,然后按键盘的"Backspace(退格)/Delete"。
8.2. 计时触发
计时触发相当于一个闹钟,开始之后,当时间到达设定值的时候就会发出触发信号。比如下面这个例子,开始时播放一段音乐,3秒钟之后停止。
8.3. 累加触发
累加触发的含义是当数字累加到设定值的时候发出触发信号。比如,下面这个例子中,用户的目光经过三个触发区之后才会播放音乐。
8.4. 触发控制
触发控制节点用于批量启用或者禁用当前场景里的触发区。这个节点使用一个表达式去匹配当前场景里触发区的名字,之后就就可以批量的启用或者禁用这些触发区。
8.4.1. 控制单个触发区
直接填写触发区的名称即可控制单个触发区。
如上图所示,当进入触发区1的时候,禁用触发区2,离开触发区1的时候,启用触发区2。
8.4.2. 控制多个触发区
1. .*
控制所有触发区。
2. 触发区[1-4]
控制触发区1、触发区2、触发区3、触发区4。
3. 触发区(2|5|7|8)
控制触发区2、触发区5、触发区7、触发区8。
4. 触发区[^2]
控制除了触发区2之外的所有触发区。
9. 发布相关
9.1. 获取测试GearVR用的sig文件
1. 下载获取三星手机硬件序列号的App(下载 DeviceId.apk)。
2. 安装下载好的DeviceId并运行。
3. 获取图片中所示的Hardware Serial。
4. 前往Oculus官网,注册账号。
5. 打开生成sig文件的网页,填写刚才获取的Hardware Serial,点击下载即可获得该手机的sig文件。
10. 辅助工具
10.1. Seq2Mp4
将图片序列转换成 MP4
windows版 macOS版