欢迎光临浙江大学光电工程研究所
当前位置
首页 > 学术研究 > 项目成果
大尺寸桌面型光场三维显示系统
作者:
    刘旭和李海峰教授课题组搭建的大尺寸桌面型光场三维显示系统能完整再现场景在空间中的三维光场信息,并且可供多人裸眼观察。我们的桌面扫描光场显示系统主要基于数字微镜阵列(DMD)的彩色高速投影机,和具有偏折与定向散射特性的旋转定向散射屏搭建而成。搭建了数据处理与传输系统各模块,制定投影图像编解码协议,最终实现三片DMD显示图像的高速渲染与同步更新。在此基础上,提出一种光场获取-光场显示实现方法,实现动态点云场景的实时绘制。提出手势交互方法,实现观察者和悬浮虚拟场景的自然交互。
详情
    目前的桌面式交互仍局限于二维显示平台,如Microsoft Surface,DiamondTouch的等,无法提供与实际三维场景相匹配的信息量。相比之下,大尺寸桌面型光场三维显示系统的优势:能完整再现场景在空间中的三维光场信息、可供多人裸眼观察、能显示广阔场景及复杂地形,包含细致的深度信息、满足多人桌面可探入式交互需要。
    显示系统的结构示意图如图所示,透射式定向散射屏幕在水平面内旋转,高速投影机位于屏幕旋转中心正下方,投影机光轴与屏幕旋转轴同方向以保证投影图像无畸变。图表示了该显示系统实现立体视觉的基本原理,即解释了系统如何保证VL和VR两个视点位置的左右眼观察到空中的点Q。得益于旋转屏幕的定向散射特性以及相应位置的投影点颜色的实时更新,显示系统可以控制屏幕在不同时刻向不同方向发射竖直散射光,即可以保证t1时刻屏幕上的P1点发射定向光线到观察者的左眼(即VL点),t2时刻屏幕上的P2点发射定向光线到观察者的右眼(即VR点),而t1时刻P2点和t2时刻的P1点不会被VL和VR两个视点看到。当屏幕一周一周地旋转时,人的左右眼会交替反复地看到两条汇聚于Q的光线(表现为人眼看到闪烁的空中点),当转速足够快保证闪烁频率达到人眼视觉暂留频率的时候双眼将看到稳定的Q点。
 

 

图1 桌面光场显示系统的原理框架示意图

    动态扫描式大尺寸桌面光场显示系统的原理框架示意图如图1所示,系统硬件部分主要由计算机及多显卡、数据处理与传输模块、高速投影机、定向散射屏、旋转机构和同步装置组成。一方面,三维场景数据输入计算机后,经过光场重构软件平台绘制得到投影图像序列并压缩编码成指定形式,由显卡输送给数据处理与传输模块,该模块负责解码该投影图像序列并等待传输给高速投影机的显示芯片中;另一方面,定向散射屏在伺服电机的带动下产生稳定转动,旋转过程产生与旋转位置相关的时序信号,数据处理与传输模块在该时序信号的驱动下,将投影图像序列同步地传输给高速投影机的显示芯片,实现屏幕旋转与投影显示的同步。

图2 系统框架示意图

图3 三维显示效果

    在此基础之上,增加视点交互与人脸检测实现全视差光场显示。我们使用一台装有全景镜头的CCD相机,通过检测人脸并预估眼睛位置来实现多人多视点检测。
    我们使用微软公司的第一代Kinect作为RGB-D相机对真实空间场景拍摄,得到彩色图像与深度图像;在计算机CPU内,处理图像得到目标物体的点云信息,为保证显示场景表面面型均匀,需要对点云进行三角化处理,构建大量三角面片并得到顶点位置坐标和纹理坐标;之后将坐标及纹理数据输送给显卡GPU,并在顶点着色器和片段着色器中做光场映射处理,得到投影图像序列,并最终实现对所拍摄场景进行实时光场重构的显示场景。

图4 实时光场重构效果

    我们使用Leap Motion作为手势识别器件,通过融合光场显示区域和交互区域,可以实现可探入式手势交互体验。

图5 可探入式手势交互


图6 桌面光场三维显示系统973项目结题院士审核


图7 李克强总理2014年11月参观第一代桌面光场三维显示系统