实现一个可以在任意平面进行实时接触式交互的投影系统,该系统基于图像和深度学习的方法进行定位,具有更好的鲁棒性,且检测速度能达到实时性要求。采用YOLOV3网络算法,在各种背景下采集共400张图像进行训练。在GTX 1050配置下每帧处理时间约100ms。主要解决的问题:
1.投影交互系统的实时接触检测问题。以往的检测算法往往在精度和实时性上难以同时达到要求,本项目运用深度学习目标检测算法检测接触位置,即使在复杂的投影背景下都有良好的检测精度。
2.完全基于视觉进行检测,不需要依赖更多的外设。经典的投影交互技术中,红外光定位是最常用的算法,这个方法在一定情况下有很高的精度和实时性。但对红外光源的依赖是导致这种技术无法进一步推广的原因。本项目实现在任意投影平面的交互。
整体框架 弓箭射击点定位