基于LBP和HOG特征的静态手势识别人机交互系统-信息技术学院
学生天地>>详情

基于LBP和HOG特征的静态手势识别人机交互系统


2018年08月08日 13:46  点击:


一、项目基本情况

项目名称:基于LBP和HOG特征的静态手势识别人机交互系统

项目类型:参加2018“华资杯”广东省大学生计算机作品比赛暨泛珠三角+大学生计算机作品赛广东赛区选拔赛(本科组),获一等奖。

项目负责人:巫建辉-2016-计算机科学与技术 

指导老师:杨永平


二、作品展示图及功能概述

1. 作品全貌展示图

2. 项目实用价值:

科技引导新生活,人机交互越过屏幕触摸向非接触式的手势识别的方向大 踏步的发展,极富图像化和具备行动性的手势操作将会越来越与人们的生活相 关。手势是一种自然、直观、易于学习的人机交互手段。以人手直接作为计算 机的输入设备,人机间的通讯将不再需要中间的媒体,用户可以简单地定义一种 适当的手势来对周围的机器进行控制。基于视觉的手势识别是实现新一代人机交互的关键技术。

3. 项目功能简介及截图:

项目功能简

(1) 本作品从手势分割及手势识别两方面着手,提出了一种单目视觉下的手势识别方法。其基于 OpenCV,对摄像头实时采集的视频流进行手势检测。

(2) 通过实验,本方法对于复杂背景有很好的鲁棒性,在无逆光、强光的极端光照条件下识别率较高,识别速度能达到 5-8 帧/秒,基本满足实时性的要求。

(3) 根据以上成果,设计出了一个手势控制软件打开的交互系统,该系统能识别 0-9 十个手势。

作品开发及运行环境

开发语言:C++

开发工具:Visual Studio / Qt Creator

运行环境:带摄像头的 Window 平台计算机设备

作品的主要特色

在复杂的背景下,由于背景中存在类肤色区域,所以通过 RGB 阈值法提取 肤色区域并不理想。本作品通过将运动信息与肤色模型相结合的方法,去除与肤色相近的背景区域,实现了 YCbCr 色彩空间中手势图像的分割。传统的基于形态学上的手势分割无法准确的去除人脸的影响,本算法在此基础上利用 LBP 特征和级联分类器对图像区域进行初步识别去除人脸影响。最后对手势区域使用 SVM 分类器结合手指个数进行识别。

 

三、项目开发实践收获:

本项目在实时性方面还有改进的空间,可以考虑结合kinect等携带深度信息的双目视觉机器,以及对数据集进行改进,提高识别的准确率。




上一条:基于HoloLens的Viola-Jones人脸检测改进算法
下一条:别瞌睡,轮胎会飘

关闭

最新资讯 >>