暑期学习内容。
手势识别是通过数学算法及相应的编程工具来识别人类手势的一种技术。该技术可以使用户无需直接接触相应设备,即可用简单的手势来控制设备或者和设备之间进行交互。首先,手势识别的主题是针对于人类的动作和姿态作出相应回应;其次,手势识别可以被视为计算机理解人类肢体语言的一种形式;再次,手势识别使人们能够与机器之间通过非物理接触即可进行通信以及交互;最后,手势识别中涉及的姿态无论是静态还是动态,其识别顺序均是先需进行图像的获取、手的检测、手势分割、手势分析,然后进行静态或动态的手势识别 。
首先,手的图像获取和检测是整个手势识别的基础,主要是通过一个或多个摄像机获取关于手的动作或状态的**数据流。接着,通过相应算法实现对该**数据流中是否有手的出现进行检测。关键在于手的检测算法。
其次,手势分割是手势识别能否有效的核心技术,因为手势分割的效果直接影响到下一步手势分析及最终的手势识别。目前最常用的手势分割算法主要有:利用一个图像采集设备获得手势,得到手势平面模型的基于单目视觉的手势分割,该技术的核心是建立能能够将所有手势都考虑到目标的手势形状数据库中,再判断获取的手势是否与模版的某一手势相匹配;以及利用多个图像采集设备得到手势的不同图像,从而进一步转换成立体模型的基于立体视觉的手势分割,该技术的核心同样是对于目标的对比手势数据库的建立。
再次,手势分析是完成手势识别系统的关键技术之一。通过手势分析,可获得手势的形状特征或运动轨迹。并且手势分析主要有以下方法:
1)以设定两个特征间的权重来计算图像间的距离,实现对字母手势识别的边缘轮廓提取法;2)以根据手的物理特性分析手势的姿势或轨迹的质心手指多特征相结合法;3)以构建手的二维或三维模型,再根据手关节点的位置变化来进行跟踪的指关节式跟踪法。
最后,手势识别是将模型参数空间里的轨迹或关键点分类到该空间里某个子集的过程,主要有静态手势识别和动态手势识别,动态手势识别最终可转化为静态手势识别。并且手势识别主要有以下方法: 1)将手势的动作看成是一个由静态手势图像所组成的序列,然后将待识别的手势模板序列与已知的手势模板序列进行比较,从而识别出手势的模板匹配神经网络法;2)用隐马尔可夫模型进行建模的系统,通过观察序列的随机过程的表现从而识别相应手势的隐马尔可夫模型法。
近年来,手势识别技术受到了广泛关注,为了使得手势识别的开发和使用更加简单易行,leap公司于2023年面向pc以及mac发布了leap motion这一体感控制器。该控制器通常与用户的键盘、鼠标、手写笔或触摸板协同工作。当用户pc或mac中安装好leap motion对应的sdk后,运行相应软件,只需将该控制器插入用户的pc或mac中,准备工作就已经完成,此时并不需要增加额外的工作使其初始化。
leap motion 控制器通过精确划分人手的组成,人手的构成具体有:有 29 块骨头、29 个关节、123 根韧带、48 条神经和 30 条动脉,再将人手实现模型化,最终通过高达1/100毫米的精度以及每秒超过200帧的速度追踪人的十只手指,从而使得用户可以通过自己的双手实现对计算机上的相关信息进行精确操作。当接入leap motion的pc或mac,当该软件支持该控制器时,用户只需挥动手指即可进行绘画、涂鸦、设计、浏览网页、阅读文章、翻看**以及****。
leap对人手建模遵循右手坐标系原则,坐标系中的单位距离与现实世界中一毫米相对应,坐标原点是设备的中心。通过绑定在视野范围内的手、手指、工具或手势来提供实时数据,并且每一帧数据都包含了一系列的基本绑定数据。当设备检测到手、手指、工具或手势的话,设备会赋予它一个唯一的id号进行标记,只要这个实体不出设备的可视区域,这个id号就会一直不变,如果设备在丢失该实体后该实体又重新出现,leap就会重新赋予它一个新的id号码,以标定该实体的实时数据。
leap motion传感器会定期的向计算机发送关于手的运动信息,每份这样的信息称为“帧”( frame )。每一帧包含检测到的:所有手掌的列表及信息、所有手指的列表及信息、手持工具的列表及信息以及所有手指和工具的列表及信息;leap能捕捉到三种运动信息:
手指(及手持物)的运动、手掌的运动、手掌球三种。另外,还可以通过两只手的相对运动生成平移、旋转以及缩放信息。leap根据预先标定好的id,通过 等函数来查询每个运动对象的信息。
leap还可以根据每帧和前帧检测到的数据,生成运动信息。如:若检测到两只手,并且两只手都向一个方向移动,leap则视其为平移;若是像握着球一样转动,则视为旋转;若两只手靠近或分开,则视为缩放。
对于leap motion的开发方式有很多,暑假的学习任务主要对于unity 3d + visual studio(c#)的基础知识进行了相关学习。
首先,unity3d是由unity technologies公司开发的一款让玩家轻松创建诸如三维**游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具,是一款全面整合的专业游戏引擎。其编辑器可运行在pc和mac环境下,可发布游戏至windows、mac、web等多个平台,真正实现了游戏的跨平台开发。除此以外,还可以利用unity web player插件发布网页游戏,支持pc和mac的网页浏览。
对于unity的学习:第一步是首先了解unity的菜单、视图界面。首先,对于unity的基础菜单包含有文件的基本操作菜单:
在此菜单中可以实现场景的创建和保存、游戏工程的创建和保存以及对于整个游戏工程的退出操作;编辑菜单:在此菜单中可以实现对设计该场景进行相关操作,使得整个游戏工程的编辑和设计变得更加方便,并且此菜单中还提供了强大的模拟功能,可以使得该场景在不同的环境中进行模拟以使得整个工程适应性更强;游戏物体菜单:在此菜单中,游戏工程的设计者可以调用unity提供的各种常用的游戏物体,这里的游戏物体的范围从基础的几何物体到声音、ui以及粒子系统、空游戏物体几类,可以使得整个游戏工程的设计显得更加真实和物理的模拟效应更佳;组件菜单:
此菜单中,游戏工程的设计者可以实现实现各种模拟游戏组建的添加,使整个工程的真实性更强;窗口菜单以及帮助菜单;其次,是unity的各种视图窗口,整个unity工程的核心就是整个视图窗口,并且在视图中也可以实现菜单功能中的大部分功能,视图窗口主要包含了场景视图:用以设置场景、放置游戏对象的操作、游戏视图:是场景的渲染完成后,游戏发布后玩家所看到的视图、hierarchy视图:
显示当前场景中游戏对象的层级关系、工程视图:管理整个游戏的所有可用资源、inspector视图:显示当前所选游戏物体的相关属性信息,在这几种视图中,各类视图中均可实现较为强大的功能;第二步是理解场景中的坐标系统:
整个软件的设计均是在三维坐标系下进行的,所有的游戏物体之间的关系都是通过坐标系加以表现、输入系统以及简单的向量概念,由于整个工程中的坐标和单独的游戏物体的坐标系可能不同,并且在不同坐标系下的游戏物体的操作会有较大差异,因此重点理解的是世界坐标和本地坐标的关系;第三步是学习创建一些基本的场景包括:游戏对象、组件、脚本;第四步是学习资源导入方面的一些基本元素如:网格、材质、贴图、动画等;第五步是学习脚本的生命周期以及start、update、fixedupdate、ontriggerenter等基本方法,理解prefab、time、mathf等常用的类及相关方法以及理解游戏对象、组件、脚本彼此之间的关系;第六步是进一步学习摄像机、光、渲染、粒子系统、物理系统等的设置和使用;第七步是把握:
向量的加、减、点乘、叉乘运算、光照法线贴图、内存管理、图形优化等知识。
其次,microsoft visual studio(简称vs)是美国微软公司基于。net框架的开发工具包系列产品。vs是一个基本完整的开发工具集,它包括了整个软件生命周期中所需要的大部分工具,如uml工具、**管控工具、集成开发环境(ide)等等。
暑期学习总结
一转眼一年的暑假就在不知不觉中逝去。在参加学习的这段时间,通过看 同仁之间的交流,等等,收获颇丰。仔细揣摩让我体会到自身诸多不足,需要学习的地方还很多,需要不断地汲取与进步,提高自己的专业知识和教学和科研水平,才能胜任时下的教学工作。通过本次培学习使我在教学理论和教育观念上得到了提升。下面就谈一点我...
暑期学习总结
这次校内组织培训学习,内容包括师德与师风 高职双师型教师队伍建设 职业教育的课程与教学改革 教师主动发展与职业生涯设计 学生工作的再认识 高职院校 双师型 教师的成才之路 遵循职业能力发展 做好高职院校专业课程设置 提高心理健康水平,乐享幸福执教人生 职业院校时间教学能力的培养等9个内容。下面是个人...
暑期学习总结
2017年暑期培训总结。暑期,我们积极响应学校的号召,开展了师德师风专题学习,以及新课标的学习研讨和课堂教学的教法研讨活动,对于我们今后的教育教学工作起着至关重要的引领作用。第一步师生互动,引入情境。心理学研究证明,自由 民主 和谐的气氛,可以使人的智慧得到最充分的发挥。我们遵循这一原则,在课堂上,...