
图形图像处理技术有着悠久的历史,现代视频图像处理技术是在传统的数字图像处理学科基础上发展起来的,也被称为“智能视频分析技术”,它综合了多学科的研究成果,包括:图像处理、视频跟踪、数据压缩传输、图像模式识别及计算机视觉等分支。现代视频图像处理技术的发展,依赖于现代数字信号处理、计算机技术和移动互联网技术的发展,已呈现出如下特点:高速、高分辨率、立体化、综合多媒体、智能化、标准化以及移动终端互联网的应用。
所谓高速是指信号采集和处理的速度,如今从模拟摄像头到信号数字化转换,整个速度得以大幅提升,另外一些低功耗的嵌入式应用也是一个重要特征。分辨率提升亦日趋明显,如过去在电子警察中所应用的768×576的分辨率已鲜有应用了,人们对高分辨率的追求是没有止尽的,720p、1080p趋于普及,并开始向超高清(UHD)7,680×4,320(3,300万)发展。立体化亦是未来的趋势,视频从静态到动态,从单路到多路,人们不断追求着现场感、拟真感,期望模拟人眼的纵深感觉,达到身临其境的更高境界。除此以外,图像应用还应跟其他技术综合起来,包括音频、深度图像、红外多波段等,实现综合多媒体应用。
智能化的图像处理、视频分析则能实现更多的应用,例如通过模拟人的视觉,用机器视觉代替人的视觉做很多事情。在此基础上,标准化也需要跟上发展需求,图像、视频音频产业的不断细分,催生了国际化的软硬件大分工,使得一个公司可能很难包揽整套产品,即便是微软或者是英特尔这样国际化大公司,可能也只是专注其中一个局部,而这种国际化的分工也使得标准化成为大势所趋。
几十年来,视频图像处理的应用已从传统的基于PC的应用,向以智能手机为代表的移动终端发展蔓延。以下六个典型例子里,我们可以了解到现代视频处理是如何在移动终端上使用的。
街拍中文识别助手

如今,越来越多的外国人选择到中国旅游、定居。外国人遇到任何汉语标志物,都可以使用本软件进行即时拍摄、即时识别、翻译,增加他们在中国出行的便捷性。对于身处异国的旅行者来说,现在世界任何一个角落都可以利用这样的手段来甄别环境,提升环境认知能力。
文字信息是每个城市非常重要的特征,如果能让外来者认识这些文字信息,那么他们就会对所处环境有所认识。盲人也会遇到类似问题。我们希望通过类似的手段来帮助他们侦测环境信息,如果能把这些文字识别出来变成外语或者变成声音,盲人就可以接受到这些信息。
这一案例基于文字识别技术,即OCR。文字识别早就不是新鲜话题,但我们的设计思路则体现出新的创意。传统的文字识别通常指的是在纸面上,在一个简单的二维环境中去识别书上、报纸上的文字。而我们创意的核心则是要去识别环境中的文字,一个二维的纸面上的文字和三维自然环境的文字有着非常大的差别。对于执行识别任务的计算机和智能手机来说,不光要识别这些文字,还要在环境中找到这些文字,把它们精确地分割、提取出来,这是非常困难的任务,也是课题的挑战所在。
这一案例应用到的技术包括:基于Windows Phone 7.5,对自然环境下文字信息检测、定位、识别翻译的系统;对文字信息进行自动检测、定位和识别的核心模块。通过采用基于边缘提取的寻找连通域的方法对汉字区域进行定位,然后用Gabor特征提取、匹配的方法,进行逐个汉字识别,最后将识别结果以15种语言在线翻译、朗读、发送邮件。通俗来讲,就是用手机拍一张照片,通过检测定位技术把它识别出来,并变成不同的语言,让用户听到他想听的声音。
掌上交警
掌上交警软件让交警摆脱了工作条件的限制,为保证信息安全和隐私性,该软件对使用者进行民用、警用的划分,无论使用者身处何种紧急情况下,都能随时进行随身化的车牌号码识别,高效迅捷地开展工作,对于突发性事件的处理、应急性事件的部署有极为重要的意义 。

交警巡逻的时候,除了指挥交通,往往还有一些别的任务,如抓黑车、套牌车,抓有犯罪嫌疑的车。本案例是在交警的手机上装一套自动车牌识别系统,当交警面对有疑问的车时,无需抄车牌,只要拿起手机来按一个键,就能够识别车牌并根据车牌号码索引车牌数据库,查询对应车主信息,并且把查询到的信息以短信的方式发送出去,提高了效率,实现了综合信息化的电子政务。
在民用的应用中,当车主碰了车,只要按下一个键,就能把碰撞现场车牌所有的信息全都存下来。与街拍中文识别助手一样,前者是在环境去找文字,本方案是在环境中寻找特殊的文字。由于车主信息的隐私性,普通民众只能够进行车牌识别,没有权限索引车牌数据库,保证了隐私并实现了快捷安全的服务。
这一系统在Windows Phone 7.5平台上开发,涉及的主要技术包括:
车牌定位:图像中车牌区域正确定位,是实现车牌号码正确识别的前提。用户对车辆进行拍照后,识别系统自动对图像中的车牌区域进行定位。
字符分割:对图像中的车牌区域进行正确定位后,利用车牌的先验知识,对车牌进行垂直投影,从而对车牌的七个字符实现有效分割。
字符识别:将分割后包含车牌字符的七个小图像进行预处理,对预处理后的小图像提取弹性网格的方向像素特征,然后进行分类识别。
维文手写识别软件

维文即维吾尔文,之所以要做这样一个软件,是因为经过调研发现目前维族同胞信息化程度还比较低。为了让少数民族能够共享信息时代的成果,我们就选择了在移动终端上实现识别维文这一比较艰难的课题。维文目前已有1,000多万的使用者,当地手机普及率也很高,但是直到最近几年才解决了维文键盘输入问题,所以目前很多时候要输维文还需要用手写输入,该软件就是让手机识别手写的维文系统。这一软件也是在Windows Phone7.5平台上开发的,实验室与合作单位用两年时间建立了数据库,而此后的模式识别问题是共通的。
在这一案例中,只要在手写板上手写输入维文,就可对其进行识别,显示38个候选文字,然后按照与所写维文的相近程度排序。最终跟汉字输入一样,让维族用户不用按键盘通过手写就可以编短信。其最大价值的就是在手机上替换键盘,或者说提供一种额外的方式让维族群众可选择使用键盘或者是使用手写。
这款软件有着很高的应用价值。首先手写识别可配合小型的移动通信设备,改善键盘输入在这些设备上实现困难的局面;随着电子白板在教育、办公、会议等领域的广泛应用,手写维文输入可以应用于维文教学;通过对书写过程中的字迹、压力等动态信息的获取,实现对书写者的身份鉴别。手机上网功能随着3G的到来将会越来越普遍,手写识别可帮助维吾尔族群众轻松、快速浏览网上资讯、进行网络聊天。
野外水位监测系统
水位监测作为水文观测的重要一环,对保护人们的生命和财产安全,具有极大的应用价值。新疆有充沛的天山雪水和湖泊,天山雪水的灌溉也是采用扩干渠和水库的形式,由于新疆地广人稀,如果要知道天山某一条干渠的水位,传统现场采集的方法首先需要开车到几百公里之外,极不方便,而我们所设计的系统则能使用智能终端替代工作人员亲临现场。


该系统的设计思想就是找到一种方法来克服传统水位监测设备不足的问题。智能手机成为理想的替代设备,因为它不光有图像处理功能,还可以自然通讯。该系统基于Windows Phone 7.5平台,具有水位识别和历史水位查询功能。涉及的技术包括:采集水位图像;水位标尺定位;倾斜校正;水位识别。
上图体现了实验中的一些数据,现场水位信息在实验室通过智能终端识别展示出来。该系统有广阔的应用前景,应用到国家的水利建设中,可结合手机进行水位监测;应用到各个水利监测站点,对于提高水利系统信息化水平、加强监测预警能力将有重大的意义;应用于水利科研机构,其便携性可以减轻工作人员负担;同时历史水位查询功能可以帮助科研人员更好地掌握水位信息,提高工作效率;应用到水产养殖等生产建设中,在满足获取养殖区水位信息的同时,还起到监控作用,一举两得。
增强视界之家[page]
在传统的家居装修中,设计师通常会先展示设计方案图片,然后业主根据这些设计方案图,去建材城寻找和购买其中的家具。但这样既费时又费力,最糟糕的是当我们买齐所有家具建材装修完毕后才发现,与自己的想象大相径庭。而通过增强视界之家这样一个系统,就能够利用计算机辅助的手段,让我们在买家具时就可以将家具的虚拟3D模型叠加到房间中进行仔细观察和体验。只要知道房屋整体结构,建筑模型和家具模型就可以虚拟匹配起来。利用这套软件,业主足不出户就可以通过网络去选择不同的家具,尝试摆放,体验未来虚拟家居是什么样子。
这个技术称为增强现实,是在虚拟现实技术基础上发展起来的一种新兴计算机应用和人机交互技术,它比虚拟现实有更强大的临场感,主要是在已有的真实世界的基础上,为用户提供一种复合的视觉效果,当用户在真实场景中移动时,虚拟物体也随之做出相应变化,使虚拟物体与真实环境实现完美的结合。为了使得应用更加方便,这一软件同样开发在手机上,用户可以通过手机拍摄室内场景,捕捉标志板、更换/添加家具、调整家具、选定家具、生成家具清单。
在移动设备上实现室内装修设计模拟,是本软件应用的最大看点之一,而其所带来的社会价值也将不言而喻,移动增强现实在校园、博物馆导游、购物指南、工程设计等方面均有广泛的应用前景。



爱拍购物车
这是一款生活娱乐类软件,能够实现比价购物、地图搜索、二维码生成、高效扫码等服务。通过手机识别环境中二维或者一维条码的方式来识别产品的各种信息,打造出一种新型的购物或者逛街方式。消费者在逛商场时,不再需要刻意去记住哪个东西好,哪个东西便宜,通过这套系统就能在智能手机上了解这个产品的信息,然后通过电子商务系统和GPS系统,与周边商场同样的商品进行信息自动比较,让消费者更快找到同类的、更便宜的产品,直奔主题而去。
这个软件最重要的模块就是通过条码扫描侦测出产品的信息,配合其他的信息手段来判断在周边环境中同类产品的状况,这是电子商务系统的一个雏形。对消费者来说,可以获得全新的购物体验和便捷的生活方式,对商家来说,手机成为了全新的宣传平台,能够实时向消费者提供商品信息。