网站建设面向云南可视媒体的自然交互

POST TIME: 2018-05-19 21:00:08



当前,以视频、图像为代表的可视媒体无处不在。随着视频媒体数据的爆发式增长,如何合理地管理网络中大规模的视频数据,帮助用户用较少的时间对视频媒体所展现的信息进行有效地认知,分析视频内容进而支持视频媒体的高效交互,是视频领域研究的热点也是难点问题。由于视频内容具有结构复杂、信息量大的特点,它无法像文本那样被自动检索和有效利用,对于视频内容更深层次的交互分析技术目前也尚未成熟[1, 2]。当前的很多方法并没有提供较为直观的内容表示、自然的交互方式和实时的结果反馈,视频、图像和草图等可视媒体蕴含的大量关联信息并没有被有效的可视呈现、交互分析和高效利用,因此很难应对应用需求方面的挑战。

请点击此处输入图片描述

如何在较短的时间内对视频内容进行有效的管理与交互分析呢?首先需要引入视频摘要技术的介绍。最早的相关研究始于1994年卡耐基梅隆大学的信息媒体工程(InforMedia Project),他们创建了允许用户管理和查询多媒体内容的数据库系统[3]。随后曼海姆大学、明尼苏达大学、哥伦比亚大学与微软研究院等都在这方面进行了较为深入的研究,分别提出了各自的方法。然而现有的视频摘要技术在表达与交互方式上仍存在表现形式简单、界面静态化、与视频高级语义的交互功能缺乏等问题。摘要表达中大多是基于低层的特征表示,如颜色直方图、纹理特征等,与用户认知意图中所理解的高层语义之间存在鸿沟,这是影响媒体内容理解和交互的根本障碍。为了进一步解决大规模、高维度以及抽象的可视媒体数据表达与交互问题,需要引入新的内容表达形式和自然交互方式,包含研究对大规模、高维、抽象化数据进行直观表达的有效方法, 以及将自然的交互方法与可视化技术结合,帮助用户深入、快速地掌握媒体数据中的高层语义与抽象关系。用户作为可视分析的主体,可通过自然的交互方式,对可视媒体进行自行标注与个性化定制。根据不同需求探索其感兴趣的内容并融合认知来分析判断所获得的相应信息以完成后续的决策。


请点击此处输入图片描述


本文针对解决大规模可视媒体的内容表示、处理与理解等问题,围绕摘要生成、浏览与导航等典型需求,介绍支持可视媒体智能处理和分析的自然交互技术。

交互式草图视频摘要

人工智能产品的交互都强调直观界面(intuitive interface),也就是直观、自然的交互体验,不需要太多学习就能上手。在多媒体的分析与管理中,草图是可视分析中能提供直观、自然交互的一类重要载体,能够将人的抽象想法大致地呈现出来,高效反映出分析过程中的意图表达,是一种自然而有效的沟通交流方式[4, 5]。同时,草图也是人们表达想法和创作思想的载体,通过草图进行观点表达、内容创作的方法融入视频表示与分析中[6],为人们提供友好的多媒体创作与管理环境,为视频管理与内容分析提供支持。

替换高清大图

请点击此处输入图片描述

过去人们通常用文字、标签与关键帧来表达对视频内容的理解[7],虽然文字的方式能够进行有效的语义信息传达,但是由于不同国家的语言差异和不同地区的文化差异,文字的表达方法并不是通用的。相比之下,关键帧的提取表达是在视频摘要应用中使用较多的一种方法,关键帧能够直观、丰富地传达一段视频的视觉信息。然而,对于视频片段来说,静态的自然图像在统计学上是冗余的[8],人们从自然图像中分辨出的视觉信息仅仅能表达出片段内容的一小部分。场景结构图(scene structure graph)是一种基于草图交互的视频内容表达与可视化方法,利用对视频片段进行标记的方法可以有效填补视频关键帧的低层特征和视频片段的高层语义之间的鸿沟,同时利用有效的可视化与自然的交互方法减少用户在标记、创作过程中的负荷。

请点击此处输入图片描述

请点击此处输入图片描述

场景结构图主要包括两层(如图2所示),在第一层中,用户通过交互草图的方式对视频片段进行内容标记,通过用户的草图标记,可以获得对视频片段的直观、抽象描述。用户对视频的草图注释可以看作是对视频内容的提取与表示;第二层通过建立结构图的方式对视频内容进行可视化与重组。借助此方式,用户可以轻松地对视频进行个性化标注并完成相关的创作,有助于改善早期设计过程中的用户体验效果并提高人们对视频内容表达交互的效率。

请点击此处输入图片描述

与场景结构图类似的另外一种支持视频组织的草图界面是Sketch Graph。如图3所示,它基于结构隐喻以及流程图中的各类结构分析(如顺序、重复、跳转、条件等)来构建,支持自由勾画的草图来组织视频和利用草图手势对草图元素进行编辑,以实现面向视频内容的高效组织方法。Sketch Graph包含草图节点和草图关联关系,草图节点由表示视频片段或者镜头内容的草图注释构成,有自动提取的关键帧草图以及用户标注的个性化草图注释。连接任意两个草图节点之间的边表示特定的关系,不同于故事板中常用的时间关系,草图关联关系能表示时空或者各类逻辑关系(如两个视频片段具有相似性)。

支持视频内容高效展示和定位的螺旋摘要

如何确保用户界面在超越已有经验的同时,又不失其自然呢?这里涉及到人机交互中一个与用户经验息息相关的概念,即思维模型(mental model)。它是用户脑中对所进行的具体活动机制的一个抽象,源于经验,又高于经验。为了提供与目标用户群体在预期使用情境下已有的经验或思维模型相符的用户界面,我们分析了视频摘要的不同表现形式。

替换高清大图

请点击此处输入图片描述



文章转载请注明出处:https://ynxy999.com/Article/view/id/3837.shtml

分享到:
利用好手机与高效应用,打好五月的工作“硬仗” 试试这 9 个实用的网页小工具,代替那些「用完就删」的 App

告诉我们您的需求

  我们将在一个工作日之内回复您
昆明地址:新闻路429号文化空间25层1055711410
安宁地址:安宁市县街镇麒麟路17号云南经济管理学院图书馆406室、305室ynxy999_com
免费热线:15287195860
售前热线:0871-68034467-999

Copyright 2011-2018,All Rights Reserved ynxy999.com co.ltd.云南炫烨科技有限公司 Powered by ynxy999.com 滇公网安备 53010202000225号  滇ICP备15002943号  [技术支持昆明锦华科技]