基于AI的多媒体内容检索与分析

基于AI的多媒体内容检索与分析

李彦佑

内蒙古日报社 内蒙古自治区呼和浩特010040

摘要：科学技术的发展，我国的AI技术有了很大进展，并在多媒体内容检索中得到了广泛的应用。各种新兴媒体影响越来越大，导致了舆论媒体的格局和传播方式发生很大变化，新闻舆论工作也将面临新的挑战，推动促进媒体融合发展是媒体人面临的一项紧迫课题。而在媒体融合中，大力推动并运用人工智能技术（以下简称AI）是不断取得融合突破的关键所在。

关键词：AI；人工智能；新闻媒体；运用

引言

新媒体传播正逐渐成为人们获得信息的重要途径。AI和大数据技术极大地推动了新媒体技术的发展。AI是人工智能技术的英文缩写，是研发用于模拟、延伸人类智能的理论、技术及应用的系统性科学；大数据是拥有超强的决策力、优化能力和洞察力的多元化、高增长性和海量的信息资产。

1多媒体特征融合

当识别多媒体内容时,如果一个媒体特征不很明显,则需先对多个媒体所表示的内容分别做出判断,然后把判断结合起来,作最后判断。在这种方法中把多媒体各个媒体特征按照音频和视频融合技术将音频、视频和文字等特征融合至隐马尔可夫链模型中,用这个检索模型去代表多媒体中多模态数据流交互融合表达的语义。在形成的超级隐马尔可夫链(super Hidden Markov Model)中，可对视频做如下处理：提取视频中图像帧的色彩和纹理等特征，训练生成隐马尔可夫链videoHMM，videoHMM用来表示视频场景。对于视频流相对应的音频流可做如下处理：提取音频短时帧特征，训练生成隐马尔可夫链audioHMM,audioHMM用来表示音频场景。同一语义多媒体场景相连的audioHMM与视频videoHMM融合算法如下：对每个音频短时帧，用Viterbi算法计算其对应的audioHMM的最佳状态序列；对于每幅视频图像帧，也用Viterbi算法计算其对应videoHMM的最佳状态序列；得到的所有最佳状态序列当成新的特征向量，去训练生成一个混合高斯概率密度的隐马尔可夫链，称为superHMM。这样，由于音频和视频双模态特征被融入了superHMM，su－perHMM既代表了视频、音频交互所表征的完整语义，故可以实现多媒体双模态检索。有研究者用这种方法成功识别了“爆炸”和“汽车声”等多媒体场景，并对它们进行检索。

2基于AI的多媒体内容检索与分析

2.1社交媒体内容分析

（1）文本分析与情感识别。通过应用自然语言处理技术，AI技术可以从社交媒体帖子中的文本信息挖掘出关键信息，如主题、情感倾向、意见等。利用情感分析算法能够识别用户的情绪反应，如喜悦、悲伤或愤怒，对于市场研究和公共舆论监控非常重要。此外，话题识别和趋势分析可以帮助识别热门讨论话题和兴趣点，对品牌营销和社会研究具有重大意义。（2）图像与视频分析。计算机视觉技术使AI技术能够识别并分析社交媒体上的图像和视频内容。使用深度学习和卷积神经网络，AI技术能够识别图像中的物体、人物、场景及活动，在品牌识别、内容标签生成和趋势追踪中尤为有用。例如，品牌可以使用这些技术来监测其产品在社交媒体上的可见度和用户反馈。（3）用户行为分析。AI技术还能分析用户在社交媒体上的行为模式，如点赞、评论和分享等行为。通过数据挖掘和机器学习技术，可以揭示用户偏好、影响力网络和社交互动模式。这对于理解社交网络动态、定制化内容推荐、提高用户参与度至关重要。

2.2数据库的人工智能化设计

将数据库管理软件用于多媒体教室用户的登记和教室内资源的登记，如影音资料多媒体教学教室中可以将每张盘的资料贴上条码，再通过阅读器将资料扫描至已有的数据库中，人员借阅只要通过数据库信息检索就可实现。在原有数据库基础上加入人工智能化设计，即可实现借阅自动化，而管理员按时检查设备运行状况维护设备运行即可;而用户记录需要向特定的学院发放特制的身份卡，通过读卡器设备检查确定学员身份，再利用人工智能化算法统计人数并进行数据处理，形成教室座位的分配方案，并在数据库中留下当日教室使用记录。

2.3创新内容，提升丰富性

当前AI虚拟主播在地方媒体的融合运用中，所呈现的新闻播报内容展现了丰富性、多样化、生活化的特征。可见AI虚拟主播在地方媒体中的融合运用，能够整体上创新优化播报的内容，吸引广大民众的注意力，聚焦广大民众的目光。因此，AI虚拟主播在地方媒体融合运用中，要注重内容层面的创新，这样，地方媒体的发展才能具有更强的生命力。温州都市报每天筛选当日本地热点新闻，由编辑编成短讯，形成若干条短新闻集装箱，制作成AI播报信息，并在新媒体平台发布，这类短新闻“集装箱”成为AI播报常态。

2.4提高后台数据库的科学性

借助大数据和AI技术，各大网络平台构建了强大的数据分析模型，能够迅速准确地分析各细分领域的舆论情况，如榜单、用户分布、用户特点和传播峰值等，均一目了然。在此基础上可以进行更细致专业的分析。同时，结合同行业的数据进行横向分析，剖析自身优势和不足，提升核心竞争力。以哔哩哔哩网站的观视频为例，其粉丝量有数百万，借助大数据技术分析得出粉丝集中为35岁以上人群，其中本科以上学历人群占比高达85%，其发布内容更贴近时政，专业性较强，主要针对高学历人群。

2.5呈现多种节目类型

AI虚拟主播可以依托现代化的融媒体平台和融媒体工具，从传统的新闻播报演变到访谈节目等多样化的节目中，实现节目类型的多元化发展。还可以将AI虚拟主播运用在抖音、微博、微信等各大媒体平台中。比如对网友的留言，让AI主播进行回应。温州都市报小编为AI主播编写回应文案，并进行录制——《AI播报|简直了！网友给AI虚拟主播留言，居然得到了神！回！复！》这条视频在掌上温州客户端、温州都市报微信公众号及温州都市报微博同步发出后，累计阅读数达3万多次，网友纷纷留言“好可爱”“原来是耐看型虚拟主播”“挑眉很生动！”“表情好逼真，是真人吗”等。创新的虚拟主播答网友问，形成良好互动，让虚拟主播人性化、个性化、生动化，拉近与受众距离。此外，还尝试录制方言版的AI虚拟主播视频，让虚拟主播更具个性化。

2.6综合视频索引和检索

在视频分割以后,与图像索引和检索类似的方法可用于综合视频索引和检索。视频的信息非常丰富,典型的视频序列能持续许多分钟并包含具有复杂空间和时间关系的许多对象。因此为了支持与对象及其关系的查询,要求使用描述所有必要的时间和空间信息及其高级语义的详细注释。视频注释可以通过三种方式获得:第一、一些视频的副本已经存在并可用作注释；第二、使用视频声迹的自动音乐和语音检测及辩识，以便自动地获得注释；第三,以手工的方式加入详细的注释，该方法非常复杂而且很耗时间，但综合性很强，非常实用。

结语

AI技术和大数据的结合革新了用户传统的思维和行为模式。人工智能和大数据技术具备的数据处理、语音图像识别、深度学习和算法的功能改变了传统的新媒体传播方式。利用上述两项技术，能够有效优化新媒体传播效果，并将在未来很长时间内持续推动新媒体传播发展。

参考文献

[1]郭仕佳.浅谈“互联网+”时代电子信息技术应用于AI新的发展模式[J].通信设计与应用，2019，2（1）：10-11+99.

[2]郁思韵.浅析新媒体和长尾理论视域下的网络直播行业[J].学术探讨，2017，11（1）：76.

[3]纪祥祥.媒介融合时代电视新闻传播方式探讨[J].传媒论坛，2018，1（17）：48-49.