学科分类
/ 1
2 个结果
  • 简介:传统针对文本数据的分析,往往基于词频、词频逆文本统计量作为文本的表示特征.这类方法往往只反映了文本的部分信息,忽略了文本的内在语义特征.本文研究了中文词语衔接的概率语言模型,其基本思想在于根据文本中词语出现的先后顺序进行建模分析,该模型在短文本数据挖掘中能够很好地针对文本语义进行量化分析.主要解决两类问题:一、如何合理地将中文词转化为数字向量,并且保证中文近义词在数字空间特征上的相似性;二、如何建立恰当的向量空间,将中文文本的语义和结构特征等信息保留在向量空间中.最后结合某城市房屋管理部门留言板的实际留言文本数据,利用BP神经网络和RNN网络两种算法,实现概率语言模型的求解.与传统文本处理方法的对比说明,本文的模型方法针对短文本语义挖掘问题具有一定的优势性.

  • 标签: 文本挖掘 概率语言模型 BP网络 RNN网络 短文本分析
  • 简介:聚类分析是研究“物以类聚”的一种现代多元统计分析方法,而且聚类分析方法发展很快,并在经济、管理、地质勘探、天气预报、生物分类、考古学、医学、心理学以及制定国家标准和区域标准等许多方面都取得了很有成效的应用。本文首先重点学习了聚类分析的相关知识,通过对具体实例数据用SPSS软件进行不同种系统聚类法的应用分类,并利用阈值T、散点图和使用统计量确定适合的类的个数,把不同种系统聚类法进行研究和比较。最后得出结论:“给定一个阈值T”这种方法的主观性较强;“观测散点图”这个方法较为直观,效率也许会好于正规聚类方法;“使用统计量”往往更明确。在聚类方法的效果方面,类平均法和离差平方和法的聚类效果相对较好。

  • 标签: 聚类分析 分类 系统聚类法 SPSS