基于深度学习的藏文文本自动分类研究

基于深度学习的藏文文本自动分类研究

岳昕哲

西藏大学 850000

摘要：藏文是中国的少数民族语言之一，具有独特的语音、文字和文化特点。随着信息技术的快速发展，对藏文文本进行自动分类和处理成为了一个重要的研究领域。传统的基于规则和特征工程的方法在面对大规模的藏文文本数据时存在一定的局限性。文旨在基于深度学习的方法，提出一种基于Word2vec模型藏文文本的自动分类方法，以期能够为相关研究提供借鉴。

关键词：深度学习；藏文文本；自动分类

1藏文文本分类方法

1.1基于关键词的文本分类方法

藏文语料收集：在进行文本分类之前，需要收集大量的藏文语料作为训练和测试数据。语料的完整性和标注准确性对于文本分类的结果至关重要，因此语料收集是基于关键词的藏文文本分类方法的基础[1]。

应用藏文分词算法进行文本分词：将收集到的藏文语料进行分词处理，将文本切分成词语的序列，通过应用适合藏文的分词算法来实现，确保分词的准确性和效果。

制定关键词表：与藏文专家和具体文本分类应用需求方共同商议，制定关键词表。关键词表中包含了一系列与文本分类相关的关键词，这些关键词可以代表不同的类别或主题[2]。

    统计关键词的词频：根据制定的关键词表，使用自动统计词频算法，对每个词语在语料库中出现的次数进行统计，得到每个关键词的词频信息。

1.1.5按照词频最高的关键词进行文本分类输出

根据统计得到的关键词词频，选择词频最高的关键词作为文本分类的依据。将每个文本与关键词进行比对，根据最匹配的关键词确定文本所属的类别或主题，并进行相应的分类输出[3]。

1.2基于机器学习的文本分类方法

（1）朴素贝叶斯（Naive Bayesian algorithm）方法是一种基于统计学的经典方法，通过计算给定文本特征X和文本类别Y的联合概率P(X,Y)，然后利用贝叶斯定理P(Y|X) = P(X,Y)/P(X) 进行文本分类。

（2）支持向量机（SVM）算法在二分类文本分类任务中表现出色，通常选择最佳的超平面进行分类。然而，在多分类文本分类任务中，SVM算法的性能可能不如预期。因此，在处理多分类藏文文本分类任务时，需要使用更准确的模型来提高分类效果。

2方法设计

2.1基于Word2vec模型

对语料集进行预处理，包括分词、词干抽取、剔除符号和停用词等操作；利用预处理后的语料集训练word2vec模型，得到特征项的词向量表示。word2vec模型能够将单词映射为具有语义信息的向量表示，从而捕捉到单词之间的关联性；使用训练好的word2vec模型，将文档表示为词向量的集合。每个文档可以通过将其包含的单词的词向量进行平均或加权平均来获得其整体的向量表示；通过权重计算方式，从文档的词向量中选择出最能代表该文档的特征项集合。常见的权重计算方式包括TF-IDF（词频-逆文档频率）和词向量的相似度等；根据选择出的特征项集合，完成文本建模过程，包括对文本进行分类、聚类、情感分析等任务，根据具体需求进行相应的处理和分析。

通过以上流程，可以利用word2vec模型将文本转化为向量表示，并选择出最能代表文本的特征项集合，从而完成文本建模过程。

图1 基于word2vec的藏文建模方法

2.1文档预处理

文本预处理是对原始文本进行一系列操作，以便于后续的文本分析和挖掘。其中，分词是最重要的一步。在中文文本处理中，ICTCLAS是一种常用的分词工具，基于最大匹配算法实现了一种切分方法。ICTCLAS的基本思想是将待分词的字符串与词库进行对比，通过不断地添加或减去一个单词，直到仅剩一个单字串为止。若该单字串不能被进一步切分，则将其视为未登录词。通过定制字典，方便地添加特定的字词，以满足不同需求，并且可以得到多粒度的分词结果。除了分词之外，文本预处理还包括词干提取、去除符号和停用词等操作。词干提取是指将单词还原为其原始形式，以便于统一表示和计算。去除符号是为了去除文本中的标点符号、特殊字符等无意义的信息。停用词是指那些在文本中频繁出现但缺乏实际含义的常见词语，如“的”、“是”、“在”等，可以根据需要将其从文本中删除。

2.2基于k-means词向量聚集

k-means算法是一种简单而高效的聚类算法。该算法的步骤如下：首先，选取k个点作为初始的质心；然后，根据每个点到不同质心的数学距离，将该点指派到最近的质心，形成k个簇；接下来，重新计算这k个簇的质心；最后，重复这个迭代过程，直到簇不再发生变化或者达到最大的迭代次数。在基于k-means的词向量聚类中，将文本数据转换为词向量表示。每个词向量代表了一个词语在向量空间中的位置。然后，使用k-means算法对这些词向量进行聚类，将具有相似语义特征的词语分配到同一个簇中。这种方法可以帮助发现文本中的潜在主题或者语义相关性。通过将相似的词语聚集在一起，可以更好地理解文本数据的含义和结构。同时，聚类结果还可以用于文本分类、信息检索等应用领域。 需要注意的是，在使用k-means算法进行词向量聚类时，需要选择合适的聚类数目k，并进行适当的参数调优。此外，对于大规模的文本数据，为了提高计算效率，可以采用分布式计算或者近似算法来加速聚类过程。

2.3特征项权重计算

综合考虑文本中不同主题出现的频率、范围和位置等特征，可以重新定义特征项的权重。在重新定义权重时，主要从以下三个方面进行考虑：

频率：特征项在文本中出现的频率越高，其对文本主题的贡献也就越大。因此，可以根据特征项在文本中出现的次数来确定其权重，出现次数越多，权重越高。

范围：特征项在文本中出现的范围也会影响其对文本主题的贡献。如果特征项在整篇文本中广泛分布，覆盖了多个段落或章节，那么其权重应该相对较高。相反，如果特征项只出现在某个局部区域，其权重则相对较低。

位置：特征项在文本中的位置也会对其权重产生影响。一般而言，出现在段首和段尾的特征词对文本主题的贡献较大，因为它们能够更好地概括和总结文本内容。而出现在内容中的特征词则相对贡献较小。因此，可以引入位置因子loccd来调整特征项的权重，loccd越大，表示特征项在段首和段尾出现的概率越高，其权重也就越大。依据特征项权重值的大小依次排列，定义公式为下（1）所示。

（1）

其中，loccd表示特征项的位置因子，即特征项在不同位置出现对文档的贡献值不同。具体而言，如果特征项出现在段首或段尾，其贡献值会比出现在内容中的特征项更大。loccd的定义如下：

（2）

特征项在不同位置的权重分配如下：

当特征项出现在段落开头时，Ci为0.5，表示其贡献最高；

特征项出现在段落中间时，Ci为0.2；

特征项出现在段落结尾时，Ci为0.3。

在公式（3）中，fre表示特征项出现的概率，频率越大说明该特征项对文本的贡献越大。fre的计算公式定义为（3）。

（3）

在公式（3）中，N表示特征词在文档d中出现的频次，而N总表示文档d中所有特征项的频次之和 在公式（4）中，sca表示特征词的范围。如果某个特征词在某一类别的文本中频繁出现，则认为它在该类别文本中具有较大的价值，即该特征词不仅在该类别中出现频率高，而且出现的范围较小。sca的计算公式定义如下（4）。

（4）

2.4文本向量化

在步骤2和步骤3的基础上，按照以下步骤统计文档在各个类别下的分布：

对于每篇文档，根据特征项权值的大小顺序，选择前200个特征词。

根据步骤1中每个特征项所属的类别，在该类别所在的维度向量上加1，得到每篇文档在不同类别下的分布表示。

最终构建出文本—类别分布的矩阵，用来表示文本的分类情况。

图2是一个简单的基于word2vec的文本建模流程图，能够直观地看出整个文本建模的过程。

图2 基于word2vec的文本建模流程图

3结论

总之，本文提出的word2vec_k-means文本建模方法在特征项权值计算和词向量聚类方面进行了改进，可以更准确地表示特征项的重要性，并利用词向量聚类结果来进行文本建模，更好地捕捉文本的语义信息，为文本分析和应用领域提供有力支持。

参考文献：

[1]拉切卓玛,安见才让.基于深度学习的藏文特定目标实体情感分类研究[J].信息化研究, 2022(002):048.

[2]索朗拉姆,群诺.藏文词向量技术研究综述[J].电脑知识与技术：学术版, 2021, 17(11):3.

[3]李博涵,刘汇丹,龙从军,等.基于深度学习的藏文分词方法[J].计算机工程与设计, 2018, 39(1):5.

作者简介：岳昕哲 20020328 男 河南省 汉族 大学本科 学生 西藏大学 研究方向:NLP