1 引言

移动互联网将电子商务推向了一个空前繁荣的时代，用户在移动终端的购物便利操作早已成为这个时代的习惯，伴随而来的是大量的商品评价语句的产生、沉淀、积累。这些短文本基本处于300字以下，高频区间在30字～70字之间，涵盖了大量对于商品的情感倾注。随着海量的情感性商品评价的到来，产品评价正受到用户的成倍关注，产品评价情感分析正成为一个愈加重要的自然语言处理研究方向。

情感分析是指分析文字语言中所表达或隐藏的情绪状态，目前，对此领域主要的分析研究方法基本上还是传统的机器学习算法和统计学相关方法，例如支持向量机（SVM）、信息熵（Entropy）、条件随机场（CRF）、TF-IDF（Term Frequency-Inverse Document Frequency）等。传统机器学习对于本身文本的特征提取依赖严重，整个过程人为因素干扰大，李婷婷等［1］曾尝试通过对文本数据的人工特征构建，并利用机器学习算法进行情感分类，但分类效果严重依赖人为特征选择。Hinton等［2］2006年提出了深度信念网络（DBN）的学习方法，采用逐层贪婪的思路［3］改善传统梯度下降所带来隐藏层训练效果差的问题。Kim［4］在2014年将图像领域发展迅速的卷积神经网络引入到了自然语言处理领域，通过文本向量化处理类似图像矩阵输入卷积神经网络学习处理获得了较好的分类效果。

为了解决传统机器学习应用中所产生的文本特征提取选择主观性难题，同时进一步改善目前深度学习技术在图像领域应用广泛，却在自然语言处理相关领域缺乏实践应用的尴尬处境，提升产品评价情感判断的准确性，本文提出了一种基于深度学习中卷积神经网络（CNN）与递归神经网络（RNN），并结合改善的文本向量化输入、设计分流器（Shunt）优化输入的分流型卷积神经网络与递归神经网络融合型分类模型（Shunt-C&RNN）。

2 研究现状

2.1 深度学习与自然语言处理

深度学习通过一系列深层的学习网络，以仿生学、脑科学的角度模拟，进而对图像、语音、文字进行分析。伴随深度学习的快速发展，自然语言处理（natural language processing，NLP）也获得了许多关注。从2003年加拿大蒙特利尔大学教授Bengio等［6］提出用embedding将词映射进入矢量表示空间。到2008年NEC Labs American的研究员Collobert和Weston［7］开始最早的深度学习与NLP结合的研究工作，采用embedding和多层一维卷积的结构进行词性标注、分块、命名实体等。再到2012年Schwenk 等［8］采用 BLEU（bilingual evaluation understudy，BLEU）评分机制，运用在统计机器翻译任务中，提高了近2个百分点。此外，深度学习相关技术与算法还在语义消歧［9］、情感分析［10～11］等自然语言处理任务中取得不俗成绩，甚至超越了很多当时的传统方法。

3) 温度。当浸提温度<40℃时，随着温度升高火龙果果皮甜菜苷类色素提取量呈逐渐上升趋势；当温度增至40℃时提取量最高，为3.85 mg/100g；之后呈快速下降趋势，其原因可能是甜菜苷类色素对温度较敏感，过高的温度加速了甜菜苷类色素的分解[14]。因此，浸提温度以40℃最优。

2.2 卷积神经网络与递归神经网络

卷积神经网络最早是在1998年由leCun等提出，主要用于手写字符的图像识别，且都是小图片的识别。直到 2012 年 Krizhevsky［12］使用了较深的卷积神经网络模型，并在ImageNet大规模视觉识别挑战赛中将图片分类错误率降低了近50%而名声大噪。而到2016年著名的围棋人机大战以4∶1大胜李世石的AlphaGo即采用了卷积神经网络，使其更加备受重视。目前卷积神经网络应用已经十分广泛，在图像、语音、文字方面都成为了十分流行且重要的深度学习算法。

循环神经网络与卷积神经网络同属于深度学习中影响面较大的神经网络算法，但在结构和发展上完全不同。Mikolov T等［13］在2010年使用循环神经网络处理上下文语言信息。随后为解决梯度膨胀与遗失，Morin F［14］提出了长短时记忆（Long Short-Term Memory，LSTM）型循环神经网络。2015年，Chen等［15］将循环神经网络中的LSTM型神经网络进行中文分词类应用，发挥了其上下文关系学习的优势，取得了很好的分词效果。整体而言，循环神经网络在上下文关系连接方面具有更加明显的优势，同时和卷积神经网络形成互为优势的配合。

2.3 word2vec工具与词向量（word embidding）

总之，学术论文摘要作为信息来源，是论文学术质量的反映，成为介绍或了解国内外学术成就非常有效的途径。学术论文摘要的翻译应遵循目的法则、连贯法则和忠实法则，应按照英文摘要的普遍标准和特征来进行翻译。

而其中的神经网络概率语言模型在十余年的发展中，先出现了例如由Bengio等［17］提出的神经网络概率语言基础模型NNLM（Neural network language model）；而后伴随结构优化，提出了经典的CBOW模型与Skip-gram模型［17］。

其中Skip-gram模型在自然语言处理中十分实用，其模型如图1所示。

  

图1 Skip-gram模型结构图

Skip-gram模型的训练目标就是使得下式的值最大：

 

CNN模型：同样使用word2vec训练词向量，将词向量与24维增加的情感向量合并后，输入CNN网络训练，构造良好分类效果的CNN网络。

3 基于深度学习的情感分类模型

本文提出的基于深度学习的电子商务产品评价模型的建立与设计主要分为5个步骤，整体模型流程如图2所示。

  

图2 本文情感分类模型处理流程

1）运用word2vec工具，根据Skip-gram模型进行训练，将每条评论语句转化为词向量。

2）运用相似度计算，搜索爬取海量电商评价语料中相近的网络评价情感词，并根据相似程度，自动标注情感倾向，构建并扩充电子商品评价情感词典。

3）设计出具有较好收敛速度，对短文本语句具有良好分类效果的卷积神经网络（CNN）模型。

SVM模型：本文使用word2vec训练词向量，每个词为3维向量，每个词顺次排列组成一个行向量，通过训练寻找这两类行向量的支持向量构造SVM分类器。

5）设计判断输入CNN还是RNN的分流器（Shunt），判断语句是输入CNN还是RNN最合适，同时两维正负情感值加入词向量中作为附加特征，一并输入。

3.1 构造电商产品评价的情感词典

情感词典在词性的情感极性上作为分类标准十分重要，目前中文情感词典常见的有知网的HowNet词典、《学生褒贬义词典》、清华大学李军提供的褒贬义词典、台湾大学的NTUSD简体中文情感词典等。本文综合了常见的情感词典，将所有情感词去重细化筛选后，正向情感词共计8405个，负向情感词共计3116个。

但从传统情感词典中不难发现，许多针对互联网环境下的电子商务产品评价情感词汇十分缺乏。为了进一步优化和扩充情感词典的正负向情感词，本文爬取了10万条在线真实产品评价语料，并从中进行分词等预处理后开始进行词典扩充。整体构造与扩充词典步骤如下。

1）通过word2vec工具构造10万条评论语料中每个词汇的200维词向量。

2）通过对海量语料的词频统计，梳理出前7000个高频词汇，并标注7000高频词汇的正负向极性（若无情感倾向为中性）。

依据7000高频词汇中标注的正负向情感词的词向量，对10万条评论中词汇词向量进行相似度计算，选取最靠近的前五个词汇，标注相同情感极性，如图3。

入站操作流程：入站操作流程主要是从外地区货物到达进入本地区，由分拨中心进行卸货，信息采集，分拣，根据顾客目的地放置集货位等待派工出站装车。其中存在一些小小的问题。例如在分拣的过程中存在人力浪费、场地上面的设计不隔离等等。

  

图3 相似词的词向量矢量距离处理示意图

通过以上方法，本文将885个具有明确正负情感的高频词汇与其最相似的3690个新标注情感词，共计4575个情感新词全部扩充进入情感词典，并带有明确情感倾向。同时这4575个词均来自最真实的海量在线评价语料中，进一步完善和更新了当前网络情感用语的丰富度，对于后续情感词典匹配、语句情感量化，都提供了更为精准的支撑。至此关于电商产品评价情感词典构建完成。

3.2 构建基于词向量与情感极值的矩阵输入

卷积神经网络过去常用于图像处理，在输入方面选取图像矩阵输入较为常见。而在本文中，将把文本数据处理为词向量（wrod Embedding），首先将文本进行停用词去除，并对每个评论语句进行分词处理，同时通过word2vec将每个词词向量求出，如图4所示，每个句子最多可分解为n个词，同时每个词转为k维的词向量，即一句评论文本将成为n×k的二维矩阵。本文将词向量k设为200维，同时为控制矩阵的稀疏度，将文本评价语料控制在最多见的64字以内，即64×200的矩阵表示一句评论文本，少于64字的评价语料进行补零处理。

  

图4 相似词的词向量矢量距离处理示意图

除图5本身语料转化的词向量矩阵“｛X1，X2，X3，…，Xi｝”外，本文对每句评价语料进行了扩充词典的正负情感词匹配，从而量化评价语料的情感正负极性，并将量化后的情感极性值正向（positive）方面+1，负向（negative）方面-1，为防止因训练不足导致的分类精度降低，将情感极值向量进行拉普拉斯平滑，如下式所示。

5）可扩充性原则：为实现系统数据的交换与共享，系统应开放权限，允许用户扩充系统功能、数据库结构及项目编码。对此，系统需具有良好的开放性，并为用户提供格式多样的数据转换接口。

 

其中ajk代表第j个特征的第k个选择，Sj代表第j个特征的个数，而N代表种类的个数。

  

图5 模型输入向量的处理示意图

最终形成一个如图5所示的全新输入向量：

 

其中P为正向情感量化向量，Pa为第a个词的12维｛Pa1，Pa2，…，Pa12｝正向（positive）情感量化向量，且增加至Xa1之前，其中aij为一句评价语料的第i个词的情感量化值；W为通过Skip-gram得到的词向量，N为负向情感量化向量，Na为第a个词的12维｛Na1，Na2，…，Na12｝负向（negative）情感量化向量。

共计24维的情感极值增加项是试验测试后针对200维词向量矩阵较好的影响占比的选择。

3.3 构建Shunt-C&RNN模型

为了使得深度学习的多种方法更加精细化运用于文本情感分析，在利用了卷积神经网络（CNN）的优秀特征学习能力，同时构建循环神经网络（RNN）利用其时间轴索取前后关联内容学习的优势，分别处理产品评价在语料情感与文字长度差异化的语料。在对产品评价语料进行两种深度学习算法调用处理的辨识时，充分考虑了每个评价的情感词数量、情感词极性、整体语料文本长度、文本所体现的情感占比（情感词数/文本总词数）等因素。

3.3.1 设计分流器

本文对于文本的分流处理采用了字段长度和情感极性两个重要判断依据，字段长度主要体现一段评论的前后文关联性，同时在每句评价语料中情感的丰富程度，情感极性量化可对其进行判断。通过多次实验测试，本文在分流器规则设计方面，选择将30字以上且情感丰富度高的语料输入RNN网络，其余则输入CNN网络进行处理。

3.3.2 构建CNN网络模型

本文采用的多层卷积神经网络模型（CNN），整个模型由3层卷积层、1层池化层、1层Flatten层、1层全连接层及Softmax层构成，结构如图6所示。

  

图6 CNN模型结构结构图

卷积核ω∈Rh×k是对窗口大小为h的k维词向量进行卷积操作，输出特征为

 

其中 Xi为特征，Ci:i+h-1为输入的文本向量，ƒ为激活函数，较常见的如sigmod函数、tanh函数、ReLu函数等，本文考虑了整流线性函数对基于梯度方法的优化属性与训练收敛速度，故采用了ReLu函数作为激活函数：

 

本文每层卷积层由128个3×3的卷积核来学习并提取文本情感特征。卷积核ω对输入向量K=（P，W，N）进行卷积，即可得到一张特征图：

 

随后的池化层采用max-pooling层提取特征集中最有代表性的特征，然后通过全连接层来完成正负情感的映射，最后用Softmax层进行情感分类。Softmax对于多分类与二分类问题均适用，在本文仅利用Softmax进行正负向情感二分类，如下式所示。

 

其中p为每次合并后父节点的向量，W为类标签权重向量。在情感分类训练单句时，令g服从二项分布，Softmax层输出的分类可以视做计算条件概率g（k）=p（k|（xi，xj）），其中k=0或1，g（0）表示文本倾向负向情感的概率，g（1）表示文本倾向正向情感的概率。

在本文的CNN模型设计与构建中，全连接层引入了Dropout策略以防止过度拟合，经实验调参测试，将Dropout丢弃率设为0.5。同时窗口批量输入大小batch设置为8，且在调参中将学习速率lr设为0.01，衰减速率decay设为1e-5，将会获得较好的整体效果。

自慈溪市国土资源局被原浙江省国土资源厅设立为省“法治国土”联系点以来，为了推广法治成果、整合普法经验、丰富宣传硬件，更好地展示慈溪市国土资源局在法治国土建设历程中的成绩与风貌，也为了深入总结分析以往工作中的优势与不足，慈溪市国土资源局筹划设立了“慈溪法治国土”特色展览厅，力求打造一个亮点纷呈、特色鲜明，既具欣赏性，又有实质内涵的多功能展厅。

如今的我们处于利于思想复杂多变、利益纵横交错、观念日新月异的时代背景下，各种诱惑、激战层出不穷，高校党建工作者只有旗帜鲜明地讲政治，才可以信得过、靠得住、顶得住、稳得住。加强政治修养，必须高度自觉遵守遵守国家法律法规，必须高度自觉遵循党章，遵守政治方向、政治立场、政治言论、政治行动方面的政治纪律。努力用习近平中国特色社会主义思想武装头脑，指导实践，推动工作迈入新的台阶。

“一大”作为中共诞辰标志由来的考察 …………………………………………………………… 黄爱军（3．54）

本文构建的循环神经网络模型（RNN），整个模型由2层LSTM层及Softmax层构成，每层LSTM一共有512个神经元，结构如图7所示，且每一层都有一个叫cell state的结构用来传递整句序列的信息，其表达式为

《中国经济周刊》记者就上述问题联系天成控股，得到的回复是相关负责人正在出差，回来会与记者联系。截至发稿，记者仍未接到天成控股相关负责人的电话。

 

其中Ct表示cell state在第t个神经元处的值，ft表示第t个神经元中被丢弃的信息，由第t层神经元的输入和第t-1层的神经元经过线性运算并使用sigmod函数得到，it表示第t个神经元中什么值需要更新，计算方法与 ft相同，表示创建一个新的cell state候选值，计算方法与 ft相似，只是最后使用tanh函数得到 A～t。

  

图7 RNN模型结构结构图

在本文构造的RNN网络结构中，每一个神经元的输出为

 

其中ht表示第t个神经元的输出，Ot表示第t个神经元需要保留的信息，计算方式与 ft值相同。第二层LSTM与第一层LSTM一致。最后将这512个神经元全连接实现正负情感的映射，最后使用Softmax函数（同CNN中的Softmax函数相同）进行情感分类。

本研究中，首先采用浓度递增法建立对BTZ耐药的人骨髓瘤U266/BTZ细胞，并观察HSP27转录和表达水平的变化；随后采用siRNA干扰技术沉默U266/BTZ细胞中HSP27基因的表达，采用慢病毒介导的方法使HSP27基因在U266细胞中过表达，以分析HSP27参与骨髓瘤耐药的分子机制，旨在为今后靶向HSP27治疗MM提供可靠的理论和实验依据。

在RNN模型的设计与构建中，每一层LSTM都引入了Dropout策略，随机放弃20%的参数以防止过拟合，并且减少参数使计算更快。同时窗口批量大小batch设置为16，优化算法为RMSProp，并设置其参数学习速率lr为0.001，模糊因子epsilon为1e-8，最终得到效果较好的RNN模型。

4 实验及结果分析

4.1 实验环境

本文所有实验均在如表1所示环境中完成。

 

表1 实验环境与配置

  

环境配置Windows10 Intel Core i3-3240 3.4GHz GTX1060 8G tensorflow 1.3.0-gpu Python 3.5 Jieba 0.38 word2vec（gensim2.3.0）实验环境操作系统CPU GPU内存深度学习框架程序语言分词工具词向量训练工具

4.2 实验数据集准备与预处理

实验数据集来自京东商城（www.jd.com）3C产品的用户好评与差评数据，未选取情感倾向较弱的中评数据。该数据集中一共140000条评论样本，其中为使得word2vec训练的词向量更加准确，其使用了所有语料。其中选取了40000条评论样本，正负向情感各20000条，作为所有分类模型实验的数据样本，并按照数量的8：2进行训练集与测试集划分。

数据集选择和划分后，还有数据预处理步骤：

1）调整获取语料的格式与字符。同时调整统一的编码，去掉不相关符号、空格、特殊字符等。

3.3.3 构建RNN网络模型

本文实验主要采用了“传统机器学习方法”、“深度学习方法”与“改进的深度学习分流式方法”进行实验对比，结果均采用了十折交叉验证。

3）分词操作。使用分词工具包进行分词，使每个评论语句词语精简，便于后续训练词向量。

谷歌公司在2013年正式发布了Word2vec开源工具。此工具采用了人工神经网络方面理论，可将具体文本词汇转换为实数向量。步骤基本是先通过训练文本语料库构建词汇表，再根据连续词袋模型模型或Skip-gram模型训练得到每个词的词向量［16］。在向量空间中词向量是面向语义的，所以向量即多维空间，从夹角或距离也可反映词语语义上的相似，这就使得文字处理更加数字化和形象化。

这款煮锅的手柄处设计有一个出水口，整个中空手柄可作为一个出水管，再配合一个过滤网，可将煮锅里的水从食物中过滤出来，很适合油炸食物将油与食物分离。不过，设计师可能忽略了中空手柄的清洁问题，里面日积月累的污垢如果不清洁会变得很不卫生。

4）训练词向量。使用google已经开源的gensim2.3.0工具包，调用word2vec方法。同时为得到较高质量的词向量，除本身40000条训练集与测试集语料加入之外，另加入了100000条同出处评论语料参与训练。

4.3 实验评价指标

本文实验评估指标主要采用有准确率（precision）、召回率（recall）、F1值。准确率体现了算法模型获得正确结果的能力，召回率则反映了算法模型获得相关结果的能力，而F1值则综合考虑了前两个指标的平衡性，它们之间联系紧密，计算公式为

 

4.4 实验步骤

具体实验步骤如下。

1）构造与扩充电商评价情感词典，通过词向量的相似度计算，在原有词汇中扩充获得4～5倍电商与网络环境下流行的正负向情感词汇。

2）计算每条评价的情感极值。通过构造和扩充的情感词典进行每条评价的情感词语匹配，从而计算情感量化极值。

3）构造CNN或RNN的数据输入向量。将情感极值的正负向情感值分别作为本身词向量的前后各12维的扩展填充向量，形成新的输入向量。

4）分流选择性输入CNN或RNN处理。根据每个评价的内容长度与输入向量的情感极值，判断输入CNN模型还是RNN模型处理。

5）性能评估。输出分类结果，根据结果计算实验评价指标体系中的数值。

4.5 实验对比与结果分析

2）停用词去除。使用丰富的3类停用词表进行去重综合，再进行停用词去除。

4.5.1 对比实验

在对于本文分类算法的输入上均采取200维词向量（word embidding），本文分类算法对比主要是传统机器学习方法SVM，常用的深度学习方法CNN与RNN，还有改进型的分流式深度输入深度学习方法Shunt-C&RNN，具体如下。

4）设计出基于LSTM且运用合理的循环神经网络（RNN）模型。

其中，w是窗口的大小，在Skip-gram模型中就是指n-Skip-gram中的n的大小，M是训练文本的大小。在word2vec中，使用的是w-Skip-gram-bigrams。在其训练过程当中，需要语料足够丰富全面，其次需要尽可能多地反映词语间的关系，这就使得完整语句纳入其中十分重要。

RNN模型：与CNN模型输入的数据完全相同，只是网络变为基于LSTM的RNN网络。

Shunt-C&RNN模型：本文将评论语料从字数长度和感情量化值大小进行分流，选择性输入CNN模型或RNN模型进行处理。

4.5.2 实验结果

四组算法模型实验结果如表2所示。实验结果均经过多次交叉验证，多次实验取平均，具有较好的稳定性与可信度。

 

表2 实验结果

  

F1值/%83.26 91.94 92.68 92.91分类模型SVM模型CNN模型RNN模型Shunt-C&RNN模型准确率/%86.07 91.72 91.25 92.68召回率/%80.63 92.15 94.15 93.15

4.5.3 实验分析

根据实验数据表2与图8、图9所示，深度学习方法CNN模型与RNN模型相比于传统的机器学习方法SVM模型，从准确率、召回率到F1值都有较多提升，主要源于本身特征提取与学习的方式上智能化与数据化，深度学习依靠仿生脑科学与大数据，这体现了很大的优势。

  

图8 模型CNN与RNN的ACC曲线图

  

图9 模型CNN与RNN的LOSS曲线图

在短文本处理方面，构建的CNN模型具有更快的收敛速度，同时准确率方面高于RNN模型近0.5%，而RNN模型则具有更强的上下文关联，在返回相关结果能力上更强，召回率高出CNN模型达2%。

而本文提出的结合了两种网络模型特性优势所构建的分流型深度学习网络模型即Shunt-C&RNN算法，既发挥了深度学习优于传统机器学习方法的分类精度，又进一步将RNN模型上下文关联和CNN高效收敛相结合，取得了对比实验中最好的效果。

绘本是用图画和文字共同叙述一个完整的故事，是图与文的合奏。家长指导的重点应是引导儿童观察与想象，绘本中的图画给学生提供了丰富的想象空间，家长们可以借助这些图画，启发学生想象，让景物动起来，让人物活起来，让情节更加波澜起来。在这个过程中，家长鼓励孩子之间交流和互动，让孩子在主动参与的过程中，更好地理解与建构故事，并从中体会阅读的快乐，在思维风暴中，让故事更具体、更生动、更有趣。

5 结语

本文提出了一种基于深度学习的改进型模型Shunt-C&RNN，获得了对比与传统机器学习方法SVM及深度学习方法CNN模型与RNN模型更好的文本情感识别性能。主要贡献有以下三点：

采用SPSS 21.0统计学软件统计数据，计量资料以（±s）表示，采用 t检验，计数资料用[n(%)]表示，组间比用χ2检验，P＜0.05为差异有统计学意义。

A和B都不是语素，AB往往是一个语素。AB是由两个音节构成的单纯词。如：得得嗖嗖、咋咋呼呼、鼓鼓求求、舞舞哧哧等等。

1）通过词向量相似度计算，扩充与构建了电商评价情感词典，有效补充了当前的流行网络情感词。

2）将大量数据训练后的词向量及量化情感值融合，形成了模型更具情感特征的新的输入向量。

3）构造与设计了CNN与RNN模型，并进行了有效的融合，恰当地利用了各自对短文本的处理优势。

由于深度学习应用在自然语言处理方面相比于图像的发展还较为缓慢，在许多应用场景和参数调整细节上还有待验证，下一步将更深入地探究不同网络对于情感语料处理的模型参数设置相关联系。

参考文献

［1］李婷婷，姬东鸿.基于SVM和CRF多特征组合的微博情感分析［J］.计算机应用研究，2015，32（4）：978-981.LI Tingting，JI Donghong.Sentiment analysis of micro-blog based on SVM and CRF using various combinations of features［J］.Application Research of Computers，2015，32（4）：978-981.

［2］Hinton GE，Salakhutdinov RR.Reducing the dimensionality of data with neural networks［J］.Science，2006，313（5786）：504-507.

［3］Hinton GE，Osindero S，Teh Y.A fast learning algorithm for deep belief nets［J］.Neural Computation，2006，18（7）：1527-1554.

［4］KimY.Convolutional neural networks for sentence classification［C］//Proceedings of Conference on Empirical Methods Natural Language Processing.Association for Computational Linguistics，2014：1746-1751.

［5］张军阳，王慧丽，郭阳，等.深度学习相关研究综述［J］.计算机应用研究（网络优先出版），2018，35（7）.http：//www.arocmag.com/article/02-2018-07-067.html.ZHANG Junyang，WANG Huili，GUO Yang，et al.Review of deep learning［J］.Application Research of Computers（Network Priority Publishing），2018，35（7）.http：//www.arocmag.com/article/02-2018-07-067.html.

［6］Bengio Y，Vincent P，Janvin C.A neural probabilistic language model［J］.Journal of Machine Learning Research，2003，3（6）：1137-1155.

［7］Collobert R，Weston J，Karlen M，Kavukcuoglu K，Kuksa P.Natural language processing（almost）from scratch［J］.Journal of Machine Learning Research，2011，12（1）：2493-2537.

［8］Schwenk H，Rousseau A，Attik M.Large，pruned or continuous space language models on a GPU for statistical machine translation［C］//Naacl-hlt Workshop：Will We Ever Really Replace the N-gram Model on the Future of Language Modeling for Hlt.2012：11-19.

［9］Socher R，Huval B，Manning CD，Ng AY.Semantic compositionality through recursivematrix-vector spaces［C］//Joint Conference on Empirical Methods in Natural Language Processing& Computational Natural Language Learning.2012：1201-1211.

［10］Le Q，Mikolov T.Distributed representations of sentences and documents［C］//International Conference on International Conference on Machine Learning，2014，4：II-1188.

［11］Chen Y.Convolutional Neural Network for Sentence Classification［D］.Canada：University of Waterloo，2015：2-9.

［12］10 Breakthrough Technologies 2013［EB/OL］.MIT Technology Review，2013-04-23（5）.https：//www.technologyreview.com/lists/technologies/2013/.

［13］Mikolov T，Karafiát M，Burget L.Recurrent Neural Network Based Language Model［C］//Proceedings of the 11th Annual Conference of the International Speech Communication Association，2010：1045-1048

［14］F，Morin，Y Bengio.Hierarchical probabilistic neural network language model［C］//The 8st International Conference on Artificial Intelligence and Statistics（AISTATS），2005.

［15］CHEN X C，QIU X，ZHU C，LIU R，HUANG X.Long short-term Memory neural networks for chinese word segmentation［C］//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing，2015：1385-1394.

［16］陈柯宇.酒店领域文本情感分类研究研究［D］.重庆：重庆大学，2017：20-21.CHEN Keyu.Research on Text Sentiment Classification of Hotel Field［D］.Chongqing：Chongqing university，2017：20-21.

［17］Bengio Y，Ducharme R，Vincent P.A neural probabilistic language model［J］.Journal of Machine Learning Research，2003，3（7）：1137-1155.