本文以情感分析為分享主題，并分析了情感屬性分析的挑戰(zhàn)以及如何利用深度學(xué)習(xí)模型解決此類(lèi)問(wèn)題。

Meltwater通過(guò)機(jī)器學(xué)習(xí)提供情感分析已超過(guò)10年。第一批模型于2009年部署了英語(yǔ)和德語(yǔ)版本。今天，Meltwater in-house支持16種語(yǔ)言的模型。本博客文章討論了如何使用深度學(xué)習(xí)和反饋循環(huán)向全球3萬(wàn)多個(gè)客戶大規(guī)模提供情感分析。

什么是情感分析？

情感分析是自然語(yǔ)言處理（NLP）中的一個(gè)領(lǐng)域，涉及從文本中識(shí)別和分類(lèi)主觀意見(jiàn)[1]。情感分析的范圍從檢測(cè)情感（例如憤怒，幸福，恐懼）到諷刺和意圖（例如投訴，反饋，意見(jiàn)）。情感分析以其最簡(jiǎn)單的形式為一段文本分配屬性（例如，正面，負(fù)面，中立）。

讓我們看幾個(gè)例子：

Acme 到目前為止，是我遇到過(guò)的最糟糕的公司。

這句話顯然表達(dá)了負(fù)面意見(jiàn)。情感由“最糟糕的公司”（情感短語(yǔ) the sentiment phrase）承載，并指向“ Acme”（情感目標(biāo) the sentiment target）。

明天，Acme和NewCo將發(fā)布其最新收入數(shù)據(jù)

在這種情況下，我們只有關(guān)于“ Acme”和“ NewCo”的事實(shí)陳述。語(yǔ)句是中性的。

NewCo 在過(guò)去一年的創(chuàng)紀(jì)錄銷(xiāo)售數(shù)字和股市飆升的支持下，它成為第一個(gè)在其平臺(tái)上積累1萬(wàn)億美元資產(chǎn)的養(yǎng)老金計(jì)劃。

這次，我們?cè)诜e極的語(yǔ)義環(huán)境中使用了諸如“支持”，“創(chuàng)紀(jì)錄銷(xiāo)售”之類(lèi)的短語(yǔ)，指的是“ NewCo” 。

Meltwater通過(guò)機(jī)器學(xué)習(xí)提供情感分析已超過(guò)10年。第一批模型于2009年部署了英語(yǔ)和德語(yǔ)版本。Meltwater現(xiàn)在擁有16種語(yǔ)言的in-house模型：阿拉伯語(yǔ)，中文，丹麥語(yǔ)，荷蘭語(yǔ)，芬蘭語(yǔ)，法語(yǔ)，印地語(yǔ)，意大利語(yǔ)，日語(yǔ)，韓語(yǔ)，挪威語(yǔ)，葡萄牙語(yǔ)，西班牙語(yǔ)和瑞典語(yǔ)。

我們的大多數(shù)客戶都通過(guò)媒體監(jiān)控儀表板（圖1）或報(bào)告來(lái)分析情感趨勢(shì)。較大的客戶可以通過(guò)Fairhair.ai數(shù)據(jù)平臺(tái)以豐富文檔的形式訪問(wèn)我們的數(shù)據(jù)。

圖1：Meltwater Media Intelligence媒體監(jiān)測(cè)儀表板。

該產(chǎn)品的一個(gè)重要特征是，用戶能夠覆寫(xiě)（override）算法分配的情感值。覆寫(xiě)的情感屬性被索引為Meltwater的Elasticsearch集群中同一文檔的不同“版本”，在構(gòu)建儀表盤(pán)和報(bào)告時(shí)，為客戶提供了他們的情感的個(gè)性化視圖（圖2）。

圖2：Meltwater的媒體情報(bào)內(nèi)容流中的“情感屬性”覆寫(xiě)下拉列表。

每個(gè)月，我們的客戶都會(huì)覆寫(xiě)大約200,000個(gè)文檔中的情感值。每天有6,500個(gè)文檔！那么，為什么情感很難如此正確呢？

情感屬性分析的挑戰(zhàn)

人類(lèi)語(yǔ)言的某些細(xì)微差別是挑戰(zhàn)性的來(lái)源之一。舉一些例子：

處理否定語(yǔ)義：

貴公司情況如何？還不錯(cuò)！我對(duì)最新的財(cái)務(wù)狀況并不非常滿意 ……

我們?cè)谶@里有三個(gè)句子，第一個(gè)是中性的，第二個(gè)是肯定的，但包含“錯(cuò)”，通常在否定的上下文中使用，第三個(gè)是否定的，但包含“非常滿意”。

諷刺語(yǔ)義：用這樣的句子

今天又下雨了…… fun times！

盡管表達(dá)了“fun times”，但該文本可能是諷刺的，并表達(dá)了負(fù)面情感。

比較性語(yǔ)義：

我喜歡新的Acme手機(jī)，它們比NewCo的手機(jī)好得多。

這里的“愛(ài)”和“好得多”等表達(dá)帶有積極的情感，但是，對(duì)于“ NewCo”來(lái)說(shuō)，評(píng)價(jià)卻是負(fù)面的。

取決于讀者角度的語(yǔ)境：

阿克梅警察局今天逮捕了8名涉嫌襲擊和搶劫的人員。該團(tuán)伙幾個(gè)月來(lái)一直在恐嚇社區(qū)。

除單詞的含義外，以上所有內(nèi)容都需要理解上下文。

一個(gè)必須解決的實(shí)際問(wèn)題是精度和速度之間的權(quán)衡。Meltwater每天對(duì)大約4.5億個(gè)文檔進(jìn)行情感分析，范圍從推文（平均長(zhǎng)度約30個(gè)字符）到新聞和博客帖子（長(zhǎng)度可達(dá)到600-700,000個(gè)字符）。每個(gè)文檔必須在20毫秒內(nèi)處理。必須保證速度！

傳統(tǒng)的機(jī)器學(xué)習(xí)方法（如樸素貝葉斯(na?ve Bayes)，邏輯回歸和支持向量機(jī)（SVM））因具有良好的可擴(kuò)展性而被廣泛用于大規(guī)模的情感分析?，F(xiàn)已證明深度學(xué)習(xí) （DL）方法在各種NLP任務(wù)（包括情感分析）上都可以實(shí)現(xiàn)更高的準(zhǔn)確性，但是，它們通常較慢，并且訓(xùn)練和操作成本更高[2]。

“舊”方法：貝葉斯情感

到目前為止，Meltwater一直在使用多元樸素貝葉斯(na?ve Bayes)情感分類(lèi)器。分類(lèi)器需要一段文本并將其轉(zhuǎn)換為一個(gè)擁有特征值的矢量 (f1, f2,…, fn)。

然后，分類(lèi)器計(jì)算最可能的情感正負(fù)屬性S j，即正，負(fù)或中性，前提是我們觀察到文本中的某些特征值。這通常寫(xiě)為條件概率語(yǔ)句：

p(Sj | f1, f2,…, fn)

通過(guò)找到最大化下面的公式的S j，從而獲得概率最大的情感正負(fù)屬性。

log(p(Sj)+log(p(fi | Sj))

讓我們將以上理論應(yīng)用于我們的情感問(wèn)題。p(Sj)的值是找到“本質(zhì)上”具有特定正負(fù)屬性的文檔的概率。可以通過(guò)將大量文檔集標(biāo)記為正，負(fù)或中性，然后計(jì)算找到其中具有給定情感政府屬性的文檔的概率，來(lái)估計(jì)這些概率。理想情況下，我們應(yīng)該使用所有曾經(jīng)的文檔，但這是不切實(shí)際的。

例如，如果語(yǔ)料庫(kù)由以下帶有標(biāo)簽的文檔組成：

• D1: My phone is not bad (正面)
• D2: My phone is not great (負(fù)面)
• D3: My phone is good (正面)
• D4: My phone is bad (負(fù)面)
• D5: My phone is Korean (中性)

然后 p(Sj)的值是：

• p(正面)= 2/5=0.4
• p(負(fù)面)=2/5=0.4
• p(中性)=1/5=0.2

我們使用一個(gè)簡(jiǎn)單的單詞袋模型來(lái)導(dǎo)出我們的功能。我們使用一元語(yǔ)法，二元語(yǔ)法，和三元語(yǔ)法。例如D 1轉(zhuǎn)換為：

(My, phone, is, not, bad, My phone, phone is, is not, not bad, My phone is, phone is not, is not bad)

p(fi | Sj)的值即為在語(yǔ)料庫(kù)中被標(biāo)記為S j的文檔中看到某個(gè)特征的概率。

我們可以使用柯?tīng)柲缏宸驅(qū)τ跅l件概率 的定義p(fi | Sj)=p(fi∩Sj)/p(Sj)，來(lái)計(jì)算其值。例如，對(duì)于特征值“bad”：

• p(bad | 正面)=p(bad ∩正面)/p(正面)=0.2/0.4=0.5
• p(bad | 負(fù)面)=p(bad ∩負(fù)面)/p(負(fù)面)=0.2/0.4=0.5
• p(bad | 中性)=p(bad ∩中性)/p(中性)=0/0.2=0

給定一個(gè)文檔（例如“My tablet is good”），分類(lèi)器基于文本的功能為每個(gè)情感政府屬性計(jì)算出一個(gè)“得分”，例如對(duì)于“正面性”，我們得到：

log( p(POS | my, tablet, is, good, my tablet, tablet is, is good, my tablet is, tablet is good))

即為：

log( p(POS) )+log( p(my | POS) )+ … +log( p(tablet is good | POS) )= ?13.6949

同樣適用于“負(fù)面性”和“中性”，從而產(chǎn)生以下按序的得分：

• log(p(正面 | …)) = ?13.6949
• log(p(中性 | …)) = ?16.9250
• log(p(負(fù)面 | …)) = ?18.1709

然后分類(lèi)器得出的答案是：“正面性”是最有可能的情感正負(fù)屬性。

樸素貝葉斯(na?ve Bayes)分類(lèi)器運(yùn)行很快，因?yàn)樗璧挠?jì)算非常簡(jiǎn)單。但是，就準(zhǔn)確性而言，此方法可以實(shí)現(xiàn)的功能有限，例如：

• 準(zhǔn)確的分類(lèi)依賴于代表性的數(shù)據(jù)集，即，如果訓(xùn)練集偏向某個(gè)情感正負(fù)屬性（例如中性），我們的分類(lèi)也可能產(chǎn)生偏向。準(zhǔn)確性還取決于培訓(xùn)語(yǔ)料庫(kù)是否足夠涵蓋了我們所在意的語(yǔ)言。
• 樸素貝葉斯(na?ve Bayes)的假設(shè)基于特征的獨(dú)立性，即使得出的情感正負(fù)屬性排名是正確的，得出的概率也不是那么可靠[3,4]。
• 當(dāng)使用樸素貝葉斯和詞袋模型時(shí)，作為訓(xùn)練標(biāo)簽的顆粒度僅僅為文檔，通常會(huì)導(dǎo)致結(jié)果不佳。
• N-gram（元） 語(yǔ)言模型是一種鈍器。如果將自己限制為3元，我們將無(wú)法正確捕獲例如“not quite as bad”這樣的4元表達(dá)式。但是，增加上下文的大小會(huì)破環(huán)特征空間，從而使分類(lèi)器變慢，但不一定結(jié)果更好。

Meltwater的NLP（自然語(yǔ)言處理）團(tuán)隊(duì)的任務(wù)是改善所有支持語(yǔ)言的情感分析。由于訓(xùn)練新模型是一項(xiàng)復(fù)雜且昂貴的工作，因此團(tuán)隊(duì)首先研究了利用我們現(xiàn)有的技術(shù)堆棧來(lái)改善情感分析的快速方法。

改進(jìn)1：句子級(jí)訓(xùn)練和分類(lèi)

我們進(jìn)行的第一個(gè)改變，是訓(xùn)練貝葉斯模型的方式?，F(xiàn)在，我們不是在整個(gè)文檔的粒度上進(jìn)行訓(xùn)練和分類(lèi)，而是在句子級(jí)別進(jìn)行訓(xùn)練和分類(lèi)。以下是一些優(yōu)點(diǎn)：

• 與整個(gè)文檔相比，將標(biāo)簽分配給單個(gè)句子（或上下文中的表達(dá)式）要容易得多，因此我們可以眾包培訓(xùn)集的標(biāo)簽。
• 多年來(lái)，學(xué)術(shù)研究產(chǎn)生了可免費(fèi)獲得的帶標(biāo)簽的數(shù)據(jù)集，用于情感分析評(píng)估。其中大多數(shù)處于句子級(jí)別，因此我們可以將其納入我們的培訓(xùn)集中。
• 我們可以將句子級(jí)情感與命名實(shí)體和關(guān)鍵短語(yǔ)提取一起使用以提供實(shí)體級(jí)情感（Entity-level sentimate，ELS）。

然后，我們決定通過(guò)堆疊分類(lèi)器“挑選”有意義句子的情感，將句子級(jí)別的情感匯總為文檔級(jí)別的情感，以產(chǎn)生整個(gè)文檔的情感。

圖3：在2018年第二季度（左）和2019年第二季度（右）中記錄的情感屬性覆寫(xiě)-所有語(yǔ)言。

這些簡(jiǎn)單的更改對(duì)減少客戶每月做出的情感屬性覆寫(xiě)次數(shù)產(chǎn)生了巨大影響。特別是，在16種受支持的語(yǔ)言中，新聞文檔的情感屬性覆寫(xiě)平均減少了58％。

該分析涉及7,193個(gè)客戶產(chǎn)生的約4.5億個(gè)新聞文檔和4.2百萬(wàn)個(gè)覆寫(xiě)項(xiàng)。圖3顯示了2018第二季度（文檔級(jí)預(yù)測(cè)）和2019第二季度（句子級(jí)預(yù)測(cè)+匯總）進(jìn)行的覆寫(xiě)數(shù)量之間的比較。

改進(jìn)2：新的深度學(xué)習(xí)模型

同時(shí)，Meltwater的NLP團(tuán)隊(duì)一直在努力改進(jìn)我們的技術(shù)堆棧，以分析兩種主要語(yǔ)言（即英語(yǔ)和中文）的情感，涵蓋Meltwater處理的每日內(nèi)容的約40％。

我們嘗試了多種技術(shù)，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN），遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短內(nèi)存網(wǎng)絡(luò)（LSTM），目的是在準(zhǔn)確性，速度和成本之間找到良好的折衷方案。

由于在準(zhǔn)確性，速度和運(yùn)行成本之間進(jìn)行了很好的權(quán)衡，我們決定選擇基于CNN的解決方案。CNN主要用于計(jì)算機(jī)視覺(jué)，但事實(shí)證明，它們對(duì)NLP的表現(xiàn)也非常好。我們的解決方案使用Tensor Flow，NumPy（具有MKL優(yōu)化），GenSim和EKPhrasis在Python中實(shí)現(xiàn)，以支持哈希/現(xiàn)金標(biāo)簽，表情符號(hào)和表情符號(hào)。

體系架構(gòu)

簡(jiǎn)化的架構(gòu)如圖4所示。它包括一個(gè)嵌入（輸入）層，然后是單個(gè)卷積層，然后是最大池化層和softmax層[5]。

圖4：簡(jiǎn)化的模型架構(gòu)（來(lái)源：Zhang，Y.和Wallace，B.（2015）。卷積神經(jīng)網(wǎng)絡(luò)用于句法分類(lèi)的敏感性分析（和從業(yè)人員指南）

嵌入層

我們的輸入是要分類(lèi)的文本。至于貝葉斯方法，我們需要根據(jù)其特征來(lái)表示文本。我們將文本嵌入為矩陣。

例如，文字“I like this movie very much! ” 表示為具有7行的矩陣，每個(gè)單詞一行。列數(shù)取決于我們要表示的功能。與貝葉斯案例不同，我們不再自己設(shè)計(jì)功能。相反，我們現(xiàn)在使用經(jīng)過(guò)預(yù)訓(xùn)練的第三方單詞嵌入。

詞嵌入可大規(guī)模捕獲語(yǔ)義相似性。這些嵌入是可公開(kāi)獲得的，并由第三方機(jī)器學(xué)習(xí)專(zhuān)家培訓(xùn)的神經(jīng)網(wǎng)絡(luò)生成。對(duì)于英語(yǔ)，我們使用斯坦福大學(xué)的GloVe嵌入對(duì)8400億個(gè)單詞進(jìn)行了訓(xùn)練常見(jiàn)抓取并使用具有300個(gè)特征的向量。我們也嘗試過(guò)BERT和ElMo，但準(zhǔn)確性/成本之間的權(quán)衡仍然支持GloVe。

對(duì)于中文，我們使用騰訊AI的嵌入，該嵌入針對(duì)200萬(wàn)個(gè)特征向量的800萬(wàn)個(gè)短語(yǔ)進(jìn)行了訓(xùn)練。使用我們自己的訓(xùn)練數(shù)據(jù)集通過(guò)轉(zhuǎn)移學(xué)習(xí)對(duì)向量進(jìn)行微調(diào)。目的是確保嵌入內(nèi)容考慮Meltwater的PR /營(yíng)銷(xiāo)要求。

卷積層

CNN的核心是卷積層，在其中訓(xùn)練人工神經(jīng)元以從嵌入中提取顯著特征。在我們的例子中，卷積層由英語(yǔ)的100個(gè)神經(jīng)元和漢語(yǔ)的50個(gè)神經(jīng)元組成。

優(yōu)點(diǎn)再次是，我們不必嘗試和設(shè)計(jì)功能，網(wǎng)絡(luò)將學(xué)習(xí)我們需要的功能。缺點(diǎn)是我們可能無(wú)法再知道這些功能是什么。點(diǎn)擊這里以了解更多的卷積層的細(xì)節(jié)，點(diǎn)擊這里了解更多黑盒問(wèn)題的闡述。

最大池化（Max Pooling）

池化的思想是在特征圖中捕獲最重要的局部特征，以減少維數(shù)，從而加快網(wǎng)絡(luò)速度。

SoftMax層

合并的向量被合并為單個(gè)向量，并傳遞到完全連接的SoftMax層，該層將對(duì)極性進(jìn)行實(shí)際分類(lèi)。

數(shù)據(jù)集

對(duì)于英語(yǔ)，除了GloVe嵌入之外，我們還有23,000個(gè)內(nèi)部標(biāo)記的新聞句子和6萬(wàn)個(gè)社交句子，包括SemEval-2017 Task 4提供的Twitter數(shù)據(jù)集。對(duì)于中文，除騰訊AI嵌入外，數(shù)據(jù)集還包含來(lái)自新聞，社交和評(píng)論的約38,000句子。

該數(shù)據(jù)集使用Amazon的SageMaker Ground Truth通過(guò)眾包進(jìn)行注釋。在訓(xùn)練之前，使用二八原則對(duì)數(shù)據(jù)集進(jìn)行分層和隨機(jī)排序，即，我們使用80％進(jìn)行訓(xùn)練，使用20％進(jìn)行驗(yàn)證。

結(jié)果

與貝葉斯方法相比，這個(gè)簡(jiǎn)單架構(gòu)已經(jīng)使該模型在句子級(jí)別產(chǎn)生了明顯更好的性能（表1）。英文社交文本的收益為7％，中文（社交和新聞相結(jié)合）的收益為18％，英文新聞的收益為26％。

在文檔級(jí)別進(jìn)行匯總之后，與貝葉斯方法相比，我們發(fā)現(xiàn)英語(yǔ)級(jí)別的文檔級(jí)別情感屬性覆寫(xiě)數(shù)量進(jìn)一步減少了48.06％，中文級(jí)別的情感屬性覆寫(xiě)為29.24％。

表1：CNN與樸素貝葉斯（英語(yǔ)和漢語(yǔ)）的情感準(zhǔn)確性。

情感分析的準(zhǔn)確性到底有多高？F?1?分?jǐn)?shù)基本可以衡量模型得出的結(jié)果和人工注釋相比的準(zhǔn)確性。研究告訴我們，人工注釋者僅在80％的情況下同意結(jié)果。

換句話說(shuō)，即使假設(shè)100％準(zhǔn)確的模型，在20％的情況下，人類(lèi)仍然會(huì)不同意該模型[6]。實(shí)際上，這意味著我們的CNN模型在對(duì)單個(gè)句子進(jìn)行分類(lèi)時(shí)的表現(xiàn)幾乎與人工一樣好。

連續(xù)的提高

到目前為止，情感覆蓋的結(jié)果從未被反饋到情感模型中。NLP團(tuán)隊(duì)現(xiàn)在已經(jīng)設(shè)計(jì)了一個(gè)反饋循環(huán)，可以收集客戶不同意CNN分類(lèi)器的案例，以便我們可以隨著時(shí)間的推移改進(jìn)模型。

然后將覆蓋的文檔發(fā)送到Fairhair.ai Studio（圖5），在此處注釋者在每個(gè)級(jí)別（即實(shí)體，句子，部分（即標(biāo)題，入口，正文）和文檔）重新標(biāo)記它們。

圖5：Fairhair.ai Studio：Meltwater的注釋工具

每個(gè)文檔由不同的注釋者多次注釋?zhuān)⒂筛呒?jí)注釋者進(jìn)行最終審核。最終客戶有時(shí)會(huì)參與此過(guò)程。當(dāng)我們的注釋人員不精通特定語(yǔ)言時(shí)，會(huì)將標(biāo)簽轉(zhuǎn)移給第三方眾包工具。

Meltwater是Amazon SageMaker Ground Truth的重度用戶（圖6）。使用眾包時(shí)，我們會(huì)增加所需注釋器的數(shù)量，因?yàn)樗鼈兛赡懿蝗缥覀儍?nèi)部培訓(xùn)的注釋器準(zhǔn)確。

圖6：AWS SageMaker GT幫助Meltwater標(biāo)記2690個(gè)中文文檔5次

注釋完成后，新的數(shù)據(jù)點(diǎn)將由我們的研究科學(xué)家進(jìn)行審查。審查過(guò)程包括確保這些覆蓋不會(huì)故意偏向我們自己的模型，或跟從需要特定模型的特定客戶偏見(jiàn)。

如果數(shù)據(jù)是正確的，則將其添加到測(cè)試集中，即，我們不想通過(guò)將其添加到訓(xùn)練集中來(lái)過(guò)度擬合該數(shù)據(jù)點(diǎn)。我們需要該模型能夠從其他數(shù)據(jù)點(diǎn)歸納正確答案。

我們將收集性質(zhì)相似的數(shù)據(jù)，并攜帶必要的知識(shí)來(lái)正確分類(lèi)覆蓋的文檔。例如，如果發(fā)現(xiàn)分類(lèi)錯(cuò)誤發(fā)生在討論金融產(chǎn)品的文檔中，那么我們將從Elasticsearch集群中收集金融類(lèi)文檔。

綜上所述

我們對(duì)所有語(yǔ)言改變了訓(xùn)練和應(yīng)用貝葉斯情感模型的方式，這使新聞文檔上的文檔級(jí)情感屬性覆寫(xiě)次數(shù)平均減少了58％。

現(xiàn)在，我們支持所有16種語(yǔ)言的句子級(jí)和實(shí)體級(jí)情感。對(duì)我們而言，實(shí)體可以是個(gè)有自己名稱(chēng)的實(shí)體，例如“福特”，也可以是關(guān)鍵短語(yǔ)，例如“客戶服務(wù)”。

我們針對(duì)英語(yǔ)和漢語(yǔ)部署了深度學(xué)習(xí)情感模型。他們的句子準(zhǔn)確性在英語(yǔ)和漢語(yǔ)中分別為83％和76％。他們進(jìn)一步將新聞文檔的文檔級(jí)別腹瀉率降低了48.06％（英語(yǔ)）和29％（中文）。

新模型考慮了＃標(biāo)簽，例如#love，表情符號(hào)和表情圖示。

我們有一個(gè)反饋環(huán)來(lái)不斷改善我們的情感模型。

關(guān)于作者

• Stanley Jose Komban博士是Meltwater的高級(jí)研究科學(xué)家
• Raghavendra Prasad Narayan是Meltwater的高級(jí)研究科學(xué)家
• Giorgio Orsi博士是Meltwater的首席科學(xué)家兼（NLP）工程總監(jiān)

參考文獻(xiàn)

[1] Bing Liu. Sentiment Analysis: mining sentiments, opinions, and emotions. Cambridge University Press, 2015.

[2] Daniel Justus, John Brennan, Stephen Bonner, Andrew Stephen McGough. Predicting the Computational Cost of Deep Learning Models. IEEE Intl Conf. on Big Data. 2018.

[3] Irina Rish. An empirical study of the naive Bayes classifier. IJCAI Work. on Empirical Methods in AI. 2001.

[4] Alexandru Niculescu-Mizil, Rich Caruana. Predicting good probabilities with supervised learning. Intl Conference on Machine Learning. 2005.

[5] Ye Zhang, Byron Wallace. A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification. Intl Joint Conf. on Natural Language Processing. 2015.

[6] Kevin Roebuck. Sentiment Analysis: High-impact Strategies – What You Need to Know: Definitions, Adoptions, Impact, Benefits, Maturity, Vendors. 2012.

本文由 @Meltwater 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自@Unsplash, 基于CC0協(xié)議