谷歌在不久前發(fā)布了機(jī)器學(xué)習(xí)術(shù)語(yǔ)表，本文主要列出M-W的機(jī)器學(xué)習(xí)術(shù)語(yǔ)和TensorFlow 專用術(shù)語(yǔ)的定義，與大家一起探討學(xué)習(xí)。

A-L部分參見(jiàn)谷歌最新機(jī)器學(xué)習(xí)術(shù)語(yǔ)表：A-L的定義解釋（上）

一、M

1.機(jī)器學(xué)習(xí) (machine learning)

一種程序或系統(tǒng)，用于根據(jù)輸入數(shù)據(jù)構(gòu)建（訓(xùn)練）預(yù)測(cè)模型。這種系統(tǒng)會(huì)利用學(xué)到的模型根據(jù)從分布（訓(xùn)練該模型時(shí)使用的同一分布）中提取的新數(shù)據(jù)（以前從未見(jiàn)過(guò)的數(shù)據(jù)）進(jìn)行實(shí)用的預(yù)測(cè)，機(jī)器學(xué)習(xí)還指與這些程序或系統(tǒng)相關(guān)的研究領(lǐng)域。

2.均方誤差 (MSE, Mean Squared Error)

每個(gè)樣本的平均平方損失。MSE 的計(jì)算方法是平方損失除以樣本數(shù)，TensorFlow Playground?顯示的“訓(xùn)練損失”值和“測(cè)試損失”值都是 MSE。

3.指標(biāo) (metric)

您關(guān)心的一個(gè)數(shù)值?？赡芸梢?、也可能不可以直接在機(jī)器學(xué)習(xí)系統(tǒng)中得到優(yōu)化，您的系統(tǒng)嘗試優(yōu)化的指標(biāo)稱為目標(biāo)。

4.Metrics API (tf.metrics)

一種用于評(píng)估模型的 TensorFlow API，例如：tf.metrics.accuracy?用于確定模型的預(yù)測(cè)與標(biāo)簽匹配的頻率。

在編寫(xiě)自定義 Estimator?時(shí)，您可以調(diào)用 Metrics API 函數(shù)來(lái)指定應(yīng)如何評(píng)估您的模型。

5.小批次 (mini-batch)

從訓(xùn)練或推斷過(guò)程的一次迭代中一起運(yùn)行的整批樣本內(nèi)隨機(jī)選擇的一小部分。小批次的規(guī)模通常介于 10 到 1000 之間，與基于完整的訓(xùn)練數(shù)據(jù)計(jì)算損失相比，基于小批次數(shù)據(jù)計(jì)算損失要高效得多。

6.小批次隨機(jī)梯度下降法

一種采用小批次樣本的梯度下降法，也就是說(shuō)：小批次 SGD 會(huì)根據(jù)一小部分訓(xùn)練數(shù)據(jù)來(lái)估算梯度。Vanilla SGD?使用的小批次的規(guī)模為 1。

7.ML

機(jī)器學(xué)習(xí)的縮寫(xiě)。

8.模型 (model)

機(jī)器學(xué)習(xí)系統(tǒng)從訓(xùn)練數(shù)據(jù)學(xué)到的內(nèi)容的表示形式。多含義術(shù)語(yǔ)，可以理解為下列兩種相關(guān)含義之一：

• 一種?TensorFlow?圖，用于表示預(yù)測(cè)計(jì)算結(jié)構(gòu)。
• 該 TensorFlow 圖的特定權(quán)重和偏差，通過(guò)訓(xùn)練決定。

9.模型訓(xùn)練 (model training)

確定最佳模型的過(guò)程。

10.動(dòng)量 (Momentum)

一種先進(jìn)的梯度下降法，其中學(xué)習(xí)步長(zhǎng)不僅取決于當(dāng)前步長(zhǎng)的導(dǎo)數(shù)，還取決于之前一步或多步的步長(zhǎng)的導(dǎo)數(shù)。

動(dòng)量涉及計(jì)算梯度，隨時(shí)間而變化的指數(shù)級(jí)加權(quán)移動(dòng)平均值，與物理學(xué)中的動(dòng)量類似。動(dòng)量有時(shí)可以防止學(xué)習(xí)過(guò)程被卡在局部最小的情況。

11.多類別分類 (multi-class classification)

區(qū)分兩種以上類別的分類問(wèn)題。

例如：楓樹(shù)大約有 128 種，因此，確定楓樹(shù)種類的模型就屬于多類別模型。反之，僅將電子郵件分為兩類（“垃圾郵件”和“非垃圾郵件”）的模型屬于二元分類模型。

12.多項(xiàng)分類 (multinomial classification)

是多類別分類的同義詞。

二、N

NaN 陷阱 (NaN trap)

模型中的一個(gè)數(shù)字在訓(xùn)練期間變成?NaN，這會(huì)導(dǎo)致模型中的很多或所有其他數(shù)字最終也會(huì)變成 NaN。

NaN 是“非數(shù)字”的縮寫(xiě)。

1.負(fù)類別 (negative class)

在二元分類中，一種類別稱為正類別，另一種類別稱為負(fù)類別。正類別是我們要尋找的類別，負(fù)類別則是另一種可能性。

例如：在醫(yī)學(xué)檢查中，負(fù)類別可以是“非腫瘤”。在電子郵件分類器中，負(fù)類別可以是“非垃圾郵件”。另請(qǐng)參閱正類別。

2.神經(jīng)網(wǎng)絡(luò) (neural network)

一種模型，靈感來(lái)源于腦部結(jié)構(gòu)，由多個(gè)層構(gòu)成（至少有一個(gè)是隱藏層），每個(gè)層都包含簡(jiǎn)單相連的單元或神經(jīng)元（具有非線性關(guān)系）。

3.神經(jīng)元 (neuron)

神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)，通常是接收多個(gè)輸入值并生成一個(gè)輸出值。神經(jīng)元通過(guò)將激活函數(shù)（非線性轉(zhuǎn)換）應(yīng)用于輸入值的加權(quán)和來(lái)計(jì)算輸出值。

4.節(jié)點(diǎn) (node)

多含義術(shù)語(yǔ)，可以理解為下列兩種含義之一：

• 隱藏層中的神經(jīng)元。
• TensorFlow?圖中的操作。

5.標(biāo)準(zhǔn)化 (normalization)

將實(shí)際的值區(qū)間轉(zhuǎn)換為標(biāo)準(zhǔn)的值區(qū)間（通常為 -1 到 +1 或 0 到 1）的過(guò)程。例如：假設(shè)某個(gè)特征的自然區(qū)間是 800 到 6000，通過(guò)減法和除法運(yùn)算，您可以將這些值標(biāo)準(zhǔn)化為位于 -1 到 +1 區(qū)間內(nèi)。

另請(qǐng)參閱縮放。

6.數(shù)值數(shù)據(jù) (numerical data)

用整數(shù)或?qū)崝?shù)表示的特征。例如：在房地產(chǎn)模型中，您可能會(huì)用數(shù)值數(shù)據(jù)表示房子大?。ㄒ云椒接⒊呋蚱椒矫诪閱挝唬?。

• 如果用數(shù)值數(shù)據(jù)表示特征，則可以表明特征的值相互之間具有數(shù)學(xué)關(guān)系，并且與標(biāo)簽可能也有數(shù)學(xué)關(guān)系；
• 如果用數(shù)值數(shù)據(jù)表示房子大小，則可以表明面積為 200 平方米的房子是面積為 100 平方米的房子的兩倍。

此外，房子面積的平方米數(shù)可能與房?jī)r(jià)存在一定的數(shù)學(xué)關(guān)系。

并非所有整數(shù)數(shù)據(jù)都應(yīng)表示成數(shù)值數(shù)據(jù)。例如：世界上某些地區(qū)的郵政編碼是整數(shù)，但在模型中，不應(yīng)將整數(shù)郵政編碼表示成數(shù)值數(shù)據(jù)。

這是因?yàn)猷]政編碼?20000?在效力上并不是郵政編碼 10000 的兩倍（或一半）。

此外，雖然不同的郵政編碼確實(shí)與不同的房地產(chǎn)價(jià)值有關(guān)，但我們也不能假設(shè)郵政編碼為 20000 的房地產(chǎn)在價(jià)值上是郵政編碼為 10000 的房地產(chǎn)的兩倍。郵政編碼應(yīng)表示成分類數(shù)據(jù)。

數(shù)值特征有時(shí)稱為連續(xù)特征。

7.Numpy

一個(gè)開(kāi)放源代碼數(shù)學(xué)庫(kù)，在 Python 中提供高效的數(shù)組操作。Pandas?就建立在 Numpy 之上。

三、O

1.目標(biāo) (objective)

算法嘗試優(yōu)化的指標(biāo)。

2.離線推斷 (offline inference)

生成一組預(yù)測(cè)，存儲(chǔ)這些預(yù)測(cè)，然后根據(jù)需求檢索這些預(yù)測(cè)。與在線推斷相對(duì)。

3.one-hot 編碼 (one-hot encoding)

一種稀疏向量，其中：

• 一個(gè)元素設(shè)為 1。
• 所有其他元素均設(shè)為 0。

one-hot 編碼常用于表示擁有有限個(gè)可能值的字符串或標(biāo)識(shí)符。

例如：假設(shè)某個(gè)指定的植物學(xué)數(shù)據(jù)集記錄了 15000 個(gè)不同的物種，其中每個(gè)物種都用獨(dú)一無(wú)二的字符串標(biāo)識(shí)符來(lái)表示。在特征工程過(guò)程中，您可能需要將這些字符串標(biāo)識(shí)符編碼為 one-hot 向量，向量的大小為 15000。

4.一對(duì)多 (one-vs.-all)

假設(shè)某個(gè)分類問(wèn)題有 N 種可能的解決方案，一對(duì)多解決方案將包含 N 個(gè)單獨(dú)的二元分類器?– 一個(gè)二元分類器對(duì)應(yīng)一種可能的結(jié)果。

例如：假設(shè)某個(gè)模型用于區(qū)分樣本屬于動(dòng)物、蔬菜還是礦物，一對(duì)多解決方案將提供下列三個(gè)單獨(dú)的二元分類器：

• 動(dòng)物和非動(dòng)物
• 蔬菜和非蔬菜
• 礦物和非礦物

5.在線推斷 (online inference)

根據(jù)需求生成預(yù)測(cè)。與離線推斷相對(duì)。

6.操作 (op, Operation)

TensorFlow 圖中的節(jié)點(diǎn)。在 TensorFlow 中，任何創(chuàng)建、操縱或銷毀張量的過(guò)程都屬于操作。例如：矩陣相乘就是一種操作，該操作以兩個(gè)張量作為輸入，并生成一個(gè)張量作為輸出。

7.優(yōu)化器 (optimizer)

梯度下降法的一種具體實(shí)現(xiàn)。TensorFlow 的優(yōu)化器基類是 ——tf.train.Optimizer，不同的優(yōu)化器（tf.train.Optimizer?的子類）會(huì)考慮如下概念：

• 動(dòng)量?(Momentum)
• 更新頻率 （AdaGrad?= ADAptive GRADient descent；?Adam?= ADAptive with Momentum；RMSProp）
• 稀疏性/正則化 (Ftrl)
• 更復(fù)雜的計(jì)算方法 （Proximal， 等等）

甚至還包括?NN 驅(qū)動(dòng)的優(yōu)化器。

8.離群值 (outlier)

與大多數(shù)其他值差別很大的值。在機(jī)器學(xué)習(xí)中，下列所有值都是離群值：

• 絕對(duì)值很高的權(quán)重。
• 與實(shí)際值相差很大的預(yù)測(cè)值。
• 值比平均值高大約 3 個(gè)標(biāo)準(zhǔn)偏差的輸入數(shù)據(jù)。

離群值常常會(huì)導(dǎo)致模型訓(xùn)練出現(xiàn)問(wèn)題。

9.輸出層 (output layer)

神經(jīng)網(wǎng)絡(luò)的“最后”一層，也是包含答案的層。

10.過(guò)擬合 (overfitting)

創(chuàng)建的模型與訓(xùn)練數(shù)據(jù)過(guò)于匹配，以致于模型無(wú)法根據(jù)新數(shù)據(jù)做出正確的預(yù)測(cè)。

四、P

1.Pandas

面向列的數(shù)據(jù)分析 API，很多機(jī)器學(xué)習(xí)框架（包括 TensorFlow）都支持將 Pandas 數(shù)據(jù)結(jié)構(gòu)作為輸入。請(qǐng)參閱?Pandas 文檔。

2.參數(shù) (parameter)

機(jī)器學(xué)習(xí)系統(tǒng)自行訓(xùn)練的模型的變量。例如：權(quán)重就是一種參數(shù)，它們的值是機(jī)器學(xué)習(xí)系統(tǒng)通過(guò)連續(xù)的訓(xùn)練迭代逐漸學(xué)習(xí)到的，與超參數(shù)相對(duì)。

3.參數(shù)服務(wù)器 (PS, Parameter Server)

一種作業(yè)，負(fù)責(zé)在分布式設(shè)置中跟蹤模型參數(shù)。

4.參數(shù)更新 (parameter update)

在訓(xùn)練期間（通常是在梯度下降法的單次迭代中）調(diào)整模型參數(shù)的操作。

5.偏導(dǎo)數(shù) (partial derivative)

一種導(dǎo)數(shù)，除一個(gè)變量之外的所有變量都被視為常量。

例如：f(x, y) 對(duì) x 的偏導(dǎo)數(shù)就是 f(x) 的導(dǎo)數(shù)（即，使 y 保持恒定），f 對(duì) x 的偏導(dǎo)數(shù)僅關(guān)注 x 如何變化，而忽略公式中的所有其他變量。

6.分區(qū)策略 (partitioning strategy)

參數(shù)服務(wù)器中分割變量的算法。

7.性能 (performance)

多含義術(shù)語(yǔ)，具有以下含義：

• 在軟件工程中的傳統(tǒng)含義。即：相應(yīng)軟件的運(yùn)行速度有多快（或有多高效）？
• 在機(jī)器學(xué)習(xí)中的含義。在機(jī)器學(xué)習(xí)領(lǐng)域，性能旨在回答以下問(wèn)題：相應(yīng)模型的準(zhǔn)確度有多高？即模型在預(yù)測(cè)方面的表現(xiàn)有多好？

8.困惑度 (perplexity)

一種衡量指標(biāo)，用于衡量模型能夠多好地完成任務(wù)。

例如：假設(shè)任務(wù)是讀取用戶使用智能手機(jī)鍵盤(pán)輸入字詞時(shí)，輸入的前幾個(gè)字母，然后列出一組可能的完整字詞。此任務(wù)的困惑度 (P) 是為了——使列出的字詞中包含用戶嘗試輸入的實(shí)際字詞，您需要提供的猜測(cè)項(xiàng)的個(gè)數(shù)。

困惑度與交叉熵的關(guān)系如下：

P=2^{?cross entropy}

9.流水線 (pipeline)

機(jī)器學(xué)習(xí)算法的基礎(chǔ)架構(gòu)。流水線包括：收集數(shù)據(jù)、將數(shù)據(jù)放入訓(xùn)練數(shù)據(jù)文件、訓(xùn)練一個(gè)或多個(gè)模型，以及將模型導(dǎo)出到生產(chǎn)環(huán)境。

10.正類別 (positive class)

在二元分類中，兩種可能的類別分別被標(biāo)記為正類別和負(fù)類別。正類別結(jié)果是我們要測(cè)試的對(duì)象（不可否認(rèn)的是，我們會(huì)同時(shí)測(cè)試這兩種結(jié)果，但只關(guān)注正類別結(jié)果。）。

例如：在醫(yī)學(xué)檢查中，正類別可以是“腫瘤”。在電子郵件分類器中，正類別可以是“垃圾郵件”。

與負(fù)類別相對(duì)。

11.精確率 (precision)

一種分類模型指標(biāo)。精確率指模型正確預(yù)測(cè)正類別的頻率，即：

12.預(yù)測(cè) (prediction)

模型在收到輸入的樣本后的輸出。

13.預(yù)測(cè)偏差 (prediction bias)

一個(gè)值，用于表明預(yù)測(cè)平均值與數(shù)據(jù)集中標(biāo)簽的平均值相差有多大。

14.預(yù)創(chuàng)建的 Estimator (pre-made Estimator)

其他人已建好的?Estimator。TensorFlow 提供了一些預(yù)創(chuàng)建的 Estimator，包括： DNNClassifier、DNNRegressor?和?LinearClassifier。

您可以按照這些說(shuō)明構(gòu)建自己預(yù)創(chuàng)建的 Estimator。

15.預(yù)訓(xùn)練模型 (pre-trained model)

已經(jīng)過(guò)訓(xùn)練的模型或模型組件（例如嵌套）。有時(shí)，您需要將預(yù)訓(xùn)練的嵌套饋送到神經(jīng)網(wǎng)絡(luò)。在其他時(shí)候，您的模型將自行訓(xùn)練嵌套，而不依賴于預(yù)訓(xùn)練的嵌套。

16.先驗(yàn)信念 (prior belief)

在開(kāi)始采用相應(yīng)數(shù)據(jù)進(jìn)行訓(xùn)練之前，您對(duì)這些數(shù)據(jù)抱有的信念。例如：L2?正則化依賴的先驗(yàn)信念是權(quán)重應(yīng)該很小且應(yīng)以 0 為中心呈正態(tài)分布。

五、Q

1.隊(duì)列 (queue)

一種 TensorFlow?操作，用于實(shí)現(xiàn)隊(duì)列數(shù)據(jù)結(jié)構(gòu)。通常用于 I/O 中。

六、R

1.等級(jí) (rank)

機(jī)器學(xué)習(xí)中的一個(gè)多含義術(shù)語(yǔ)，可以理解為下列含義之一：

• 張量中的維度數(shù)量。例如：標(biāo)量等級(jí)為 0、向量等級(jí)為 1、矩陣等級(jí)為 2。
• 在將類別從最高到最低進(jìn)行排序的機(jī)器學(xué)習(xí)問(wèn)題中，類別的順序位置。例如：行為排序系統(tǒng)可以將狗狗的獎(jiǎng)勵(lì)從最高（牛排）到最低（枯萎的羽衣甘藍(lán)）進(jìn)行排序。

2.評(píng)分者 (rater)

為樣本提供標(biāo)簽的人，有時(shí)稱為“注釋者”。

3.召回率 (recall)

一種分類模型指標(biāo)，用于回答以下問(wèn)題：在所有可能的正類別標(biāo)簽中，模型正確地識(shí)別出了多少個(gè)？即：

4.修正線性單元 (ReLU, Rectified Linear Unit)

一種激活函數(shù)，其規(guī)則如下：

• 如果輸入為負(fù)數(shù)或 0，則輸出 0。
• 如果輸入為正數(shù)，則輸出等于輸入。

5.回歸模型 (regression model)

一種模型，能夠輸出連續(xù)的值（通常為浮點(diǎn)值）。請(qǐng)與分類模型進(jìn)行比較，分類模型輸出離散值。例如：“黃花菜”或“虎皮百合”。

6.正則化 (regularization)

對(duì)模型復(fù)雜度的懲罰。正則化有助于防止出現(xiàn)過(guò)擬合，包含以下類型：

• L1?正則化
• L2?正則化
• 丟棄正則化
• 早停法（這不是正式的正則化方法，但可以有效限制過(guò)擬合）

7.正則化率 (regularization rate)

一種標(biāo)量值，以 lambda 表示，用于指定正則化函數(shù)的相對(duì)重要性。從下面簡(jiǎn)化的損失公式中可以看出正則化率的影響：

minimize(loss function +?λ(regularization function))

提高正則化率可以減少過(guò)擬合，但可能會(huì)使模型的準(zhǔn)確率降低。

8.表示法 (representation)

將數(shù)據(jù)映射到實(shí)用特征的過(guò)程。

9.受試者工作特征曲線（receiver operating characteristic, 簡(jiǎn)稱 ROC 曲線）

不同分類閾值下的真正例率和假正例率構(gòu)成的曲線。另請(qǐng)參閱曲線下面積。

10.根目錄 (root directory)

您指定的目錄，用于托管多個(gè)模型的 TensorFlow 檢查點(diǎn)和事件文件的子目錄。

11.均方根誤差 (RMSE, Root Mean Squared Error)

均方誤差的平方根。

七、S

1.SavedModel

保存和恢復(fù) TensorFlow 模型時(shí)建議使用的格式。SavedModel 是一種獨(dú)立于語(yǔ)言且可恢復(fù)的序列化格式，使較高級(jí)別的系統(tǒng)和工具可以創(chuàng)建、使用和轉(zhuǎn)換 TensorFlow 模型。

如需完整的詳細(xì)信息，請(qǐng)參閱《TensorFlow 編程人員指南》中的保存和恢復(fù)。

2.Saver

一種?TensorFlow 對(duì)象，負(fù)責(zé)保存模型檢查點(diǎn)。

3.縮放 (scaling)

特征工程中的一種常用做法，是對(duì)某個(gè)特征的值區(qū)間進(jìn)行調(diào)整，使之與數(shù)據(jù)集中其他特征的值區(qū)間一致。

例如：假設(shè)您希望數(shù)據(jù)集中所有浮點(diǎn)特征的值都位于 0 到 1 區(qū)間內(nèi)，如果某個(gè)特征的值位于 0 到 500 區(qū)間內(nèi)，您就可以通過(guò)將每個(gè)值除以 500 來(lái)縮放該特征。

另請(qǐng)參閱標(biāo)準(zhǔn)化。

4.scikit-learn

一個(gè)熱門(mén)的開(kāi)放源代碼機(jī)器學(xué)習(xí)平臺(tái)。請(qǐng)?jiān)L問(wèn)?www.scikit-learn.org。

5.半監(jiān)督式學(xué)習(xí) (semi-supervised learning)

訓(xùn)練模型時(shí)采用的數(shù)據(jù)中，某些訓(xùn)練樣本有標(biāo)簽，而其他樣本則沒(méi)有標(biāo)簽。

半監(jiān)督式學(xué)習(xí)采用的一種技術(shù)是推斷無(wú)標(biāo)簽樣本的標(biāo)簽，然后使用推斷出的標(biāo)簽進(jìn)行訓(xùn)練，以創(chuàng)建新模型。如果獲得有標(biāo)簽樣本需要高昂的成本，而無(wú)標(biāo)簽樣本則有很多，那么半監(jiān)督式學(xué)習(xí)將非常有用。

6.序列模型 (sequence model)

一種模型，其輸入具有序列依賴性。例如：根據(jù)之前觀看過(guò)的一系列視頻對(duì)觀看的下一個(gè)視頻進(jìn)行預(yù)測(cè)。

7.會(huì)話 (session)

維持 TensorFlow 程序中的狀態(tài)（例如：變量）。

8.S 型函數(shù) (sigmoid function)

一種函數(shù)，可將邏輯回歸輸出或多項(xiàng)回歸輸出（對(duì)數(shù)幾率）映射到概率，以返回介于 0 到 1 之間的值。S 型函數(shù)的公式如下：

在邏輯回歸問(wèn)題中，σ?非常簡(jiǎn)單：

換句話說(shuō)，S 型函數(shù)可將?σ?轉(zhuǎn)換為介于 0 到 1 之間的概率。

在某些神經(jīng)網(wǎng)絡(luò)中，S 型函數(shù)可作為激活函數(shù)使用。

9.softmax

一種函數(shù)，可提供多類別分類模型中每個(gè)可能類別的概率。這些概率的總和正好為 1.0。

例如：softmax 可能會(huì)得出某個(gè)圖像是狗、貓和馬的概率分別是 ：0.9、0.08 和 0.02（也稱為完整 softmax）。

與候選采樣相對(duì)。

10.稀疏特征 (sparse feature)

一種特征向量，其中的大多數(shù)值都為 0 或?yàn)榭铡?/p>

例如：某個(gè)向量包含一個(gè)為 1 的值和一百萬(wàn)個(gè)為 0 的值，則該向量就屬于稀疏向量。

再舉一個(gè)例子，搜索查詢中的單詞也可能屬于稀疏特征 – 在某種指定語(yǔ)言中有很多可能的單詞，但在某個(gè)指定的查詢中僅包含其中幾個(gè)。

與密集特征相對(duì)。

11.平方合頁(yè)損失函數(shù) (squared hinge loss)

合頁(yè)損失函數(shù)的平方。與常規(guī)合頁(yè)損失函數(shù)相比，平方合頁(yè)損失函數(shù)對(duì)離群值的懲罰更嚴(yán)厲。

12.平方損失函數(shù) (squared loss)

在線性回歸中使用的損失函數(shù)（也稱為?L2?損失函數(shù)），該函數(shù)可計(jì)算模型為有標(biāo)簽樣本預(yù)測(cè)的值和標(biāo)簽的實(shí)際值之差的平方。由于取平方值，因此該損失函數(shù)會(huì)放大不佳預(yù)測(cè)的影響。

也就是說(shuō)，與?L1?損失函數(shù)相比，平方損失函數(shù)對(duì)離群值的反應(yīng)更強(qiáng)烈。

13.靜態(tài)模型 (static model)

離線訓(xùn)練的一種模型。

14.平穩(wěn)性 (stationarity)

數(shù)據(jù)集中數(shù)據(jù)的一種屬性，表示數(shù)據(jù)分布在一個(gè)或多個(gè)維度保持不變。這種維度最常見(jiàn)的是時(shí)間，即——表明平穩(wěn)性的數(shù)據(jù)不隨時(shí)間而變化。

例如：從 9 月到 12 月，表明平穩(wěn)性的數(shù)據(jù)沒(méi)有發(fā)生變化。

15.步 (step)

對(duì)一個(gè)批次的向前和向后評(píng)估。

16.步長(zhǎng) (step size)

是學(xué)習(xí)速率的同義詞。

17.隨機(jī)梯度下降法 (SGD, stochastic gradient descent)

批次規(guī)模為 1 的一種梯度下降法。換句話說(shuō)，SGD 依賴于從數(shù)據(jù)集中隨機(jī)均勻選擇的單個(gè)樣本來(lái)計(jì)算每步的梯度估算值。

18.結(jié)構(gòu)風(fēng)險(xiǎn)最小化 (SRM, structural risk minimization)

一種算法，用于平衡以下兩個(gè)目標(biāo)：

• 期望構(gòu)建最具預(yù)測(cè)性的模型（例如損失最低）。
• 期望使模型盡可能簡(jiǎn)單（例如強(qiáng)大的正則化）。

例如：旨在將基于訓(xùn)練集的損失和正則化降至最低的模型函數(shù)，就是一種結(jié)構(gòu)風(fēng)險(xiǎn)最小化算法。

如需更多信息，請(qǐng)參閱?http://www.svms.org/srm/。

與經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化相對(duì)。

19.總結(jié) (summary)

在 TensorFlow 中的某一步計(jì)算出的一個(gè)值或一組值，通常用于在訓(xùn)練期間跟蹤模型指標(biāo)。

20.監(jiān)督式機(jī)器學(xué)習(xí) (supervised machine learning)

根據(jù)輸入數(shù)據(jù)及其對(duì)應(yīng)的標(biāo)簽來(lái)訓(xùn)練模型，監(jiān)督式機(jī)器學(xué)習(xí)類似于——學(xué)生通過(guò)研究一系列問(wèn)題及其對(duì)應(yīng)的答案來(lái)學(xué)習(xí)某個(gè)主題，在掌握了問(wèn)題和答案之間的對(duì)應(yīng)關(guān)系后，學(xué)生便可以回答關(guān)于同一主題的新問(wèn)題（以前從未見(jiàn)過(guò)的問(wèn)題）。

請(qǐng)與非監(jiān)督式機(jī)器學(xué)習(xí)進(jìn)行比較

21.合成特征 (synthetic feature)

一種特征，不在輸入特征之列，而是從一個(gè)或多個(gè)輸入特征衍生而來(lái)。合成特征包括以下類型：

• 將一個(gè)特征與其本身或其他特征相乘（稱為特征組合）。
• 兩個(gè)特征相除。
• 對(duì)連續(xù)特征進(jìn)行分桶，以分為多個(gè)區(qū)間分箱。

通過(guò)標(biāo)準(zhǔn)化或縮放單獨(dú)創(chuàng)建的特征不屬于合成特征。

八、T

1.目標(biāo) (target)

是標(biāo)簽的同義詞。

2.時(shí)態(tài)數(shù)據(jù) (temporal data)

在不同時(shí)間點(diǎn)記錄的數(shù)據(jù)。例如：記錄的一年中每一天的冬外套銷量就屬于時(shí)態(tài)數(shù)據(jù)。

3.張量 (Tensor)

TensorFlow 程序中的主要數(shù)據(jù)結(jié)構(gòu)。張量是 N 維（其中 N 可能非常大）數(shù)據(jù)結(jié)構(gòu)，最常見(jiàn)的是標(biāo)量、向量或矩陣。張量的元素可以包含整數(shù)值、浮點(diǎn)值或字符串值。

4.張量處理單元 (TPU, Tensor Processing Unit)

一種 ASIC（應(yīng)用專用集成電路），用于優(yōu)化 TensorFlow 程序的性能。

5.張量等級(jí) (Tensor rank)

請(qǐng)參閱等級(jí)。

6.張量形狀 (Tensor shape)

張量在各種維度中包含的元素?cái)?shù)。例如：張量 [5, 10] 在一個(gè)維度中的形狀為 5，在另一個(gè)維度中的形狀為 10。

7.張量大小 (Tensor size)

張量包含的標(biāo)量總數(shù)。例如：張量 [5, 10] 的大小為 50。

8.TensorBoard

一個(gè)信息中心，用于顯示在執(zhí)行一個(gè)或多個(gè) TensorFlow 程序期間保存的摘要信息。

9.TensorFlow

一個(gè)大型的分布式機(jī)器學(xué)習(xí)平臺(tái)。該術(shù)語(yǔ)還指 TensorFlow 堆棧中的基本 API 層，該層支持對(duì)數(shù)據(jù)流圖進(jìn)行一般計(jì)算。

雖然 TensorFlow 主要應(yīng)用于機(jī)器學(xué)習(xí)領(lǐng)域，但也可用于需要使用數(shù)據(jù)流圖進(jìn)行數(shù)值計(jì)算的非機(jī)器學(xué)習(xí)任務(wù)。

10.TensorFlow Playground

一款用于直觀呈現(xiàn)不同的超參數(shù)對(duì)模型（主要是神經(jīng)網(wǎng)絡(luò)）訓(xùn)練的影響的程序。要試用 TensorFlow Playground，請(qǐng)前往?http://playground.tensorflow.org。

11.TensorFlow Serving

一個(gè)平臺(tái)，用于將訓(xùn)練過(guò)的模型部署到生產(chǎn)環(huán)境。

12.測(cè)試集 (test set)

數(shù)據(jù)集的子集，用于在模型經(jīng)由驗(yàn)證集的初步驗(yàn)證之后測(cè)試模型。

與訓(xùn)練集和驗(yàn)證集相對(duì)。

13.tf.Example

一種標(biāo)準(zhǔn)的?proto buffer，旨在描述用于機(jī)器學(xué)習(xí)模型訓(xùn)練或推斷的輸入數(shù)據(jù)。

14.時(shí)間序列分析 (time series analysis)

機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)的一個(gè)子領(lǐng)域，旨在分析時(shí)態(tài)數(shù)據(jù)。很多類型的機(jī)器學(xué)習(xí)問(wèn)題都需要時(shí)間序列分析，其中包括：分類、聚類、預(yù)測(cè)和異常檢測(cè)。

例如：您可以利用時(shí)間序列分析、根據(jù)歷史銷量數(shù)據(jù)預(yù)測(cè)未來(lái)每月的冬外套銷量。

15.訓(xùn)練 (training)

確定構(gòu)成模型的理想?yún)?shù)的過(guò)程。

16.訓(xùn)練集 (training set)

數(shù)據(jù)集的子集，用于訓(xùn)練模型。

與驗(yàn)證集和測(cè)試集相對(duì)。

17.轉(zhuǎn)移學(xué)習(xí) (transfer learning)

將信息從一個(gè)機(jī)器學(xué)習(xí)任務(wù)轉(zhuǎn)移到另一個(gè)機(jī)器學(xué)習(xí)任務(wù)。例如：

• 在多任務(wù)學(xué)習(xí)中，一個(gè)模型可以完成多項(xiàng)任務(wù)；
• 針對(duì)不同任務(wù)具有不同輸出節(jié)點(diǎn)的深度模型，轉(zhuǎn)移學(xué)習(xí)可能涉及，將知識(shí)從較簡(jiǎn)單任務(wù)的解決方案轉(zhuǎn)移到較復(fù)雜的任務(wù)，或者將知識(shí)從數(shù)據(jù)較多的任務(wù)轉(zhuǎn)移到數(shù)據(jù)較少的任務(wù)。

大多數(shù)機(jī)器學(xué)習(xí)系統(tǒng)都只能完成一項(xiàng)任務(wù)，轉(zhuǎn)移學(xué)習(xí)是邁向人工智能的一小步，在人工智能中，單個(gè)程序可以完成多項(xiàng)任務(wù)。

18.真負(fù)例 (TN, true negative)

被模型正確地預(yù)測(cè)為負(fù)類別的樣本。例如：模型推斷出某封電子郵件不是垃圾郵件，而該電子郵件確實(shí)不是垃圾郵件。

真正例 (TP, true positive)

被模型正確地預(yù)測(cè)為正類別的樣本。例如：模型推斷出某封電子郵件是垃圾郵件，而該電子郵件確實(shí)是垃圾郵件。

19.真正例率（true positive rate, 簡(jiǎn)稱 TP 率）

是召回率的同義詞，即：

真正例率是?ROC 曲線的 y 軸。

九、U

1.無(wú)標(biāo)簽樣本 (unlabeled example)

包含特征但沒(méi)有標(biāo)簽的樣本。無(wú)標(biāo)簽樣本是用于進(jìn)行推斷的輸入內(nèi)容，在半監(jiān)督式和非監(jiān)督式學(xué)習(xí)中，無(wú)標(biāo)簽樣本在訓(xùn)練期間被使用。

2.非監(jiān)督式機(jī)器學(xué)習(xí) (unsupervised machine learning)

訓(xùn)練模型，以找出數(shù)據(jù)集（通常是無(wú)標(biāo)簽數(shù)據(jù)集）中的模式。

非監(jiān)督式機(jī)器學(xué)習(xí)最常見(jiàn)的用途是將數(shù)據(jù)分為不同的聚類，使相似的樣本位于同一組中。

例如：非監(jiān)督式機(jī)器學(xué)習(xí)算法可以根據(jù)音樂(lè)的各種屬性將歌曲分為不同的聚類，所得聚類可以作為其他機(jī)器學(xué)習(xí)算法（例如音樂(lè)推薦服務(wù)）的輸入。

在很難獲取真標(biāo)簽的領(lǐng)域，聚類可能會(huì)非常有用；在反濫用和反欺詐等領(lǐng)域，聚類有助于人們更好地了解相關(guān)數(shù)據(jù)。

非監(jiān)督式機(jī)器學(xué)習(xí)的另一個(gè)例子是主成分分析 (PCA)。例如：通過(guò)對(duì)包含數(shù)百萬(wàn)購(gòu)物車(chē)中物品的數(shù)據(jù)集進(jìn)行主成分分析，可能會(huì)發(fā)現(xiàn)有檸檬的購(gòu)物車(chē)中往往也有抗酸藥。

請(qǐng)與監(jiān)督式機(jī)器學(xué)習(xí)進(jìn)行比較。

十、V

1.驗(yàn)證集 (validation set)

數(shù)據(jù)集的一個(gè)子集，從訓(xùn)練集分離而來(lái)，用于調(diào)整超參數(shù)。

與訓(xùn)練集和測(cè)試集相對(duì)。

十一、W

1.權(quán)重 (weight)

線性模型中特征的系數(shù)，或深度網(wǎng)絡(luò)中的邊，訓(xùn)練線性模型的目標(biāo)是確定每個(gè)特征的理想權(quán)重。如果權(quán)重為 0，則相應(yīng)的特征對(duì)模型來(lái)說(shuō)沒(méi)有任何貢獻(xiàn)。

2.寬度模型 (wide model)

一種線性模型，通常有很多稀疏輸入特征。

我們之所以稱之為“寬度模型”，是因?yàn)檫@是一種特殊類型的神經(jīng)網(wǎng)絡(luò)，其大量輸入均直接與輸出節(jié)點(diǎn)相連。與深度模型相比，寬度模型通常更易于調(diào)試和檢查。

雖然寬度模型無(wú)法通過(guò)隱藏層來(lái)表示非線性關(guān)系，但可以利用特征組合、分桶等轉(zhuǎn)換以不同的方式為非線性關(guān)系建模。

與深度模型相對(duì)。

作者：思穎

來(lái)源：https://www.leiphone.com/news/201803/nhu19vQoSUkbWGGY.html

本文來(lái)源于人人都是產(chǎn)品經(jīng)理合作媒體@雷鋒網(wǎng)，作者@思穎

題圖來(lái)自 Unsplash ，基于 CC0 協(xié)議