特徵提取

相較於原始龐大的資料集合需要很大量的資源來描述，特徵提取可以減少需要描述這些資料的資源。當我們分析複雜資料時，其中一個主要的問題是源自於變數的數量過多。分析很多個變數一般來說需要很大量的記憶體以及計算能力，同時太多變數也可能造成分類問題的演算法有過度擬合於訓練資料的現象，因此對新的採樣無法有效地歸納。特徵提取是處理變數組合並維持資料充足的準確性時，常通稱的術語。很多機器學習的實作者認為適當的特徵提取是有效模型構建的關鍵。[3]

可以利用已經建構好的應用相關的特徵集合來改善結果，通常這樣的特徵集合是被專家所建構。其中一種此類處理被叫做特徵工程師。除此之外，我們也可以使用一般的降維技術，如下:

• 獨立成分分析
• 等距特徵映射
• 核主成分分析
• 潛在語義學
• 偏最小二乘迴歸
• 主成分分析
• 多因子降維法
• 非線性降維
• 多線性主成分分析
• 半定式嵌入
• 自編碼器

特徵提取其中一個非常重要的應用領域為圖像處理，其中的演算法可以被用來偵測跟分離數位影像跟影片串流中，想要提取的部分或形狀(特徵)。常見的影像處理相關的特徵處理如下:

很多資料分析的軟體包提供特徵提取以前資料降維。常見的數值編程環境有提供內建的指令來做一些較簡單而常用的特稱提取(例如:主成分分析)。更多特定的演算法可以在公開的腳本或第三方提供的擴充包中取得。另外，也有軟體包為了特定軟體機器學習應用，特別為其設計特徵提取。[4]

以往主成分分析為特徵提取極常使用的降維方法，近來利用深度學習神經網路的自編碼器則相當常被使用。他可以跟深度學習中的各種技術(例如:深度神經網路，卷積神經網路)結合。其中，卷積神經網路能十分有效的擷取影像中的特徵，因此對於影像的資料降維擷取特徵的效果特別傑出。此外，卷積神經網路在大型資料庫中影像辨識相關的議題上(例如:物件分類)取得相當傑出的成果。[5]。因此也有人使用在大型資料庫上預先訓練好的卷積神經網路來做特徵提取。