Encoder

Label Encoder vs One Hot Encoder in Machine Learning

https://medium.com/@contactsunny/label-encoder-vs-one-hot-encoder-in-machine-learning-3fc273365621

import os
import numpy as np
import pandas as pd

# 設定 data_path, 並讀取 app_train
dir_data = '../../data/Part01/Part01/'
f_app_train = os.path.join(dir_data, 'application_train.csv')
app_train = pd.read_csv(f_app_train)

sub_train = pd.DataFrame(app_train['WEEKDAY_APPR_PROCESS_START'])
print(sub_train.shape)
sub_train.head()


from sklearn.preprocessing import LabelEncoder
labelencoder = LabelEncoder()
ndata = np.array(sub_train)
ndata[:, 0] = labelencoder.fit_transform(ndata[:, 0])


from sklearn.preprocessing import OneHotEncoder
oneHotCoder = OneHotEncoder()
enc = oneHotCoder.fit(ndata)
result = enc.transform(ndata).toarray()

print(result.shape)

test = pd.DataFrame(result)
test.head()

參考資料

https://medium.com/@contactsunny/label-encoder-vs-one-hot-encoder-in-machine-learning-3fc273365621

https://tree.rocks/python/sklearn-explain-onehotencoder-use/

https://blog.csdn.net/claroja/article/details/72622375

參考資料:(https://www.cupoy.com/qa/kwassist/ai_tw/0000016A431FB948000004F16375706F795F72656C656173655155455354)

原始資料是有序離散值的話 => Label Encoding 原始資料是無序離散值的話 => One Hot Encoding (Dummies)

以下分為兩點說明：

為什麼要將離散轉數值？

=> 因為大部分的模型都是基於數學運算，所以字串資料是無法運算的

為什麼要將無序轉 One-Hot？

=> 所謂數學運算一般泛指用距離代表相似（幾何觀點），意思是會用轉換後的兩個值的差距作為其相似程度。

舉個例子：

• 如果將性別欄位的男/女轉換成 0, 1 ，二元的沒問題。

• 如果講水果這個無序欄位中的頻果、香蕉、西瓜，Label 成 0, 1, 2 會隱含著「香蕉跟蘋果」比「西瓜跟蘋果」還要相似的意義，但這樣是錯誤的。

• 如果是年齡這個有序欄位的老年、中年、少年，Label 成 0, 1, 2 就很恰當，到如果硬轉成 One-Hot 反而將這個差距關係給拿掉。