activation function - SeanWu1977/Machine-Learning GitHub Wiki

name    | output(看用途決定輸出)
--------------------------
softmax : 機率
sigmoid : 0~1
tanh    : -1~1
relu    : f(x) = max(0,x)


# 最後一層
只有一個輸出時(通常是2元分類): sigmoid , loss = binary_crossentropy     # > 0.5 一類，< 0.5 一類
有多個輸出時(通常是多元分類): softmax , loss = categorical_crossentropy # 找最大機率