[딥러닝] #2 분류 모델링

1. Feature Representation

• Fully Connected : 모든 노드간 연결
• Locally Connected : 연결 제어 가능

• 상단의 노드를 z1, 하단 노드를 z2라고 했을 때, z1은 내부요인 점수, z2는 외부요인 점수라고 볼 수 있음
• 이 두 노드에 가중치를 주고 최종 집 값을 예측하게 될텐데, 둘 중 어느 곳에 더 가중치를 줄지는 알 수 없음 !
• 기존 데이터는 Hidden Layer에서 예측된 값과 실제값 사이의 오차를 최소화 해주는 방향으로 새롭게 표현(Representation)됨 => Feature Engineering

2. 이진 분류

• 딥러닝 구조
• 활성 함수 Activation Function : Node의 결과를 변환해주는 함수

•  Loss Function : binary_crossentropy
  
  • 이진 분류 모델에서 사용되는 손실함수
  • 𝒚 = 1 인 경우 오차를 다음과 같이 변환하고자 합니다.
    • 𝒚 햇이 1에 가까울수록 ➔ 오차는 0 에 가까워지도록
    • 𝒚 햇이 0에 가까울수록 ➔ 오차는 ∞에 가까워지도록
  • 𝒚 = 0 인 경우 오차를 다음과 같이 변환하고자 합니다.
    • 𝒚 햇이 0에 가까울수록 ➔ 오차는 0 에 가까워지도록
    • 𝒚 햇이 1에 가까울수록 ➔ 오차는 ∞에 가까워지도록
  • 위 오차들의 평균이 binary-crossentropy

 

3. 다중 분류

• Out Layer
  • 다중 분류 모델에서 Output Layer의 node 수는 y의 범주 수와 같음
  • Softmax : 각 Class 별(Output Node)로 예측한 값을, 하나의 확률 값으로 변환
  • 각 Class 별 확률의 합은 1
• 다중 분류 모델링을 위한 전처리
  • 다중 분류 : Y가 범주이고, 범주는 3개 이상
  • [방법 1] 정수 인코딩 + sparse_categorical_crossentropy
    • 인코딩 된 범주 조회 : int_encoder.classes_ -> 배열의 인덱스가 인코딩된 정수
  • [방법 2] 원핫 인코딩 + categorical_crossentropy
    • oh_encoder.fit_transform(data[['Species']]) : 2차원 구조로 입력해야 함
    • to_categorical(data['Species_encoded'], 3) : 정수 인코딩이 선행되어야 함