[ML-T][NN-B] 00. Intro

 

아래 포스팅은 '밑바닥부터 시작하는 딥러닝' 책 기반으로 공부한 내용이며, 추가적인 출처는 개별 포스팅에서 남기겠습니다.

 

 

01. 퍼셉트론(Perceptron)

• • 퍼셉트론(Perceptron) 이란?
  • 퍼셉트론(Perceptron) 의 구조
  • 가중치(Weight)
  • 활성화(Activation) 함수와 편향(Bios)
  • 순전파(Forward Propagation)
  • 단순 퍼셉트론(SLP, Single-Layer Perceptron)의 한계

 

 

02. MLP의 순전파

 

02. 활성화(Activation) 함수

• • 활성화(Activation) 함수란?
  • 시그모이드(Sigmoid) 함수
  • 계단(Step) 함수
  • 렐루(ReLU) 함수
  • 리키렐루(Leaky ReLU) 함수
  • 소프트맥스(Softmax) 함수
  • 쌍곡탄젠트(tanh, Hyperbolic tangent) 함수
  • 활성화(Activation) 함수의 비교

 

04. 손실/비용(Loss/Cost) 함수

• • 손실/비용(Loss/Cost) 함수란?
  • 평균제곱오차(MSE, Mean Square Error)
  • 교차 엔트로피 오차(CEE, Cross Entropy Error)
  • 미니배치(Mini Batch) 학습
  • 손실/비용(Loss/Cost) 함수의 비교

 

 

07. MLP(Multi Layer Perceptron)

• • MLP(Multi Layer Perceptron)

 

05. 오차역전파

• • 오차역전파

 

06. 최적화(Optimization) 알고리즘

• • 최적화(Optimization) 란?
  • 경사하강법(GD, Gradient Descent)
  • 확률적경사하강법(SGD, Stochastic Gradient Descent)
  • 모멘텀(Momentum)
  • Adagrad
  • Adam
  • 최적화(Optimization) 알고리즘의 비교

 

 

07. Data Set 분리

• •  

 

07. 오버피팅 (Over Fitting)

• •  

 

07. 기울기 소실 (Vanishing Gradient)

• •