본문 바로가기

AI

[부스트캠프 AI Tech] day7

Review


경사 상승& 하강법

  • 미분값을 더해주며 함수값이 최대화 되는 위치를 찾는다.(경사 상승법)
  • 미분값을 빼주며 극소값을 구한다(경사 하강법)

그레디언트 벡터

  • 다변수 함수(벡터가 입력) 인 경우, 편미분을 변수 갯수만큼 계산 가능하다. 이 그레디언트 벡터를 통해 모델을 개선해나간다.

확률적 경사하강법(SGD)

  • mini batch(데이터의 일부)를 통해 볼록한 모양이 아닌 목적식을 최적화한다.
  • 구간마다(mini batch) 목적식의 모양이 바뀌므로 조금더 괜찮은 결과를 도출할 수 있다.
  • 데이터를 조금씩 가져와 모델을 학습시키므로, 하드웨어적 한계를 해결할 수 있다.

느낀점

  • 어렴풋이 알고 있었던 경사하강법과, 확률적 경사하강법에 대하여 조금 더 심도깊은 이해를 할 수 있었고, 정확한 원리에 대해서 배울 수 있었다.

Peer Session

  • 편미분을 직접 해보는 과정을 같이 진행하면서 모르는 과정이 나오면 질문을 주고받았다.

'AI' 카테고리의 다른 글

[부스트캠프 AI Tech] day9  (0) 2021.01.28
[부스트캠프 AI Tech] day8  (0) 2021.01.27
[부스트캠프 AI Tech] day10  (0) 2021.01.25
[부스트캠프 AI Tech] day5  (0) 2021.01.22
[부스트캠프 AI Tech] day4  (0) 2021.01.21