AI
[부스트캠프 AI Tech] day7
전종구
2021. 1. 26. 18:23
Review
경사 상승& 하강법
- 미분값을 더해주며 함수값이 최대화 되는 위치를 찾는다.(경사 상승법)
- 미분값을 빼주며 극소값을 구한다(경사 하강법)
그레디언트 벡터
- 다변수 함수(벡터가 입력) 인 경우, 편미분을 변수 갯수만큼 계산 가능하다. 이 그레디언트 벡터를 통해 모델을 개선해나간다.
확률적 경사하강법(SGD)
- mini batch(데이터의 일부)를 통해 볼록한 모양이 아닌 목적식을 최적화한다.
- 구간마다(mini batch) 목적식의 모양이 바뀌므로 조금더 괜찮은 결과를 도출할 수 있다.
- 데이터를 조금씩 가져와 모델을 학습시키므로, 하드웨어적 한계를 해결할 수 있다.
느낀점
- 어렴풋이 알고 있었던 경사하강법과, 확률적 경사하강법에 대하여 조금 더 심도깊은 이해를 할 수 있었고, 정확한 원리에 대해서 배울 수 있었다.
Peer Session
- 편미분을 직접 해보는 과정을 같이 진행하면서 모르는 과정이 나오면 질문을 주고받았다.