[부스트캠프 AI Tech] day 12

Review

---

• Training error와 Test error는 다른 것이다. 이둘의 차이를 최소한으로 줄이는 것을 Generalization Performance를 좋게 한다고 말 할 수 있다.

• 데이터를 k개의 partition으로 분할한 뒤 k-1개의 셋으로 학습을 시키고 1개의 셋으로 테스트를 진행(validation dataset은 학습 데이터에 포함)하면서 최적의 하이퍼 파라미터 셋을 찾아가는 과정을 Cross Validation이라고한다. 다만, 테스트 데이터는 건드리지 않는게 좋다(일종의 치팅)

• 고정된 학습데이터를 분리하여 모델을 여러개 만들어 전체 모델의 성능향상을 꾀하는 것을 일반적으로 Bootstraping 이라고하는데, Bagging 기법이란, 학습데이터 셋을 여러개 만들고 여러모델을 만들어 아웃풋의 평균을 내는 방법을 의미한다(앙상블과 유사). Boosting 이란 sequential 하게 모델들을 배치하여 결국 최종적으로 최고의 성능(모든 모델을 거친)을 가진 모델(strong runner)을 만드는 방법을 말한다.

• sharp minimum은 학습 데이터에 비해 test data기준 좋지못한 성능을 보여준다. 완만하지 않고 뾰족하기 때문에, 조금만 데이터가 달라져도 확실하게 다른 값을 내뱉게 된다. 이와 반대로 기울기가 비교적 완만한 flat minimum은 상대적으로 좋은 성능을 보여준다.

---

Peer Session

• 화,목 한문제씩 풀기로한 알고리즘 문제의 풀이방법을 논의하였고, 수업내용을 복습해보았고, 노션에 작성하는 팀회의록의 무료사용량이 초과되어 어떤식으로 회의록을 작성할지에 대하여 논의하였다.(깃으로 결정)

---