AOC55

공부하는 입장에서 작성한 내용이라, 틀린 부분이 있을 수 있습니다. 발견 시 지적해주시면 감사하겠습니다. Batch Gradient Descent (BGD) 먼저 알고리즘 명의 Batch의 개념은 Total Trainning Dataset 을 의미한다. (데이터를 분할 시 사용했던 batch 의미의 용어는 여기서 mini-batch로 통용) 전체 데이터 셋에 대해 에러를 구한 뒤 ⇒ 기울기를 한번만 계산하여 모델의 파라미터를 업데이트 하는 방식이다. 특징 전체 데이터에 대해서 업데이트가 한번에 이루어지므로 업데이트 횟수 자체는 적다. 그러나 한번의 업데이트에 모든 Trainning Data Set을 사용하므로 계산 자체는 오래 걸린다. 전체 데이터에 대해 Error Gradient 계산하므로 Optima..

아래 내용은 '케라스 창시자에게 배우는 딥러닝' 서적의 내용을 정리한 내용임 보편적인 머신러닝/딥러닝의 작업 흐름 1) 문제 정의와 데이터 셋 수집 - 입력데이터는 무엇이고, 어떤 것을 예측할 것인지? - 가용가능한 훈련데이터는 무엇이고 충분한지? - 어떤 종류의 문제인지? ex) 이진분류/다중분류/회귀/다중레이블다중분류/ 군집/강화학습 등? 문제 유형을 식별하게 되면, 모델 구조와 손실함수 선택에 도움이 된다 - 가설 주어진 입력으로, 출력을 예측 할 수 있다 가용한 데이터에 입력과 출력 사이의 관계를 학습하는 데 충분한 정보가 있다 -> 실제 모델이 작동하기 전 까지는, 이는 가설에 불과 2) 성공지표 선택 -정확도, 정밀도, 재현율, 고객 재방문율 등 -결정한 성공의 지표가 모델이 최적화할 손실함수..

아래 내용은 '케라스 창시자에게 배우는 딥러닝' 서적의 내용을 정리한 내용임 머신러닝 4가지 분류 지도학습 비지도학습 ex) 차원 축소, 군집 등 지도학습 풀기전 데이터셋 이해를 위해 필수로 거침 자기지도학습 사람이 만든 레이블 사용하지 않고, 학습과정에 사람이 개입하지 않는 지도학습, ex) 오토인코더 강화학습 환경에 대한 정보를 받아 보상을 최대화 하는 행동을 선택하도록 학습 머신러닝 모델의 평가 훈련 / 검증 / 테스트 데이터 세트 정보누설 방지 모델은 간접적으로라도 테스트 세트에 대한 정보 얻으면 안됨 검증방법 단순 홀드아웃 검증 K-겹 교차검증 셔플링을 사용한 반복 k-겹 교차검증 유념사항 - 대표성 있는 데이터: 레이블 분포 등을 확인하여, 셔플 등을 진행 - 시간의 방향: 과거로부터 미래를 ..

캐글 입문 하는 중에, Competitions 중에서도 카테고리 타입이 여러개 있어서, 차이점을 보던중 정리한 글이다. 일반적인 유형 Featured - 캐글의 가장 잘 알려진 대표적인 타입 - Full-scale의 머신러닝 과제들, 다소 어렵고 실제 상업적인 목적을 가진 과제들에 대한 예측 - 과제에 대한 상금도 있고, 그에 따라 전문가들도 많이 참여해서 참여시 스킬/테크닉 들을 배울 수 있을 것 같다 Research - 주로 실험적인 주제 들에 대한 Competitions - 실험적인 주제인 만큼, 상금이나 포인트 등이 주어지지는 않는 것 같다. - 실험적인 주제인 만큼 깔끔하거나 쉬운 솔루션이 없을 수 있음! Getting Started - 가장 쉽고, 접근하기 좋은 주제들 (New User를 위한..

통계적 방법에 의해(ex Linear Regression)으로 f를 추정할때 실제 관측 결과와 예측값에는 오차가 발생하는데 이를 Prediction Error라고 함. Prediction Error에 대해 이야기 할때 보통 두가지 Error에 대해 이야기함. 1) Reducible Error & 2) Irreducible Error 1) Reducible Error Reducible Error는 f̂ 와 f의 불일치로 발생하는 오류로, 예측 수행 시 향상된 방법 등을 통해서 갭을 줄여나갈 수 있음. 2) Irreducible Error Irreducible errors는 X들로는 완전히 Y에 대해 결정할 수 없다라는점에서 기인함. X와는 의존적이지 않지만, Y에 영향을 미치는 요소들을 Irreducibl..