고해상도 이미지에서 수백 종류의 물채를 감지하는 복잡한 문제는 수백 개의 뉴런으로 구성된 10개 층 이상의 층을 가진 신경망으로 훈련해야할 것입니다. 심층 신경망을 훈련하는 것은 쉬운 일이 아닙니다. 훈련 중에 다음과 같은 문제를 마주할 수 있습니다. 그레디언트 소실, 그레디언트 폭주: 심층 신경망 아래쪽으로 갈 수록 그레디언트가 점점 더 작아지거나 커지는 현상입니다. 훈련 데이터가 충분하지 않거나, 레이블을 만드는 비용이 많이 들 수 있습니다. 훈련이 극단적으로 느려질 수 있습니다. 수백만개의 파라미터를 가진 모델은 훈련 세트에 과적합될 위험이 큽니다. 훈련 샘플이 적거나 잡음이 많은 경우 그렇습니다. 그레디언트 소실과 폭주 문제 심층 신경망을 훈련할 때 아래쪽으로 갈 수록 그레디언트가 점점 더 작아지..
