catastrophic overtraining (1) 썸네일형 리스트형 데이터를 더 넣었더니 성능이 떨어졌다? 대형언어모델에서 나타난 ‘과잉 훈련 재앙(Catastrophic Overtraining)’의 경고AI 모델 성능, 정말 데이터가 많을수록 좋을까?AI 개발자라면 한 번쯤 이런 말을 들어봤을 겁니다.“모델은 데이터를 많이 먹을수록 똑똑해진다.”이게 그동안 믿어온 상식이었습니다.대형언어모델(LLM)을 더 크게 만들고, 더 많은 데이터를 넣고, 더 긴 시간 동안 학습시키면 더 좋은 결과가 나올 거라고 생각했죠.하지만 최근 세계 유수 대학들의 공동 연구팀이 이 상식에 의문을 던졌습니다.너무 많은 사전 학습이 오히려 모델 성능을 떨어뜨릴 수 있다는 걸 실제 실험을 통해 증명해 낸 겁니다.이 현상을 그들은 ‘과잉 훈련 재앙(Catastrophic Overtraining)’ 이라고 불렀습니다.이 글에서는 이 개념이 .. 이전 1 다음
