소형 모델의 훈련 기법 중 하나인 ‘지식 증류(Knowledge Distillation, KD)’에 대해 이야기해 볼까 합니다. 10년 전쯤 제안된 방법이지만, DeepSeek-R1 때문에 관심이 더 커진 훈련 기법입니다. AI에서 이야기하는 ‘…
AI 모델 ‘지식 증류’의 모든 것 | 요즘IT
소형 모델의 훈련 기법 중 하나인 ‘지식 증류(Knowledge Distillation, KD)’에 대해 이야기해 볼까 합니다. 10년 전쯤 제안된 방법이지만, DeepSeek-R1 때문에 관심이 더 커진 훈련 기법입니다. AI에서 이야기하는 ‘…