아키텍처
LLM 학습 병목의 범인은 프레임워크? 대수학으로 파라미터 쪼개기
- 현재 LLM 학습의 진짜 병목이 단순 구조가 아니라 파라미터 공간이 제대로 분할되지 않는 프레임워크(Harness) 문제라고 지적하는 논문이야.
- 기존의 직교성(Orthogonality)이나 MoE 방식만으로는 한계가 있어서, 대수학적 방법으로 파라미터 공간을 직접 분할하는 새 방식을 제안했어.
- 모델 학습 효율을 근본적으로 바꾸려는 시도라 거대 모델 다루는 연구자라면 눈여겨볼 만해.
Hacker News - LLM원문 보기
