llm code
-
LLM으로 프로그래밍DEV 2024. 11. 24. 12:08
애플 연구팀, LLM 추론 능력에 의문 제기애플 연구팀 대규모 언어 모델(LLM)이 진정한 추론 능력을 갖추지 못했다고 주장.https://arxiv.org/pdf/2410.05229토큰 편향: LLM의 출력은 실제 추론보다는 학습된 시퀀스의 친숙도에 더 의존하는 경향. 예를 들어, "린다"라는 이름을 사용한 문제는 LLM이 정확하게 풀지만, "밥"으로 이름을 바꾸면 똑같은 문제임에도 불구하고 틀린 답을 내놓음. 이는 LLM이 추론 과정을 완전히 내면화하지 못하고 단순히 훈련 시퀀스, 즉 "린다"라는 이름이 사용된 문제들을 암기했기 때문이라고 해석할 수 있다. 즉, LLM은 깊은 인간적 추론과 유사한 고차원적 추상화 능력이 부족하다는 것을 보여줌.문제 난이도 증가에 따른 성능 저하: 애플 연구팀은 GSM..