컨텍스트 윈도우를 "모델의 기억력"이라고들 합니다. 이 비유가 오해를 만듭니다. 기억이라는 말에는 쌓인다는 뉘앙스가 있는데, 실제로는 정반대에 가깝기 때문입니다.📐 기억이 아니라 책상 넓이입니다컨텍스트 윈도우는 모델이 한 번에 볼 수 있는 토큰의 총량입니다. 기억이 아니라 책상 넓이에 가깝습니다. 책상에 올려둔 것만 보이고, 넘치면 밀려 떨어집니다.여기서 중요한 사실 두 개가 나옵니다. 첫째, 대화 내역 전체가 매번 다시 올라갑니다. 모델은 이전 대화를 기억하는 게 아니라, 매 요청마다 지금까지의 대화를 통째로 다시 읽습니다. 대화가 길어질수록 매번 읽는 양이 늘어납니다.둘째, 입력과 출력이 같은 책상을 씁니다. 자료를 가득 채워 넣으면 답을 쓸 자리가 없어집니다. 긴 문서를 넣었더니 답이 중간에 끊기..