컨텍스트 윈도우

컨텍스트 윈도우는 모델이 한 번의 요청·응답 과정에서 동시에 참고할 수 있는 최대 토큰(단어 조각) 허용량으로, 최신 모델들은 수십만 토큰(책 한 권 분량 이상)까지 처리할 수 있을 만큼 크게 확장됐다. 창이 커질수록 긴 문서나 방대한 대화 이력을 한 번에 넣어 분석할 수 있지만, 연구에 따르면 중간에 위치한 정보를 모델이 상대적으로 소홀히 처리하는 ‘Lost in the middle’ 현상이 나타날 수 있다. 이 때문에 가장 중요한 지시사항이나 핵심 정보는 프롬프트의 맨 앞이나 맨 뒤에 배치하는 것이 실무적으로 권장된다.

실무 적용 및 비즈니스 영향#

더 많은 문서와 대화 이력을 한 번에 넣을 수 있어 복잡한 장문 분석 가능

구현 가이드 및 주의사항#

컨텍스트가 길어질수록 중간 정보 유실(Lost in the middle) 현상이 생기므로 핵심 정보는 양 끝에 배치