llms.txt

llms.txt는 사이트 루트에 마크다운 형식으로 핵심 페이지 목록과 요약을 정리해 두어, AI 크롤러나 에이전트가 사이트 전체를 무작정 크롤링하지 않고도 가장 중요한 정보를 효율적으로 파악할 수 있게 돕는 신생 제안 표준이다. 아직 구글이나 오픈AI가 공식적으로 지원을 확정하지는 않았지만, 일부 AI 도구와 커뮤니티에서 채택이 확산되고 있어 선제적으로 도입해 두는 사이트가 늘고 있다. robots.txt가 ‘접근 허용 여부’를 다룬다면 llms.txt는 ‘무엇이 중요한지’를 요약해 알려주는 보완적 역할을 한다는 점에서 구분된다.

실무 적용 및 비즈니스 영향#

토큰 소모를 줄이면서 AI 크롤러가 사이트의 진정한 핵심 페이지만 정확히 소비하도록 지원

구현 가이드 및 주의사항#

사이트 루트(/llms.txt)에 마크다운 포맷으로 중요 페이지 요약과 링크를 명시