AI 크롤러는 자바스크립트를 읽지 않는다 — 핀테크 36%가 ChatGPT에서 사라지는 이유 (2026)

핵심 요약

• GPTBot·ClaudeBot·PerplexityBot 같은 AI 크롤러는 자바스크립트를 실행하지 않습니다. 브라우저가 아니라, 첫 HTML 을 받아 그대로 떠나는 단순 수집기입니다.
• 한 연구에서 글로벌 핀테크 홈페이지 274곳 중 36%가 JS 없이는 콘텐츠의 80% 미만만 드러냈고, 47곳은 완전히 공백이었습니다.
• Googlebot 은 렌더하지만 AI 크롤러는 대부분 렌더하지 않습니다. 그래서 SEO 점수가 멀쩡한 페이지도 ChatGPT·Perplexity 답변에서는 통째로 빠질 수 있습니다.
• 해법은 단순합니다 — 핵심 본문을 서버 렌더링·정적 HTML 에 담아 첫 응답에서 바로 보이게 하는 것입니다.

AI 검색에 인용되려면 먼저 크롤러가 본문을 읽을 수 있어야 합니다. 그런데 ChatGPT·Perplexity·Claude 에 콘텐츠를 공급하는 크롤러는, 우리가 브라우저에서 보는 화면과 다른 것을 봅니다. 자바스크립트로 채워지는 본문은 이들 눈에 아예 존재하지 않을 수 있습니다.

AI 크롤러는 브라우저가 아니다

브라우저는 HTML 을 받은 뒤 자바스크립트를 실행해 본문을 채웁니다. 싱글 페이지 앱(SPA)이나 클라이언트 렌더링 사이트가 정상으로 보이는 이유입니다. 하지만 AI 크롤러의 기본 동작은 다릅니다.

"대부분의 AI 크롤러는 자바스크립트를 렌더링하지 않습니다. HTTP 요청을 한 번 보내고 그대로 떠납니다. 이들은 브라우저가 아닙니다." — Search Engine Journal

GPTBot, ClaudeBot, PerplexityBot 모두 첫 HTTP 응답에 담긴 HTML 만 읽습니다. 자바스크립트 파일을 내려받더라도 실행하지 않고, 렌더링을 기다리지도, 재시도하지도 않습니다. 크롤링 규모에서 모든 페이지를 브라우저로 렌더하는 비용이 막대하기 때문에, 1~5초 안팎의 짧은 타임아웃으로 "지금 있는 것만 가져가는" 방식이 운영 기본값입니다.

예외는 Googlebot 입니다. Google 은 지연 렌더링 파이프라인을 별도로 운영하고, 같은 인프라를 쓰는 Gemini 도 자바스크립트를 실행할 수 있습니다. 즉 렌더링하는 크롤러는 사실상 Google 계열뿐이고, 나머지 AI 답변 엔진은 렌더 전 HTML 만 봅니다.

데이터: 핀테크 36%가 JS 없이는 사라진다

이 격차는 추상적인 우려가 아니라 측정된 현실입니다. 한 연구가 CNBC 글로벌 핀테크 리스트의 홈페이지 274곳을 두 번씩 측정했습니다 — 한 번은 풀 브라우저 렌더(Playwright), 한 번은 자바스크립트 없는 raw HTTP fetch 로.

핀테크 홈페이지 274곳 중 36%가 자바스크립트 없이는 콘텐츠의 80% 미만만 반환했습니다. 그중 20%(55곳)는 30% 미만이었고, 47곳은 완전히 공백이었습니다. — Search Engine Journal

세 곳 중 한 곳꼴로, AI 크롤러에게는 핵심 콘텐츠 대부분이 보이지 않는다는 뜻입니다. 47곳은 제목과 빈 컨테이너만 남고 본문이 통째로 사라졌습니다. 사용자에게는 멀쩡하게 보이는 페이지가, AI 에게는 빈 종이였던 것입니다.

왜 이게 SEO 점수보다 치명적인가

전통 SEO 에서는 이 문제가 덜 부각됐습니다. Googlebot 이 렌더링을 해주기 때문입니다. 그래서 "구글에서는 잘 노출되니 괜찮다"고 넘어가기 쉽습니다.

문제는 AI 답변의 분포가 더 이상 Google 한 곳이 아니라는 점입니다. ChatGPT·Perplexity·Claude 는 각자의 크롤러로 수집한 데이터를 쓰고, 그 크롤러들은 렌더링을 하지 않습니다. 결과적으로 다음 상황이 발생합니다.

• Google 검색에서는 정상 노출 — Googlebot 이 렌더해 본문을 읽었기 때문
• ChatGPT·Perplexity 답변에서는 누락 — AI 크롤러가 렌더 전 빈 HTML 만 봤기 때문

SEO 순위와 AI 가시성이 갈라지는 대표적인 지점입니다. 검색 점수만 보면 보이지 않는 사각지대라, 측정하지 않으면 발견하기 어렵습니다.

내 페이지가 위험한지 자가 진단하는 법

코드를 몰라도 30초면 확인할 수 있습니다.

1. 소스 보기. 페이지에서 마우스 오른쪽 → "페이지 소스 보기"(View Source). 여기 보이는 것이 렌더 전 HTML, 즉 AI 크롤러가 보는 화면입니다. 본문 텍스트가 여기 없다면 위험 신호입니다.
2. 자바스크립트 끄고 새로고침. 브라우저 설정에서 JS 를 비활성화한 뒤 페이지를 다시 엽니다. 제목만 남고 본문·가격·FAQ 가 사라진다면, AI 크롤러도 같은 화면을 봅니다.
3. 첫 응답에 본문이 있는지 확인. 핵심 본문이 첫 HTML 응답에 들어 있는지, 아니면 API 호출 뒤에야 채워지는지를 봅니다. 후자라면 렌더링 없는 크롤러에는 비노출입니다.

본문을 AI 에 노출하는 5가지

항목	실행 기준
서버 렌더링	핵심 본문은 서버 렌더링(SSR) 또는 정적 HTML(SSG)에 담아 첫 응답에서 바로 노출
첫 HTML 우선	제목·본문·가격·FAQ 등 인용 가치가 큰 텍스트는 클라이언트 렌더링 뒤로 미루지 않기
텍스트 형태 유지	핵심 정보를 이미지·캔버스 안에만 가두지 않기 — 텍스트로 노출
링크는 <a href>	주요 페이지 이동은 자바스크립트 이벤트가 아니라 실제 <a href="..."> 링크로
보조 안내	llms.txt·구조화 데이터는 본문 노출이 전제된 뒤의 보조 장치로

핵심은 순서입니다. llms.txt 나 FAQ 스키마를 아무리 정성껏 붙여도, 본문 자체가 첫 HTML 에 없으면 AI 크롤러는 그 페이지를 빈 종이로 받습니다. 렌더링 전 노출이 모든 AEO·GEO 작업의 전제 조건입니다.

바꾼 뒤에는 측정으로 확인한다

서버 렌더링으로 전환했다면, 실제로 AI 크롤러가 본문을 읽고 인용하는지 확인해야 합니다. 사이트 진단 으로 핵심 본문이 자바스크립트 없이 노출돼 크롤러가 읽을 수 있는지 점검하고, AI 브랜드 가시성 분석 으로 같은 질문에 ChatGPT·Perplexity·Gemini 가 우리 페이지를 인용하는지 측정하면, 렌더링 개선이 실제 노출로 이어지는지 추세로 확인할 수 있습니다.

자주 묻는 질문

Google 검색에서 잘 나오면 괜찮은 것 아닌가요?

아닙니다. Googlebot 은 렌더링을 해주지만, ChatGPT·Perplexity·Claude 의 크롤러는 하지 않습니다. Google 노출이 정상이어도 다른 AI 답변 엔진에서는 빠질 수 있어, AI 가시성은 별도로 점검해야 합니다.

React·Vue 같은 SPA 는 무조건 불리한가요?

프레임워크 자체가 문제는 아닙니다. 같은 React 라도 서버 렌더링(SSR)이나 정적 생성(SSG)으로 핵심 본문을 첫 HTML 에 담으면 크롤러가 읽을 수 있습니다. 문제는 본문 전체를 클라이언트에서만 채우는 순수 클라이언트 렌더링 구성입니다.

본문을 다 서버 렌더링하면 속도가 느려지지 않나요?

핵심 본문(제목·설명·가격·FAQ 등 인용 가치가 큰 부분)만 첫 HTML 에 노출하면 충분합니다. 인터랙션이 필요한 보조 요소까지 전부 서버 렌더링할 필요는 없습니다. 노출 우선순위가 높은 텍스트부터 첫 응답에 포함하는 것이 핵심입니다.

llms.txt 를 추가하면 이 문제가 해결되나요?

해결되지 않습니다. llms.txt 는 사이트 구조를 안내하는 보조 표지일 뿐, 본문을 렌더해 주지 않습니다. 본문이 첫 HTML 에 없으면 llms.txt 가 있어도 크롤러가 읽을 본문 자체가 없습니다.

함께 읽으면 좋은 글

• Google AI Mode 최적화 — llms.txt보다 중요한 7신호 — 색인 가능성·렌더링·크롤링 등 Google AI 검색 준비도
• AI 크롤러 정책 완전 정리 — GPTBot·ClaudeBot·PerplexityBot 접근 제어
• 종합 가이드의 종말 — 추출 가능한 콘텐츠로 바꾸는 법 — 크롤러가 읽은 뒤, 인용되는 단락 구조
• 생성형 AI 답변에 추천받는 브랜드가 되는 법 — 인용 가능한 구조의 3조건