무료 도구
AI 크롤러 점검
ChatGPT·Claude·Perplexity·Gemini가 답을 쓰기 전에 읽는 건 결국 웹 페이지입니다. 주소를 넣으면 각 회사의 크롤러가 그 페이지를 읽을 수 있는 상태인지 확인합니다.
가입 없이 무료 · 점검한 주소는 서비스 개선을 위해 기록됩니다 · AI API를 호출하지 않습니다
무엇을 보나
- robots.txt — OpenAI·Anthropic·Perplexity·Google·Bing·네이버 크롤러 14종별 허용 여부. 검색·답변용과 학습용을 나눠 판정합니다.
- 크롤러 이름으로 요청 — GPTBot·OAI-SearchBot·ClaudeBot·PerplexityBot·Googlebot·Bingbot 이름으로 요청했을 때 브라우저와 같은 응답을 받는지.
- JavaScript 없이 읽히는 본문 — HTML만으로 읽히는 글자 수.
- noindex·X-Robots-Tag, 구조화 데이터(JSON-LD), title·description·canonical, 이미지 alt, llms.txt, 사이트맵.
자주 묻는 질문
여기서 모두 통과하면 AI 답변에 나오나요?
아닙니다. 이 도구는 크롤러가 페이지를 읽을 수 있는지, 즉 첫 관문만 봅니다. AI가 실제로 어떤 출처를 골라 답에 인용하는지는 질문, 경쟁 문서, 외부 언급 같은 다른 요인에 크게 좌우됩니다.
GPTBot이나 ClaudeBot을 막으면 ChatGPT·Claude 검색에 안 나오나요?
GPTBot·ClaudeBot은 모델 학습용 수집 크롤러입니다. 검색·답변용은 OAI-SearchBot·ChatGPT-User, Claude-SearchBot·Claude-User처럼 따로 있습니다. 그래서 이 도구는 학습용 차단을 '문제'가 아니라 '참고'로 표시합니다.
왜 JavaScript 없이 읽히는 글자를 보나요?
AI 크롤러 대부분은 JavaScript를 실행하지 않고 HTML만 읽습니다. 화면에서는 보이는데 HTML에는 내용이 거의 없는 사이트(클라이언트 렌더링 SPA 등)는 크롤러에게 빈 페이지로 보일 수 있습니다.
크롤러 응답 테스트 결과는 정확한가요?
크롤러 이름(User-Agent)만 흉내 낸 요청이라 참고용입니다. 실제 크롤러는 각 회사 공식 IP에서 오기 때문에, 방화벽이나 봇 관리 서비스 설정에 따라 결과가 다를 수 있습니다.
만든 곳: 보일리(Boily) — 한국 병원이 ChatGPT·Claude·Gemini·Perplexity 답변에 얼마나 언급되는지 측정하는 서비스입니다. 이 도구는 그중 가장 앞 단계인 크롤 접근만 떼어 누구나 쓸 수 있게 공개한 것입니다.