# Robots.txt for aitalk.ch
# Created to help search engines understand the site structure
#
# 2026-10-08 (오너 결정): AI 검색 · AI 학습 크롤러를 이름으로 명시해 허용한다 — 공개 홈페이지 글이라
# 「고객 데이터로 학습 안 함」 약속과 무관하다. 🔴 robots.txt 는 이름이 맞는 그룹 «하나만» 읽는다 →
# AI 봇 그룹에도 아래 * 그룹과 같은 Disallow 줄을 둔다(빼면 그 봇에겐 /admin/ 등이 열린다).
# /_next/ 차단은 풀었다 — 구글이 화면을 그릴 때 필요한 CSS · JS 까지 막고 있었다.

# AI search and AI training crawlers — explicitly welcome
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: meta-externalagent
User-agent: MistralAI-User
User-agent: DuckAssistBot
User-agent: CCBot
Allow: /
Disallow: /api/
Disallow: /app/api/
Disallow: /admin/
Disallow: /console/
Disallow: /auth/
Disallow: /access-denied

# Everyone else (search engines, social previews, ...)
User-agent: *
Allow: /

# API and internal routes (검색 엔진이 크롤링할 필요 없는 경로)
Disallow: /api/
Disallow: /app/api/
# /chat/ 는 여기서 막지 않는다 — src/app/chat/layout.tsx 가 noindex 를 내보내므로
# 크롤링을 허용해야 구글이 그 표시를 읽고 색인에서 뺀다 (2026-09-07 GSC "Indexed, though blocked by robots.txt")

# Admin / Console / Auth (인증·관리 영역)
Disallow: /admin/
Disallow: /console/
Disallow: /auth/
Disallow: /access-denied

# Sitemap location
Sitemap: https://www.aitalk.ch/sitemap.xml