# robots.txt — Pixyn (pixyn.ru)
# Sitemap генерируется prerender'ом (scripts/prerender.mjs) с динамическими маршрутами
# /models/:slug, /blog/:slug — обновляется на каждый build:prerender.
# Расширенная политика для LLM-краулеров — см. /ai.txt и /llms.txt.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /auth
Disallow: /testkassa
Disallow: /profile
Disallow: /generate
Disallow: /studio
Disallow: /twa
Disallow: /workflow/
Disallow: /gpt-assistants
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

# Google: blocks специфичные для робота, иначе при наличии user-agent Googlebot
# он перестаёт уважать блок User-agent: * и идёт во все Disallow выше.
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /auth
Disallow: /testkassa
Disallow: /profile
Disallow: /generate
Disallow: /studio
Disallow: /twa
Disallow: /workflow/
Disallow: /gpt-assistants
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

# Яндекс
User-agent: Yandex
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /auth
Disallow: /testkassa
Disallow: /profile
Disallow: /generate
Disallow: /studio
Disallow: /twa
Disallow: /workflow/
Disallow: /gpt-assistants
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

User-agent: YandexBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /auth
Disallow: /testkassa
Disallow: /profile
Disallow: /generate
Disallow: /studio
Disallow: /twa
Disallow: /workflow/
Disallow: /gpt-assistants
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

# Известные AI-краулеры (Perplexity, ChatGPT, Claude, Google Bard) — разрешаем
# индексацию публичных страниц для появления в AI-ответах. Политика синхронизирована с /ai.txt.
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /generate
Disallow: /profile
Disallow: /workflow/
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

User-agent: ChatGPT-User
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /generate
Disallow: /profile
Disallow: /workflow/
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

User-agent: ClaudeBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /generate
Disallow: /profile
Disallow: /workflow/
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

User-agent: anthropic-ai
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /generate
Disallow: /profile
Disallow: /workflow/
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

User-agent: PerplexityBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /generate
Disallow: /profile
Disallow: /workflow/
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

User-agent: Google-Extended
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /generate
Disallow: /profile
Disallow: /workflow/
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

User-agent: cohere-ai
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /generate
Disallow: /profile
Disallow: /workflow/
Disallow: /compare/
Disallow: /blog/shedevrum-vs-kandinsky-vs-pixyn-2026
Disallow: /blog/pixyn-vs-gen-api-vs-gogenai-sravnenie-agregatorov

Sitemap: https://pixyn.ru/sitemap.xml