User-agent: *
Allow: /
Allow: /llms.txt
Allow: /tr/llms.txt
Allow: /uz/llms.txt
Allow: /en/llms.txt
Allow: /ru/llms.txt
Allow: /zh/llms.txt
Disallow: /admin/
Disallow: /api/
Disallow: /database/
Disallow: /includes/
Disallow: /shared/
# 2026-10-05: CSS ve fontlar Google'a açık (sayfa görünümünü doğru işlesin)
Allow: /shared/css/
Disallow: /gen_*
Disallow: /backups/
Disallow: /*.duckversions*
Disallow: /error_log
Disallow: /proposal.php
Disallow: /proposal-file.php
Disallow: /teklif.php

# AI Bot Access — ChatGPT, Gemini, Perplexity, Claude, Grok
User-agent: GPTBot
Allow: /
Crawl-delay: 2

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Bytespider
Allow: /
Crawl-delay: 5

User-agent: anthropic-ai
Allow: /

User-agent: cohere-ai
Allow: /

# OpenAI Search
User-agent: OAI-SearchBot
Allow: /

# Meta AI
User-agent: meta-externalagent
Allow: /

# Apple AI
User-agent: Applebot-Extended
Allow: /

# Grok (xAI)
User-agent: Grok
Allow: /

# Allen Institute AI
User-agent: AI2Bot
Allow: /

# Common Crawl (LLM training data)
User-agent: CCBot
Allow: /

# DiffBot
User-agent: Diffbot
Allow: /

# LLM crawlers: canonical AI content index
# 2026-09-04: Lighthouse robots-txt denetimi bu iki satiri "Unknown directive"
# sayip 489 URL'nin tamaminda SEO skorunu 92'den 85'e dusuruyordu. Google zaten
# bilinmeyen direktifleri yok sayiyor; llms.txt / llms-full.txt dosyalari
# yerinde duruyor ve yukaridaki Allow satirlariyla taranabilir. Geri almak
# icin asagidaki iki satirin basindaki # isaretini kaldirmak yeterli.
#LLM-Index: https://101digital.uz/llms.txt
#LLM-Full: https://101digital.uz/llms-full.txt

# Yandex — Rusça pazar birincil arama motoru.
# Ayrı blok: Yandex "*" bloğunu okur ama kendi adına yazılmış direktifleri
# önceliklendirir. Clean-param, izleme parametreli URL'lerin kopya sayılmasını önler.
User-agent: Yandex
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /database/
Disallow: /includes/
Disallow: /shared/
Disallow: /backups/
Disallow: /error_log
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&gclid&yclid&fbclid&_openstat&cb

Sitemap: https://101digital.uz/sitemap-index.xml