Web Sitesi Robots.txt Dosyası Oluşturma

admin · 23 Şub 2026

Robots.txt; dosyası Google, Yandex, Bing gibi arama motorlarını sitenizi nasıl tarayacağını ve dizine ekleyeceğini gösteren bir .txt metin dosyasıdır.

Robots.txt sitenizin kök dizine yüklenmektedir ve belirli URL’lere, klasör yollarına izin vermek veya engellemek için kullanılmaktadır. Eğer bir robots.txt dosyası oluşturmazsanız arama motoru botları taramak için izin verildiğini varsayarlar.

Robots.txt Nasıl Oluşturulur?
Uzantısından anlaşılabileceği üzere robots.txt bir txt metin dosyasıdır. Bu dosyayı oluşturmak için yapmanız gereken tek şey bir Not Defteri açmak ve robots.txt olarak adlandırmaktır. Bir robots.txt dosyasının temel biçimi aşağıdaki şekildedir;

Kod:
User-agent: [user-agent adı]
Disallow: [Taranmayacak URL dizesi]

User-agent: [user-agent adı]
Allow: [Taranacak URL dizesi]

Sitemap: [XML Site Haritanızın URL'si]

Belirli URL’lere izin vermek ya da vermemek veya birden çok site haritası eklemek için birden çok satır ekleyebilirsiniz.

Örnek robots.txt dosyası aşağıdaki gibi görünecektir;

Kod:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /demo/

Sitemap: https://siteadiniz.com/sitemap.xml // Örnek olarak böyle gösterdim.

Yukarıdaki robots.txt dosyası örneğinde, tüm botlar için /wp-content/upload/ klasörünü taranabilir URL yolu olduğunu belirttik. User-Agent: bölümünde “” kullanarak tüm botlar için geçerli olduğunu söyledik. Eğer belirli bir bot için bu işlemleri yapmak isterseniz “” yerine bot ismi girilmelidir. Google’ın bazı servisleri için bazı bot isimlerini aşağıdaki bağlantıyı takip ederek inceleyebilirsiniz.

Link

Yukarıdaki örneğe göre “/demo/, /wp-admin/, /wp-content/plugins/” klasörlerinin taranmasına ve dizine eklenmesine izin vermedik. Son satırda da site haritamızın URL’sini gösterdik. Bu arama motorlarının site haritanızı bulmasını ve taranacak sayfalara kolay ulaşmasını sağlayacağı gibi SEO için de faydalı bir konudur.

Robots.txt dosyanızı yüklemek veya düzenlemek için Filezilla gibi bir FTP erişim aracını kullanabilirsiniz.

Robots.txt Kötü Botları Engelleme

Robots.txt ile sitenize ve SEO‘nuza zarar verebilecek bazı kötü botların listesini şu şekilde hazır;

User-agent: asterias
Disallow: /
User-agent: bdbrandprotect
Disallow: /
User-agent: BotALot
Disallow: /
User-agent: BotRightHere
Disallow: /
User-agent: BPImageWalker
Disallow: /
User-agent: BuiltBotTough
Disallow: /
User-agent: BunnySlippers
Disallow: /
User-agent: CazoodleBot
Disallow: /
User-agent: Cegbfeieh
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: ConveraCrawler
Disallow: /
User-agent: Copernic
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: cosmos
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: discobot
Disallow: /
User-agent: DittoSpyder
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: Fasterfox
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: findlinks
Disallow: /
User-agent: Foobot
Disallow: /
User-agent: Gaisbot
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: grub
Disallow: /
User-agent: heritrix
Disallow: /
User-agent: hloader
Disallow: /
User-agent: MIIxpc
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: MLBot
Disallow: /
User-agent: moget
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: NaverBot
Disallow: /
User-agent: NetAnts
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: searchpreview
Disallow: /
User-agent: SEOENGBot
Disallow: /
User-agent: ShopWiki
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: Templeton
Disallow: /
User-agent: TheNomad
Disallow: /
User-agent: TightTwatBot
Disallow: /
User-agent: Titan
Disallow: /
User-agent: TurnitinBot
Disallow: /
User-agent: TwengaBot
Disallow: /
User-agent: Twiceler
Disallow: /
User-agent: Updownerbot
Disallow: /
User-agent: URL_Spider_Pro
Disallow: /
User-agent: VCI
Disallow: /
User-agent: WebAuto
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: WebEnhancer
Disallow: /
User-agent: WebmasterWorldForumBot
Disallow: /
User-agent: WebSauger
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: wget
Disallow: /
User-agent: woriobot
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: YACYBIT
Disallow: /
User-agent: Yeti
Disallow: /
User-agent: YodaoBot
Disallow: /
User-agent: Zealbot
Disallow: /
User-agent: Zeus
Disallow: /
User-agent: ZyBorg
Disallow: /
User-agent: ranksignals
Disallow: /

Benzer konular	Forum			Tarih
Webmaster Sitesi İçin Cloudflare Ayarları (2026 Hız + Güvenlik Rehberi)	Webmaster Forumu	0	16	Pazartesi saat 12:37'de
Webmaster Sitesinde İç Linkleme Nasıl Kurulur? (2026 SEO Mimarisi)	Webmaster Forumu	0	15	Pazartesi saat 12:36'de
Webmaster Forumu Nasıl Kurulur? (2026 SEO + Kazanç Rehberi)	Webmaster Forumu	0	13	Pazartesi saat 12:16'de
Docker Nedir? Web Projeleri İçin Temel Kullanım Mantığı	Webmaster Forumu	0	13	8 Nis 2026
Freelance Web Tasarım Fiyatlandırma: Müşteri Teklifi Nasıl Yazılır?	Webmaster Forumu	0	12	8 Nis 2026
Freelance Web Geliştirici Olmak: Para Kazanma + Portföy Stratejileri	Webmaster Forumu	0	21	8 Nis 2026
Web Sitesi Kurulumu (HTML/CSS/JS + WordPress) Adım Adım Rehber	Webmaster Forumu	0	12	8 Nis 2026
Webmaster Nedir? Nasıl Olunur ve Hangi Yetenekler Gerekir?	Webmaster Forumu	0	16	8 Nis 2026
Web Hosting Sunucu Performansını Arttırma Teknikleri (2026 Güncel Rehber)	Webmaster Forumu	0	107	23 Şub 2026
Web Sitesi Kazıyıcı Scrapling PHP Script \| Web Sitesi Kazıyıcı & Veri Toplama Aracı	Webmaster Forumu	2	226	9 Şub 2026

Web Sitesi Robots.txt Dosyası Oluşturma

admin

Benzer konular

Legal warning