Yunohost'ta robots.txt Dosyası Oluşturmak

kutuphane
374 kelime
2 dakika
Seviye 14.23
Düzenle

🚀 Web sitenizin arama motorları tarafından nasıl tarandığını kontrol etmek ister misiniz? Yunohost üzerinde barındırdığınız uygulamalara özel robots.txt dosyası oluşturarak bu kontrolü tamamen elinize alabilirsiniz.

Bu yazıda, özellikle Yunohost'ta robots.txt dosyası oluşturmak konusunda adım adım bir rehber sunacağım. Ayrıca SEO uyumlu yapılandırma tekniklerini de öğreneceksiniz. Hedefimiz, Google gibi arama motorlarının sitenizi istenmeyen şekilde dizine eklemesini engellemek.

🤖 Robots.txt Nedir ve Neden Önemlidir?

robots.txt, bir sitenin kök dizininde yer alan ve arama motorlarına hangi sayfaları tarayabileceklerini veya tarayamayacaklarını bildiren düz metin dosyasıdır.

Ne İşe Yarar?

  • Arama motorlarının özel alanlara erişimini sınırlar.
  • Sunucu yükünü azaltır.
  • Gizli içeriklerin yanlışlıkla dizine alınmasını önler.
  • SEO stratejinizin bir parçası olarak önemli rol oynar.

⚙️ Yunohost’ta Robots.txt Dosyası Oluşturmak

Yunohost, yapılandırmaları daha farklı bir şekilde ele alır. Robots.txt eklemek için aşağıdaki adımları izleyin:

1. Dosyayı Oluştur

Öncelikle robots.txt dosyasını uygulamanızın dizininde oluşturun:

Bash
sudo nano /var/www/listmonk/robots.txt

Aşağıdaki içeriği örnek olarak ekleyebilirsiniz:

Text Only
User-agent: *
Disallow: /private/
Allow: /

Bu örnekte /private/ dizini hariç tüm içerik taramaya açık.

🔐 Google'ın Sitene Erişimini Engellemek

Eğer Google botlarının sitenizi hiç dizine almamasını istiyorsanız:

Text Only
User-agent: Googlebot
Disallow: /

Bu komut, yalnızca Googlebot'u engeller. Tüm botları engellemek için:

Text Only
User-agent: *
Disallow: /

❗ Not: Bu sadece dizinlemeyi engeller, sayfaların taranmasını değil. Tam koruma için HTTP authentication veya noindex meta etiketleri de kullanılabilir.

🔧 Nginx Üzerinden robots.txt Sunmak

Dosyayı oluşturduktan sonra Nginx sunucusuna bu dosyayı düzgün bir şekilde tanıtmak gerekiyor.

1. Gerekli Nginx Konfigürasyonunu Bul

Bash
sudo find / -type f -name 'listmonk'

Gelen sonuçlardan ilgili Nginx config dosyasını seçin:

Bash
sudo nano /etc/nginx/conf.d/listmonk.minel.yuceltoluyag.github.io.d/listmonk.conf

2. Aşağıdaki location bloğunu ekleyin

Nginx Configuration File
location = /robots.txt {
    alias /var/www/listmonk/robots.txt;
}

3. Nginx’i Yeniden Başlat

Bash
sudo systemctl restart nginx

✅ Doğrulama: Dosya Doğru Çalışıyor mu?

Tarayıcınızdan şu URL'yi ziyaret edin:

Text Only
https://listmonk.minel.yuceltoluyag.github.io/robots.txt

Dosya düzgün görüntüleniyorsa, yapılandırmanız başarıyla tamamlanmış demektir.

yunohost üzerinde oluşturulmuş örnek robots.txt dosyası

🎓 İpuçları & Dikkat Edilmesi Gerekenler

  • robots.txt yalnızca kibar botlar içindir. Kötü niyetli botlar bu dosyayı yok sayabilir.
  • Dosyayı değiştirdikten sonra Google Search Console üzerinden test edin.
  • Siteye özgü içerikler için ayrı kurallar yazabilirsiniz.
  • Eğer uygulamanızda bir public dizini varsa, robots.txt dosyasını direkt oraya koyun—%90 ihtimalle sorunsuz çalışır.Burada anlattığım yöntem ise public dizini olmadan, doğrudan nginx üzerinden robots.txt tanımlama yöntemi.

✍️ Sonuç

Yunohost'ta robots.txt dosyası oluşturmak oldukça kolay bir işlemdir ama doğru yapılandırıldığında sitenizin SEO stratejisini ciddi şekilde etkileyebilir. Özellikle belirli dizinleri gizlemek veya sadece belirli botlara izin vermek isteyenler için vazgeçilmezdir.

Site Araması