Yapay zeka şirketleri siteleri farklı amaçlarla ve farklı isimlerle tarar. Hepsini tek bir kategori olarak görmek, yanlış kararlara yol açar.
Amaçlar kabaca üçe ayrılır: arama dizini oluşturma, kullanıcının o an istediği sayfayı getirme ve model eğitimi.
Üç farklı amaç
- AI arama — sistemin kendi arama dizinini oluşturur. Örnek: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Kullanıcı tetiklemeli — bir kullanıcı o anda bağlantıyı istediği için gelir. Örnek: ChatGPT-User, Claude-User.
- Model eğitimi — içeriği eğitim verisi olarak kullanır. Örnek: GPTBot, ClaudeBot, Google-Extended.
Eğitime kapatmak isteyip aramada görünmek isteyebilirsiniz. Bu ayrım tam olarak bunun içindir.
robots.txt ile yönetim
Her tarayıcı için ayrı bir kural bloğu yazılır. Bir bloğu kapatmak diğerlerini etkilemez.
Kuralların doğru çalıştığını varsaymak yerine, belirli bir yol için test etmek gerekir: bir yol birden fazla kuralla eşleşebilir ve hangisinin kazandığı her zaman sezgisel değildir.
robots.txt bir güvenlik önlemi değildir
robots.txt bir ricadır. Kurala uymayan bir istemciyi engellemez ve gizli kalması gereken bir yolu korumaz.
Erişilmemesi gereken bir bölüm varsa, o bölüm kimlik doğrulamasıyla korunmalıdır.