User Agent (Kullanıcı Aracısı) interneti kullanan bireyler ile web içerikleri ortasında köprü görevi gören tarayıcı anahtarı olarak tanımlanabilir. User Agent, internet ortamındaki kullanıcının mevcut olan bilgilerini taşımaktadır. Bu bilgiler internet kullanıcısının sahip olduğu aygıt, lokasyon ve IP adresi olarak tanımlanabilir. Web siteleri sağlanan bilgileri kullanıcıların internet ortamındaki tecrübelerini ve performanslarını olumlu istikamette artırmak için kullanır.
User Agent konusundan bahsetmişken Google’ın User-Agent’larına değinmesek olmaz. Bildiğiniz üzere Google, dünyanın en büyük tarayıcısıdır ve internet ortamının bizce işverenidir. Google diyor ki, bir web sayfasından başkasına giden temasları izleyerek web sitelerini otomatik keşfedip taramak için yararlanılan tüm programlar(robot yahut örümcek gibi) ‘Tarayıcı’dır. Pekala Google’ın ana tarayıcısı kimdir? Natürel ki de Google-bot. Ben de sizlere günlük hayatımızda kullandığımız Google’ın tarayıcılarındaki (Crawl) bilgileri ve bunların (robots.txt, robots meta etiketleri ve x-robots-tag) HTTP yönergelerinde nasıl belirlenmesi gerektiğini anlatmak istedim.
Google’ın User-Agent’larını listelemeden şu iki kavramının öğrenilmesinin gerekli olduğunu düşünmekteyim:
1 – User-Agent Token (Jetonu): Robots.txt belgenizdeki User-agent satırında, tarayıcı cinsiyle eşleşmesi için tarama kuralları yazılırken kullanılır ve birden fazla jeton vardır. Her bir kuralı uygulamak için o kuralın jetonu uygulanması kafidir.
2 – Full User-Agent String (Dizesi): Tarayıcının net açıklamasıdır; istekte ve web günlüklerinde görünür.
Yukarıdaki listede göründüğü üzere her bir farklı süreç için farklı user-agent’lar mevcuttur. Bu farklılıklar hem internet kullanıcılarının hem de Google işlerini daha da kolaylaştırmaktadır. Google’ın hedefi da aslında budur yani her türlü kullanıcı tecrübesini kolaylaştırmak. Taşınabilir ve masaüstü seçenekleri inceledikten sonra görseller ve görsellik içeren içerikler için de var olan farklı Google kullanıcı aracılarına göz atalım.
Tekrar bahsetmek gerekirse Google, bu ayırımları yaparken kendi işini ziyadesiyle kolaylaştırmıştır. Bizi devamlı daha uygun tecrübeler yaşatmak için çalışan Google, farklı jetonlar kullanarak her vazifesi diğer bir aracının devralmasını istemiştir. Bunu yapılırken oluşan iş kısmı sistemin daha net ve rahat çalışmasına imkan sağlamıştır.
SEO ile ilgilenen arkadaşlar Google Search Console üzerinde son periyotta sıkça Google-MobileBot aktifliği görebilirler. Bu bahis ayrıyeten Google’un taşınabilir öncelikli indexleme mantığı ile paralel olarak bizlere bir ispat niteliği taşımaktadır. Bu ortada taşınabilir seo ile ilgilenen ziyaretçilerimiz bu yazımızı okuyabilirler.
BONUS BİLGİ : Google’ın kullanıcılarına sağladığı kimi user-agent token’ları ise robots.txt kurallarına uymamaktadır.
Bu user-agent token’larının robots.txt kuralına uymamasının nedeni bir robot olarak değil, direkt bireylerin ortacısı olarak çalışmasından kaynaklanmaktadır. Şahısların ortacısı olarak çalıştığı için robots.txt evrakının girişlerini dikkate almamaktadır.
Robots.txt User Agent
Google, robots.txt belgesinde çeşitli user agent’lar olsa da en besbelli olanını izler. Google tarafından tüm sayfalarınızın taranmasını istiyorsanız robots.txt evrakına muhtaçlık duymayabilirsiniz. Ama web sitenizin birtakım sayfalarına erişim manisi koymak istiyorsanız yahut bu erişime müsaade vermek istemiyorsanız Googlebot’u user agent olarak kullanabilirsiniz.
Peki ben daha hassas bir tedbire yapmak istiyorsam ne yapabilirim? Mesela ben tüm sayfalarımı taratmak istiyorum lakin dizindeki birtakım görselleri bu taramanın içerisine almak istemiyorum. Bu durumda Googlebot-Image’ın user agent’ını yasaklamanız ancak tıpkı vakitte başka evraklarınızı taratmak için robots.txt evrakını kullanmanız gerekmektedir.
Robots Meta Etiketlerindeki User Agent
Bu mevzuyu da kısa bir örnekle açıklamak gerekirse; birtakım sayfalar, farklı tarayıcılara ait önergeleri belirtmek için birden çok robots meta etiketi kullanır.
User Agent Nasıl Değiştirilir?
User agent değişimi tarayıcıdan tarayıcıya farklılık göstermektedir. Kimi durumlarda bir web sitesinin dizaynını test etmek için yahut user agent ile ilgili bir sistem hazırlanırken tümünde test edilmesi ise büyük imkanlar sağlayabilir. Ben şu an kullanılan en tanınan iki tarayıcı üzerinden görsel örnekler vermek istedim.
Google Chrome için User-Agent Değiştirme
Opera için User-Agent Değiştirme
Özetlemek gerekirse user agent için bizim internetteki ayak izimiz desek yanlış olmaz. Kullanıcı ismine hareket eder. Web içeriğiyle son kullanıcının etkileşimini alan, işleyen ve kolaylaştıran bir yazılımdır. Bu neden user agent’lar için özel bir yazılımdır diyebiliriz. Birden fazla vakitte user agent’lar sunucu sisteminde istemci olarak hareket etmektedirler. Daha profesyonel çözümler için SEO ajansı ile irtibata geçebilirsiniz.