Pozycjonowanie i optymalizacja

Czasami istnieje problem z uzyskaniem dostępu do blogów w domenie „naszego przyjaciela”. Pod pojęciem „nasz przyjaciel” mam na myśli, domenę jednej z czołowych firm wyszukiwawczych.

– Host może być mocniejszy w blokowaniu bots spamu i mocnych robotów od ich serwerów, ogólnie jest to pożądane, jednakże czasami taka blokada googlebota następuje bez Twojej wiedzy. Jeśli Twój host zezwala na włączenie whitelisting Googlebot IP, możesz nadal blokować IP bez znania szczególów.

Żeby być pewnym, udostępniasz dostęp Googlebot’a do twojego adresu, następnie użyj tej metody w poczcie bloga, by zweryfikować, czy robot jest googlegotem.
Podobna kwestia występuje przy identyfikacji googlebotów w rozumieniu ogólnym. Webmasterzy występowali do Google o udostępnienie listy botów i przekazanie sposobu identyfikacji. W odpowiedzi można przeczytać ( na blogu Matta Cutts’a ), iż problemem jest jeżeli / kiedy zasięgi IP pająków zmieniają, nie każdy będzie wiedział jak to sprawdzić. Rzeczywiście, zespół pająków zmieniał IP Googlebot parę lat temu i to był prawdziwy kłopot alarmujący webmasterów, którzy mieli problem – kodowałeś zasięg IP.