Blokada spam robotów
Prawie każdy właściciel serwisu internetowego, zaindeksowanego w wyszukiwarkach, przeglądając logi z pewnością niejednokrotnie znalazł bardzo egzotyczne lokalizacje odwiedzających stronę użytkowników, pożerających przy tym bardzo dużo transferu. Systematyczność takich wizyt i ich charakterystyczny przebieg może świadczyć iż adres naszego serwisu jest na liście spam robotów.
Spam roboty (często nazywane spambotami) w dzisiejszych czasach są prawdziwą plagą. Są to programy służące przede wszystkim do:
- automatycznej rejestracji na blogach lub forach w celu prawdopodobnie publikacji masowej ilości linków do stron autora,
- wyłapywania adresów mailowych,
- masowego naklikiwania reklam Google Adsense,
- czasem są to skanery szukające określonego oskryptowania i określonej w nim luki.
Dla pozycjonera wizyty spam robotów często kończą się zwieszeniem serwera. Wiadomym jest, iż na każdym serwerze, który mamy stawiamy dość sporych rozmiarów zaplecza pozycjonerskie (wiele domen, wiele serwisów, wiele podstron). Ewentualne większe obciążenie generowane przez tego typu boty na tysiącach podstron, w moim przypadku powodowało najczęściej przeciążenie serwera SQL.
Z tego względu zainteresowałem się masową blokadą wejść spam robotów. Na analizę statystyk serwera i poszukiwanie nowych spamiarek staram się poświęcać godzinę w każdym tygodniu pracy. Zebrałem już pokaźną listę adresów IP do zablokowania i zamierzam się nią z Wami podzielić. Pracę w kolekcjonowaniu całej listy adresów IP ułatwił mi użytkownik EDDY z forum.optymalizacja.com, który opublikował własną listę adresów IP. Moja, aktualna lista adresów IP, które zalecałbym zablokować znajduje się tutaj: lista IP spamrobotów.
W jaki sposób blokujemy dany adres IP? Za pomocą bliku .htaccess, który umieszczamy w katalogu głównym domeny. Umieszczamy w nim następujący kod, ujmując IP spam robota:
<Files *>
Order Allow,Deny
Allow from all
deny from 209.139.208.194
</Files>
Jeżeli dysponujecie własną listą adresów IP spamiarek prosiłbym o nadsyłanie ich na adres: blog[please-do-not-spam]serp.pl. Będę aktualizował swoją listę na bieżąco.
moje pytanie.. czy dla kazdego IP z listy musimy ustawiac warunek “deny from”?
zrobi sie z tego pokazna lista w pliku .htaccess
W kontekście pliku .htaccess – tak, listowanie blokowanych IP odbywa się tylko w ten sposób.
[...] Jeśli mamy jakieś strony w naszej witrynie, których nie chcemy indeksować możemy je wykluczyć za pomocą pliku robots.txt. Również dla bezpieczeństwa naszej strony, nie wszystkim robotom/pająkom musimy dawać dostęp do strony. Access blokujemy za pomocą pliku .htaccess znajdującego się na naszym serwerze. Dla zainteresowanych tematyką polecam artykuł “Blokada spam robotów“. [...]