Blocare boti care nu sunt necesari

Daca ai un site ar trebui sa vezi cine iti consuma resursele intr-un mod care nu e ok si care nu te ajuta. Sunt o gramada de boti care iti scaneaza site-ul, boti care nu te ajuta cu nimic. Cel putin pe mine nu ma ajuta. O sa va dau exemplu de cativa boti din astia pentru a intelege despre ce e vorba:

• SemrushBot – este probabil cle mai agresiv dintre boti. Este un bot care consuma extrem de multe resurse de server daca il lasi sa-si faca treaba. Este un bot care nu te ajuta cu nimic ci doar colecteaza informatii despre siteul tau fara sa iti aduca vreun beneficiu. Acest bot este dezvoltat de un site de SEO, site de SEO care nu are nici o legatura cu google sau altcineva
• AhrefsBot – la fel ca si botul de mai sus colecteaza date de pe serverul si din siteul tau fara sa ai vreun beneficiu de pe urma lui. Nu este atat de agresiv ca cel de mai sus dar este extrem de prezent.
• DotBot – un alt bot obscur care colecteaza date. este cumva legat de MOZ, iar cei care ati auzit de vechiul MOZ (indexul din care Google isi tragea date) trebuie sa stiti ca nu au legatura. Google nu isi mai trage date de mult din MOZ. MOZ a devenit o unealta de SEO si alta.
• facebookexternalhit – cred ca stiti al cui e. Intrebarea e de ce scaneaza siteurile de pe internet. Pentru a colecta date si sa isi faca strategii de reclama, banuiesc eu, Asa se nasc acele chaturi AI, pe baza datelor gratuite pe care acesti mari giganti tech le trag gratis din siteurile noastre.
• MJ12bot – un alt bot obscur care colecteaza date. Apartine unui site: majestic.om. Se pare ca au niste servicii platite concepute pe baza datelor pe care le colecteaza gratuit.

Cum poti sa opresti botii

O modalitate o reprezinta robots.txt, adica intorduci niste linii acolo si speri ca acesti boti sa nu te mai viziteze. Asta daca vor ca daca nu vor nu ii retine nimeni sa nu te viziteze si daca ai scris cateva linii in robots.txt.

Eu i-am blocat altfel si o sa va explic si voua cum. Am creat un fisier php (blocareboti.php), asta de mai jos, iar in .htaccess am introdus urmatoarea linie: php_value auto_prepend_file „/home/………/blocareboti.php” . Exact asa, completati punctele cu calea completa (calea linux) catre fisier. Fisierul blocareboti.php arata asa:

<?php
$useragent=$_SERVER['HTTP_USER_AGENT'];
if (strpos($useragent,"SemrushBot")>0 OR strpos($useragent,"semrush")>0) {
	die("Acces denied!");
}
if (strpos($useragent,"AhrefsBot")>0 OR strpos($useragent,"ahrefs")>0) {
	die("Acces denied!");
}
if (strpos($useragent,"DotBot")>0 OR strpos($useragent,"opensiteexplorer")>0) {
	die("Acces denied!");
}
if (strpos($useragent,"facebookexternalhit")>0 OR strpos($useragent,"externalhit_uatext")>0) {
	die("Acces denied!");
}
if (strpos($useragent,"MJ12bot")>0 OR strpos($useragent,"mj12bot")>0) {
	die("Acces denied!");
}

?>

Pur si simplu copiati codul de mai sus intr-un fisier pe care il numiti blocareboti.php. Daca vreti sa mai adaugati si alti boti copiati unul din if si schimbati numele botului.

Cum lucreaza? Cand ati adaugat linia in .htaccess orice incarcare a unei pagini din site-ul voastru va executa acest fisier. Codul din fiesier verifica daca cel care aceseaza pagina e unul din botii aia sau nu si daca e il blocheaza. In felul asta nu mai e la latitudinea botilor daca respecta sau nu restrictia din robots.txt.

Functioneaza si cu platformele de blogging, magazine virtuale sau orice alte tipuri de platforme.