[TIPS] 'Prevent Spider Session' ad 'ON'

[marcus]

Due parole per un problema di cui si è parlato in un vecchio topic e che affligge i nostri shop.

Molti di voi avranno notato nei files di log lunghissime sfilze di righe tutte provenienti da uno stesso IP.

In un caso che mi è capitato di recente, risultano ad esempio moltissime richieste da 207.46.98.140.
Si tratta, in questo caso, del MsnBot di Microsoft che ho osservato navigare fra le pagine del sito con molte sessioni concorrenti e per periodi medi giornalieri di 18/20 ore.

Questo comportamento anomalo, che può verificarsi anche con altri spiders, genera traffico inutile e sovraccarica il server, con possibile decadimento delle prestazioni per i visitatori 'umani'.

E' dovuto alla presenza del session ID aggiunto nell'URL da osCommerce.

Il meccanismo in dettaglio è il seguente.
Alcuni spiders, fra cui il msnbot, navigano il sito i modo random con delle pause per non sovraccaricare il server, proprio questo ritardo però fa si che nelle successive richieste il SessionID possa cambiare. Il robots entra così in un ciclo senza fine trovando sempre URL differenti.

La presenza del SessisonID nelle URL può inoltre causare problemi ad alcuni spiders nell'indicizzare il sito, inconveniente forse ancora più grave.


Le soluzione ce la fornisce Oscommerce stesso che ha già nativamente un sistema per eliminare il SessionID per le richieste provenienti dagli spiders.
Il sistema è attivabile da admin settando il flag 'Prevent Spider Session', in configuration/sessions.
L'elenco degli spiders che vengono 'filtrati' si trova nel file includes/spiders.txt.

E' opportuno sottolineare che tale funzionalità NON blocca gli spiders, così come farebbe un firewall o il Robot Exclusion Protocol ( meccanismo di esclusione degli spiders da alcune sezioni del sito - non funziona per tutti gli spiders), o contributions ad hoc; semplicemente elimina gli inconvenienti di cui sopra, consentendo una migliore indicizzazione ed evitando sprechi di risorse.

Abbiamo quindi due buone ragioni per tenere questo flag ad 'ON'.

Marcus

------------------------------------------------------
http://www.oscommercedev.com