Crawlers και μηχανές αναζήτησης

Αυτό το έγραψα στις 07/03/2010 (20:34:57)

Είχαμε δει και πιο παλιά για τους crawlers, τα είδη των web robots αλλά και τρόπους διαχείρισης των web spiders. Εκτός τα γνωστά bots αλλά και το OOZBOT (στο οποίο είχα αναφερθεί παλιότερα), έκανα μια μικρή λίστα με μερικούς ακόμη crawlers που βλέπω συχνά.

Μπορείς να δεις και μια μεγάλη List of all Crawlers!