انجمن کامپیوتر ایران

خزنده¬ها مهم‌ترین و اولین بخش موتورهای جستجو هستند که بهبود عملکرد آن¬ها تأثیر چشم¬گیری در بهبود نتایج نهایی دارد.محدودیت منابع نظیر زمان و حافظه، باعث می‌شود تا هر خزنده تنها 8 تا 12 درصد از حجم عظیم صفحات وب را در مخزن محلی خود نگه ¬دارد.همه¬ی خزنده¬ها فرآیند خزش را در عمق خاصی مثلاً عمق 5 متوقف می¬کنند. در این مقاله الگوریتمی پیشنهاد شده است تا صفحات بهتر، پیش از بقیه دانلود شوند. در نتیجه پس از توقف فرآیند خزش می¬توان مطمئن بود که بیشتر صفحات دانلود شده از بین بهترین صفحات قابل دسترس از URL شروع بوده‌اند. برای بررسی کارایی الگوریتم پیشنهادی، عملکرد آن با یکی از الگوریتم‌های جستجو مقایسه شده است.