اینترنت این روزها به یکی از ابزار موفق تبدیل شده است و به سرعت جایگاه خاصی در زندگی امروزی پیدا کرده است. اینترنت در واقع منبع بزرگی از اطلاعات است که هر روزه حجم اطلاعات آن نیز افزایش میابد. هم اکنون میلیاردها صفحه وب در اینترنت وجود دارد که بر روی سرورهای مختلفی در نقاط مختلف جهان وجود دارند و مدام نیز در حال بروزرسانی است. حال یک مشکل وجود دارد و آن سر در گم شدن کاربران در این میزان اطلاعات فزاینده است که روز به روز نیز به حجم آن افزوده میشود.

اگر وب سایتی بتواند اطلاعات مورد نظر کاربران را به آنها معرفی نماید بسیار سودمند خواهد بود و امروز همه با این وب سایت دسترسی داریم و آن سایت چیزی نیست به جز وب سایت گوگل. گوگل در واقع یک موتور جستجوگر است که با استفاده از دریافت چند کلمه کلیدی ، فهرستی از سایت های مرتبط را به کاربر نمایش میدهد.

طبق آمار منتشر شده پس از مراجعه به وب سایت های ایمیل ، بیشترین مراجعه کاربران به وب سایت های موتور جستجوگر است و با گذشت زمان نیز روز به روز نیاز به بایگانی کردن اطلاعات و طبقه بندی آنها بیشتر احساس میشود. روش جستجو در موتورهای جستجوگر بسیار پیچیده است و وب سایت مورد استفاده باید از میان میلیون ها و یا شاید میلیاردها صفحه وب مرتبط با موضوع جستجو درخواستی بتواند صفحاتی را انتخاب نماید که بیشتر با مورد جستجو مرتبط باشد.

یکی از مواردی که همواره مورد توجه کاربران است ، دقت موتور جستجو درباره معرفی صفحات صحیح با بیشترین میزان ارتباط با مورد جستجو شده است. یکی از نکات جالب در دنیای موتورهای جستجو این است که نتیجه نمایش داده شده در موتورهای جستجوگر با یکدیگر متفاوت هستند و این مسئله نشان میدهد که موتورهای جستجوگر از الگوریتم و پایگاه داده های متفاوتی برای معرفی سایت های مرتبط استفاده میکنند.

الگوریتم موتورهای جستجوگر چیست؟
الگوریتم در واقع مجموعه ای از دستورالعمل های گوناگون است که ترتیب قرارگیری سایت ها را در موتورهای جستجوگر تعیین میکند. برای این که مشخص شود که کدام سایت ها باید در لیست نمایش نتایج جستجو در ابتدا نمایش داده شوند ، موتور جستجو بر اساس پارامترها عمل میکنند. پس در واقع دو مورد الگوریتم و پارامترها در نوع نمایش نتایج جستجو موثر هستند و اما معماری هر دو کاملا محرمانه است.

نوع جمع آوری اطلاعات در اینترنت به دو گروه اصلی تقسیم میشود:
• موتورهای جستجوگر یا Search Engine
• فهرست های وب یا Web Directory

هر دو مورد بالا اطلاعات را در اختیار کاربران قرار میدهند اما تفاوت اصلی آنها در روش جمع آوری اطلاعات است. در موتورهای جستجوگر اطلاعات توسط نرم افزار جمع آوری و طبقه بندی میشوند اما در فهرست های وب یا Web Directory توسط عوامل انسانی انجام میشود اما با توجه به رشد بسیار سریع اینترنت عملا وب دایرکتوری ها کاربران چندانی ندارند.

روش کار موتورهای جستجوگر
در موتورهای جستجوگر کار جمع آوری و طبقه بندی اطلاعات بر عهده نرم افزار است. این نرم افزارها اسپایدر Spider و یا روبوت Robot نامیده میشوند. اسپایدرها همیشه مشغول کار هستند و اطلاعات را از گوشه و کنار جمع آوری میکنند حال تفاوتی ندارد که این اطلاعات صفحات وب جدید باشند و یا اطلاعاتی باشند که قبلا وجود داشتند اما حالا بروزرسانی شده اند.

هدف تمامی موتورهای جستجوگر وب در واقع واحد است. همه آنها سعی در جمع آوری اطلاعات مورد نیاز برای کاربران خود را با بالاترین میزان دقت دارند. این مسئله که یک وب سایت جستجوگر چگونه اطلاعات را بهتر طبقه بندی کند بستگی مستقیم به نوع موتور جستوی سایت و الگوریتم آن دارد.