موتور جستجو چگونه کار می کند؟

انواع موتورهای جستجو

موتورهای جستجو به دو دسته کلی تقسیم می‌شوند. موتورهای جستجوی پیمایشی و فهرست‌های تکمیل‌دستی. هر کدام از آن‌ها برای تکمیل فهرست خود از روش‌های متفاوتی استفاده می‌کنند البته لازم به ذكر است كه گونه ای جدید از موتورهای جستجوگر تحت عنوان "ابر جستجوگر" (Meta Search Engines) نیز وجود دارد كه در ادامه به توضیح هر یك از این موارد خواهیم پرداخت :

 موتورهای جستجوی پیمایشی

موتورهای جستجوی پیمایشی (Crawler-Based Search Engines) مانند گوگل فهرست خود را بصورت خودکار تشکیل می‌دهند. آنها وب را پیمایش کرده، اطلاعاتی را ذخیره می‌کنند، سپس کاربران از میان این اطلاعات ذخیره شده، آنچه را که می‌خواهند جستجو می‌کنند. اگر شما در صفحه وب خود تغییراتی را اعمال نمایید، موتورهای جستجوی پیمایشی آنها را به طور خودکار می‌یابند و سپس این تغییرات در فهرست‌ها اعمال خواهد شد. عنوان، متن و دیگر عناصر صفحه، همگی در این فهرست قرار خواهند گرفت.

 فهرست‌های تکمیل‌دستی

فهرست‌های تکمیل‌دستی یا (Human-Powered Directories) مانند فهرست بازی (Open Directory) مانند Dmoz وابسته به کاربرانی است که آن را تکمیل می‌کنند. شما صفحه مورد نظر را به همراه توضیحی كوتاه در فهرست ثبت می‌کنید یا این کار توسط ویراستارهایی که برای آن فهرست در نظر گرفته شده، انجام می‌شود. عمل جستجو در این حالت تنها بر روی توضیحات ثبت شده صورت می‌گیرد و در صورت تغییر روی صفحه وب، روی فهرست تغییری به وجود نخواهد آورد. چیزهایی که برای بهبود یک فهرست‌بندی در یک موتور جستجو مفید هستند، تأثیری بر بهبود فهرست‌بندی یک دایرکتوری ندارند. تنها استثناء این است که یک سایت خوب با پایگاه داده‌ای با محتوای خوب شانس بیشتری به نسبت یک سایت با پایگاه داده ضعیف دارد. البته در مورد جستجوگرهای مشهور از جمله گوگل و یاهو، یک مولفه دیگر هم برای بهبود فهرستبندی وجود دارد که کمک مالی است، یعنی وب‌گاههایی که مایل به بهبود مکان وب‌گاه خود در فهرستبندی هستند، می‌توانند با پرداخت پول به این جستجوگرها به هدف خویش برسند.

 موتورهای جستجوی ترکیبی با نتایج مختلط

به موتورهایی اطلاق می‌شود که هر دو حالت را در کنار هم نمایش می‌دهند. غالباً، یک موتور جستجوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دسته‌های فوق، نتایج حاصل از دسته دیگر را هم مورد توجه قرار می‌دهد. مثلاً موتور جستجوی ام.اس.ان (MSN) بیشتر نتایج حاصل از فهرست‌های تکمیل‌دستی را نشان می‌دهد اما در کنار آن نیم نگاهی هم به نتایج حاصل از جستجوی پیمایشی دارد.

 ابر جستجوگرها

این گونه جدید از موتورهای جستجوگر كه قدمت چندانی نیز ندارند از تركیب كردن نتایج حاصل از چندید موتورجستجوگر استفاده میكند.بدین معنی كه این موتور عبارت مورد نظر شما را در چندین موتورجستجوگر ‍ِ جستجو میكند و نتایج آنها را با هم تركیب كرده و یك نتیجه كلی به شما ارائه می‌دهد.به‌عنوان مثال موتورجستجوگر داگ پایل [1] از نتایج حاصل از موتورهای Google - Yahoo - MSN و ASK استفاده كرده و نتیجه حاصل را به شما می‌دهد.

 بررسی یک موتور جستجوی پیمایشی

موتورهای جستجوی پیمایشی شامل سه عنصر اصلی هستند. اولی در اصطلاح عنکبوت (Spider) است که پیمایش‌گر (Crawler) هم نامیده می‌شود. پیمایش‌گر همین که به یک صفحه می‌رسد، آن را می‌خواند و سپس پیوند‌های آن به صفحات دیگر را دنبال می‌نماید. این چیزی‌ست که برای یک سایت پیمایش‌شده (Crawled) اتفاق افتاده است. پیمایش‌گر با یک روال منظم، مثلاً یک یا دو بار در ماه به سایت مراجعه می‌کند تا تغییرات موجود در آن را بیابد. هر چیزی که پیمایش‌گر بیابد به عنصر دوم یک موتور جستجو یعنی فهرست انتقال پیدا می‌کند. فهرست اغلب به کاتالوگی بزرگ اطلاق می‌شود که شامل لیستی از آنچه است که پیمایش‌گر یافته است. مانند کتاب عظیمی که فهرستی را از آنچه پیمایش‌گرها از صفحات وب یافته‌اند، شامل شده است. هرگاه سایتی دچار تغییر شود، این فهرست نیز به روز خواهد شد. از زمانی که تغییری در صفحه‌ای از سایت ایجاد شده تا هنگامی که آن تغییر در فهرست موتور جستجو ثبت شود مدت زمانی طول خواهد کشید. پس ممکن است که یک سایت پیمایش‌شده باشد اما فهرست‌شده نباشد. تا زمانی که این فهرست‌بندی برای آن تغییر ثبت نشده باشد، نمی‌توان انتظار داشت که در نتایج جستجو آن تغییر را ببینیم. نرم‌افزار موتور جستجو، سومین عنصر یک موتور جستجو است و به برنامه‌ای اطلاق می‌شود که به صورت هوشمندانه‌ای داده‌های موجود در فهرست را دسته‌بندی کرده و آنها را بر اساس اهمیت طبقه‌بندی می‌کند تا نتیجه جستجو با کلمه‌های درخواست شده هر چه بیشتر منطبق و مربوط باشد.

 رتبه‌بندی صفحات وب توسط موتورهای جستجو

وقتی شما از موتورهای جستجوی پیمایشی چیزی را برای جستجو درخواست می‌نمایید، تقریباً بلافاصله این جستجو از میان میلیون‌ها صفحه صورت گرفته و مرتب می‌شود بطوریکه مربوط‌ترین آنها نسبت به موضوع مورد درخواست شما رتبه بالاتری را احراز نماید. البته باید در نظر داشته باشید که موتورهای جستجو همواره نتایج درستی را به شما ارائه نخواهند داد و مسلماً صفحات نامربوطی را هم در نتیجه جستجو دریافت می‌کنید و گاهی اوقات مجبور هستید که جستجوی دقیقتری را برای آنچه می‌خواهید انجام دهید اما موتورهای جستجو کار حیرت‌انگیز دیگری نیز انجام می‌دهند. فرض کنید که شما به یک کتابدار مراجعه می‌کنید و از وی درباره «سفر» کتابی می‌خواهید. او برای این که جواب درستی به شما بدهد و کتاب مفیدی را به شما ارائه نماید با پرسیدن سؤالاتی از شما و با استفاده از تجارب خود کتاب مورد نظرتان را به شما تحویل خواهد داد. موتورهای جستجو همچنین توانایی ندارند اما به نوعی آنها را شبیه‌سازی می‌کنند. پس موتورهای جستجوی پیمایشی چگونه به پاسخ مورد نظرتان از میان میلیونها صفحه وب می‌رسند؟ آنها یک مجموعه از قوانین را دارند که الگوریتم نامیده می‌شود. الگوریتم‌های مورد نظر برای هر موتور جستجویی خاص و تقریباً سری هستند اما به هر حال از قوانین زیر پیروی می‌کنند:

 مکان و بسامد

یکی از قوانین اصلی در الگوریتم‌های رتبه‌بندی موقعیت و بسامد (تعداد تکرار) واژه‌هایی است که در صفحه مورد استفاده قرار گرفته‌اند که بطور خلاصه روش مکان-بسامد (Location/Frequency Methode) نامیده می‌شود. کتابدار مذکور را به خاطر می‌آورِد؟ لازم است که او کتاب‌های در رابطه با واژه «سفر» را طبق درخواست شما بیابد. او در وحله اول احساس می‌کند که شما به دنبال کتاب‌هایی هستید که در نامشان کلمه «سفر» را شامل شوند. موتورهای جستجو هم دقیقاً همان کار را انجام می‌دهند. آنها هم صفحاتی را برایتان فهرست می‌کنند که در برچسب عنوان (Title) موجود در کد زبان نشانه‌گذاری اَبَرمتنی (زنگام) (HTML) حاوی واژه «سفر» باشند. موتورهای جستجو همچنین به دنبال واژه مورد نظر در بالای صفحات و یا در آغاز بندها (پاراگراف‌ها) هستند. آنها فرض می‌کنند که صفحاتی که حاوی آن واژه در بالای خود و یا در آغاز بندها و عناوین باشند به نتیجه مورد نظر شما مربوط‌تر هستند. بسامد عامل بزرگ و مهم دیگری است که موتورهای جستجو از طریق آن صفحات مربوط را شناسایی می‌نمایند. موتورهای جستجو صفحات را تجزیه کرده و با توجه به تکرار واژه‌ای در صفحه متوجه می‌شوند که آن واژه نسبت به دیگر واژه‌ها اهمیت بیش‌تری در آن صفحه دارد و آن صفحه را در درجه بالاتری نسبت به صفحات دیگر قرار می‌دهند.

چگونگی کارکرد دقیق موتورهای جستجو درباره روش‌هایی از قبیل مکان-تکرار فاش نمی‌شود و هر موتور جستجویی روش خاص خود را دنبال می‌کند. به همین دلیل است که وقتی شما واژه‌های همانندی را در موتورهای متفاوت جستجو می‌کنید، به نتایج متفاوتی می‌رسید.الگوریتم های اولیه موتورهای جستجوی معتبر و بزرگ همچنان محرمانه نگهداری می شوند. برخی موتورهای جستجو نسبت به برخی دیگر صفحات بیشتری را فهرست کرده‌اند. نتیجه این خواهد شد که هیچ موتور جستجویی نتیجه جستجوی مشترکی با موتور دیگر نخواهد داشت و شما نتایج متفاوتی را از آنها دریافت می‌کنید. موتورهای جستجو همچنین ممکن است که برخی از صفحات را از فهرست خود حذف کنند البته به شرطی که آن صفحات با هرزنامه (Spam) شدن سعی در گول زدن موتورهای جستجو داشته باشند. فرستادن هرزنامه (Spamming) روشی است که برخی از صفحات برای احراز رتبه بالاتر در موتورهای جستجو در پیش می‌گیرند و آن به این صورت است که با تکرار بیش از حد واژه‌ها و یل بزرگ نوشتن یا بسیار ریز نوشتن متنها بطور عمدی كوشش در بر هم زدن تعادل و در نتیجه فریب موتورهای جستجو دارند. آنها سعی دارند که با افزایش عامل تکرار، در رتبه بالاتری قرار بگیرند. البته آنگونه که گفته شد تعداد تکرار ها اگر از حد و اندازه خاصی فراتر رود نتیجه معکوس می‌دهد.موتورهای جستجو راه‌های متنوعی برای جلوگیری از فرستادن هرزنامه دارند و در این راه از گزارش‌های کاربران خود نیز بهره می‌برند. امروزه بهینه سازی سایت های اینترنت برای موتورهای جستجو یکی از مهم‌ترین روشهای جلب بازدید کننده به سایت است.

نتيجه گيري : هر كدام ازموترهاي جستجو خاصيت خاص خود را دارند كه در صورتي كه بخواهيم سريعتر جستجو كنيم وبه سايتهاي بيشتري دسترسي پيدا كنيم بهتر است ازابرجستجوگرها استفده كنيم اما اگر بخواهيم در مورد موضوع خاصي اطلاعات دقيقتري بدست آوريم بهتر است ازموتورهاي جستجوي تخصصي استفاده كنيم يا سايت دايركتوريها را دنبال كنيم تا در مورد موضوع مورد نظر به نتيجه برسيم.

اين مقاله كامل نميباشد بدليل اينكه بسرعت تهيه شده ولي در مقاله كامل بطور دقيق جستجوگرها را مورد مطالعه قرار ميدهيم وبا كليه مباحث جستجو و موتورهاي جستجو آشنا ميشويم.

موفق باشيد.