روبات موتورهای جستجو

روبات گوگل

روبات های گوگل و دیگر موتورهای جستجوی :

برنامه هایی هستند که با هوش مصنوعی و الگوریتم پیچیده ای که دارند.در تمام شبکه اینترنت و میان کلیه سایتها به جستجو پرداخته و طبق الگوی (الگوریتم) تعریف شده آنها اقدام به جمع آوری اطلاعات سایتهای اینترنتی برای کامل کردن بانک داده با دقت بالای موتور جستجو و پاسخگویی به جستجوی کاربرهای خود می نمایند.

robot.txt فایلی که با قراردادن کدهای دستوری داخل آن می توانید عملکرد و رفتار روباتهای موتورهای جستجو را کنترل و هدفمند نمائید.به صورتی که کدام قسمت از سایت را بررسی و ثبت (ایندکس) کنند و کدام قسمتهای سایت را صرف نظر کرده و ایندکس نکنند.با اینکار در بهتر ایندکس شدن مطالب و صفحات سایت در موتورهای جستجو کمک میکنید.و از ایندکس شدن صفحاتی که نباید ایندکس شود مثل صفحه لاگین ، صفحه ثبت نام و غیره.. جلوگیری میکنید. فایل فوق حتما باید در شاخه اصلی سایت یعنی همان public html قرار گیرد.