info@papgroup.ir
(021)49 296

دستور العمل ربات های متا Robots Meta Directives

دستور العمل متا رباتها (در برخی موارد به تگ متا معرفی می شود ) قطعه کدی است که دستورالعمل های خزنده برای چگونگی خزیدن و یا فهرست محتوای صفحه وب از آن استفاده میکند .

در حالی که از دستورالعمل های فایل robots.txt به منظور پیشنهادات رباتها برای چگونگی خزیدن صفحات وب سایت استفاده میشود . و دستورالعمل های متشکل از ربات ها دستورالعمل های بیشتری را در مورد نحوه خزیدن و فهرست محتوای یک صفحه ارائه می دهند.

دو نوع تگ متا ربات وجود دارد :

دسته اول آنهایی که بخشی از صفحه HTML هستند (مثل متا رباتیک).

دسته دوم آنهایی که وب سرور به عنوان هدر HTTP ارسال می کند مانند ربات x-robot))

وظیفه متا ربات

متا ربات دستورالعمل ها را به خزنده ها در مورد چگونگی خزیدن و فهرست بندی اطلاعاتی که در یک صفحه وب خاص پیدا میکند می دهد . اگر این دستورالعمل ها توسط ربات ها کشف شوند، پارامترهای آنها به عنوان پیشنهادات قوی برای رفتار نمایه سازی خزنده ها عمل می کنند .

اما مانند فایلهای robots.txt، خزنده ها مجبور نیستند دستورات متا را دنبال کنند . بنابراین مهمترین شرط این است که برخی از روبات های وب مخرب، دستورات شما را نادیده می گیرند.

در ادامه به بررسی پارامترهایی می پردازیم که در دستورالعمل های روبات استفاده می شوند و خزنده های موتور جستجو از آنها پیروی می کنند.

فهرست دستورالعمل های ربات

Noindex: به یک موتور جستجو می گوید که یک صفحه را فهرست نکند.

Index: به عنوان پیشفرض برای نشان دادن یک صفحه به موتور جستجو می گوید که این صفحه ایندکس شود .

Follow: حتی اگر صفحه ایندکس نشود، خزنده باید تمام لینک های یک صفحه را دنبال کند.

Nofollow: به خزنده می گوید که لینک ها را در یک صفحه دنبال نکنید و یا در کنار هر یک از لینک های پیوند قرار گیرید.

Noimageindex : به یک خزنده می گوید که هیچ یک از تصاویر را بر روی صفحه، نمایش ندهد.

None: معادل استفاده همزمان از تگ های noindex و nofollow است.

Noarchive: موتورهای جستجو باید یک پیوند cached را به این صفحه در SERP نشان ندهند.

Nocache: همانطور که از ابتدای راه است، اما فقط توسط اینترنت اکسپلورر و فایرفاکس استفاده می شود.

Nosnippet: به یک موتور جستجو می گوید که قطعه این صفحه (یعنی شرح متا) این صفحه در SERP نمایش داده نشود.

Noodyp / noydir [OBSOLETE] : موتورهای جستجو را از استفاده از توضیحات DMOZ صفحه به عنوان قطعه SERP برای این صفحه جلوگیری می کند. با این حال، DMOZ در اوایل سال 2017 بازنشسته شد و این برچسب منسوخ شد.

Unavailable_after : موتورهای جستجو دیگر نباید این صفحه را پس از یک تاریخ خاص فهرست کنند.

انواع دستورالعمل های متا رباتها

دو نوع اصلی از دستورات متشکل از رباتها وجود دارد: تگ متا رباتها و تگx-robots.. هر پارامتری که می تواند در یک تگ متا ربات نیز مورد استفاده قرار گیرد می تواند در x-robots-tagنیز مشخص شود.

ما در مورد هر دو روبات متا و دستورالعمل های برچسب ربات ها در زیر صحبت خواهیم کرد.

متا تگ رباتها Meta Robots Tag

برچسب ربات های متا، که معمولا به عنوان "ربات های متا" شناخته می شود و یا به عنوان یک تگ ربات به صورت محاوره ای استفاده می شود . بخشی از کد HTML صفحه وب است و به عنوان عناصر کد در قسمت head> > یک صفحه وب ظاهر می شود:

متا تگ ربات



اگر قصد استفاده از یک دستورالعمل در یک صفحه را دارید، باید توجه داشته باشید که می توانید از چند دستورالعمل می توانید در یک دستور متا استفاده کنید فقط باید در بین آنها از کاما استفاده کنید . 

تگ x-robots-tag

استفاده از این تگ در روبات های متا برای اجرای تمام دستورالعمل های مستند سازی استفاده می شود . دستورالعمل های x-robots-tag به طور قابل توجهی روبات های x اجازه استفاده از عبارات منظم، اجرای دستورات خزیدن در فایل های غیر HTML و استفاده از پارامترها در سطح جهانی را می دهد .

در زمان استفاده از x-robots-tag شما باید به هدرهای وب سایت خود دسترسی کامل را داشته باشید .

در اینجا چند دلیل وجود دارد که به شما می گوید که چرا از تگ  x-robots  را استفاده کنید

  1. کنترل نمایه سازی محتوا که در HTML نوشته نشده است (مانند فلش یا ویدیو)
  2. مسدود کردن نمایه سازی یک عنصر خاص از یک صفحه (مانند یک تصویر یا ویدیو)، اما نه از کل صفحه خود

  1. اضافه کردن قوانین به صفحات  (به عنوان مثال اگر یک کاربر بیش از 20 بار نظر داده است، صفحه نمایه خود را فهرست نماید)
  2. دسترسی کامل به HTML و تگ صفحه به طور کامل
  3. ربات ها