• سرو آنلاین
  • معرفی خدمات
  • پروژه های وب توسط سرو آنلاین
  • قیمت و تعرفه‌ها
  • وبلاگ سرو آنلاین
  • درباره ما
  • تماس با ما
© All rights reserved.
سرو آنلاین سرو آنلاین
  • معرفی خدمات
  • نمونه کارها/معرفی پروژه‌ها
  • قیمت و تعرفه‌ها
  • وبلاگ سرو آنلاین
  • درباره ما
  • تماس
سرو آنلاین
آموزش بازاریابی محتوا بازاریابی محتوا پشتیبانی محتوا

کرال باجت نرخ خزش چیست؟ نکات بهینه سازی بودجه خزش

پشتیبانی محتوا سرو آنلاین روشن 14 اسفند 1399
توسط پشتیبانی محتوا سرو آنلاین درآموزش بازاریابی محتوا, بازاریابی محتوا, پشتیبانی محتوا

کرال باجت چیست؟

بودجه خزش ( Crawl Budget) به معنای ساده سطح توجه موتور جستجو گوگل به سایت را نشان می دهد. به عبرتی دیگر منظور از Crawl Budget میزان دفعات یا زمانی است که پایشگرها و ربات های گوگل در وب سایت شما سپری می کنند. بر این اساس تعیین می شود که ربات های گوگل در چه مدت زمانی دوباره وب سایت شما را مرور کنند. و آپدیت های آن را ایندکس نماید. اگر سایتی فعالیت بالایی داشته باشد و در روز چندین بار آپدیت شود، بودجه بیشتری دریافت می‌نماید.

کرال باجت
کرال باجت

اگر سایتی فعالیتش کم باشد، مثلا در ماهی یکبار اپدیت شود کراولر دیرتر آن سایت را جستجو می‌نماید. به طور خلاصه اگر صفحه‌ای در فهرست ایندکس گوگل قرار نگیرد، هیچ رتبه‌ای به آن اختصاص داده نمی‌شود؛ بنابراین، اگر تعداد صفحات شما از تعداد بودجه خزش سایت فراتر رفت، بدون شک صفحاتی در سایت خود دارید که در فهرست ایندکس گوگل قرار ندارند.

 

بهینه سازی Crawl Budget

چالش های معمولی وجود دارند که بر روی بسیاری از وب سایت ها تاثیر منفی گذاشته اند. در ادامه به بررسی نکاتی در بهینه سازی Crawl Budget می‌پردازیم:

 

پایش مهمترین صفحات سایت در فایل robots.txt در کرال باجت

مهمترین گام در بهینه سازی Crawl Budget، پایش مهمترین صفحات سایت در فایل robots.txt است. فایل Robots.txt یک فایل متنی است که وبمسترها با ایجاد آن می توانند ربات های موتورهای جستجو را در هنگام پایش وب سایت راهنمایی نمایند. فایل robots.txt جزیی از پروتکلی با نام REP است که به استانداردسازی نحوه پایش وب توسط ربات‌ها و چگونگی دسترسی و ایندکس محتوا و ارائه آن به کاربران می پردازد. پروتکل REP همچنین شامل نحوه برخورد با متا تگ Robots و دستوراتی دیگری مانند فالو کردن لینک ها نیز است.

فایل robots.txt در کرال باجت
فایل robots.txt در کرال باجت

مدیریت این فایل می تواند توسط یک ابزار بررسی سئو سایت و یا به صورت دستی انجام گیرد. معمولا با استفاده از ابزارها پاسخ بهتری دریافت می نمایید. همچنین شما می‌توانید با استفاده از فایل robots.txt را تست و در عرض چند لحظه گزارشی از امکان دسترسی یا عدم دسترسی بخش های مختلف سایت دست پیدا کنید. سپس فایل تصحیح شده robots.txt را دریافت و به جای فایل اولیه در وب سایت آپلود کنید. در عمل فایل های robots.txt به user agent ها (مانند ربات های موتورهای جستجو) اشاره می کنند که کدام صفحات را پایش و به کدام مسیرها کاری نداشته باشند. این راهنمایی ها در قالب دستوراتی مانند Allow و Disallow به آنها داده می شود.

 

رفع خطاهای HTTP

صفحات 404 و 410 موجب هدر رفتن بودجه خزش می شوند. این خطاها در بدترین حالت بر روی تجربه کاربری نیز تاثیر منفی خواهند داشت. نرم افزارهای پرمیوم خوبی برای یافتن صفحات خطاها وجو دارند و در این شرایط نیز پیشنهاد می کنیم که از یکی از این ابزار بهره بگیرید استفاده از گوگل سرچ کنسول نیز می تواند کمک زیادی به یافتن این خطاها باشد. لینک های خطای 404 و ریدایرکت‌های طولانی باعث می شوند که ربات های جستجو کرول خود را قطع نمایند.

رفع خطاهای HTTP
رفع خطاهای HTTP

گوگل مانند مرورگرها حداکثر تا 5 تغییر مسیر را در یک خزیدن دنبال می نماید که البته ممکن است دوباره خزیدن را انجام دهند. بنابراین به شما توصیه می‌کنیم که از تغییر مسیرهای زنجیره ای به طور کامل خودداری نمایید و استفاده از ریدارکت ها را خیلی کمتر کنید.

 

ریدایرکت های زنجیری

ریدایرکت های زنجیری از مسائلی است که بر روی سلامت سایت تاثیر گذار است. ریدایرکت های تعریف شده در وب سایت نباید حالت زنجیره ای از ریدایرکت ها به خود بگیرند. این گونه ریدایرکت های زنجیری در وب سایت های بزرگ بدون استفاده از ابزار عملا یک مسئله شناسایی نمی‌شوند. زنجیره بزرگ از ریدایرکت ها ممکن است که ربات های گوگل دست از دنبال کردن سایت بردارند و صفحه نهایی ایندکس نشود. یک یا دو ریدایرکت آسیبی به سایت نمی زند، اما اگر از این مسٔله آگاهی داشته باشید می‌توانید از اتفاق های بدتر جلوگیری نمایید.

ریدایرکت های زنجیری
ریدایرکت های زنجیری

گاهی وقت ها زمانی که یک ریدایرکت 301 ایجاد می کنیم، پس از مدتی به هر دلیلی آن لینک جدید را هم دوباره به یک صفحه دیگر ریدایرکت می کنیم. یعنی از صفحه 1 به 2 و از صفحه 2 به 3 ریدایرکت می شود. این یک مشکل است و به آن زنجیره ریدایرکت می گویند. حتی ممکن است بدتر شود مثلا از صفحه 1 به 2 و از صفحه 2 به 1 دیدایرکت کنید، در این صورت یک حلقه ریدایرکت به وجود می آید که اصلا برای سایت بد باشد.

 

استفاده از HTML تا حد امکان در کرال باجت

گوگل در سال های اخیر قدرت بیشتری در پردازش جاوا اسکریپت و همینطور ایندکس فلش و XML کسب کرده است. اما هنوز بسیاری از موتورهای جستجو از این قدرت بی بهره اند. بنابراین بهتر است که تا حد امکان از HTML برای ارائه محتوا استفاده کنید. این گونه هیچ پایشگری در کرال سایت با مشکل رو به رو نمی‌شود. برای آنالیز صفحات، خزنده‌ها از تگ‌های Hreflang استفاده می‌نمایند و باید به گوگل درباب نسخه‌های متمرکز صفحات‌تان در حد ممکن اطلاع دهید.

 

پارامترهای URL ها در کرال باجت

همیشه دقت داشته باشید که یو آر ال های مجزا از دید پایشگرها به عنوان صفحات مجزا دیده شده و وجود یو آر ال های غیر مفید فراوان موجب عدم استفاده صحیح از Crawl Budget می شود.

پارامترهای URL ها در بودجه خزش
پارامترهای URL ها در بودجه خزش

آگاه سازی گوگل از پارامترهای URL یک نتیجه برد برد است و موجب بهینه سازی Crawl Budget می‌شود و همچنین نگرانی از وجود مشکل محتوای تکراری را از بین می برد. بنابراین دقت نمایید که تنظیمات URL Parammeters در گوگل سرچ کنسول را به یاد اشته باشید. URL های باپارامتر نباید برای موتورهای جستجو قابل دسترس باشند چون می توانند تعداد نامحدودی URL ایجاد کنند. این آدرس ها معمولاً هنگام استفاده از فیلتر های محصول در فروشگاه اینترنتی استفاده می‌شوند. برای انجام این کار باید از سرچ کنسول گوگل و یا ابزار وب مستر بینگ استفاده نمایید، تگ Nofollow به لینک های فیلتر اضافه نمایید یا در Robots.txt دستور عدم دسترسی به این آدرس را بدهید.

 

بک لینک

گرفتن بک لینک های بیشتر به Crawl Budget بیشتر سایت شما منتهی می‌شوند. بک لینک داشتن علاوه بر افزایش اعتبار سایت و شناخته شدن بیشتر در محیط وب، به بهینه سازی بودجه خزش نیز کمک می‌نماید و باعث می شود کراولر گوگل بیشتر به سایت شما سر بزند.

48 مطالب
پشتیبانی محتوا سرو آنلاین
  • کلمات کلیدی چیست؟ اشتباهات رایج در پیدا کردن عبارت کلیدی
    قبلی نوشتهکلمات کلیدی چیست؟ اشتباهات رایج در پیدا کردن عبارت کلیدی
  • بعدی نوشتهسئوی کلاه خاکستری چیست؟ تکنیک های استفاده از سئو کلاه خاکستری
    کلمات کلیدی چیست؟ اشتباهات رایج در پیدا کردن عبارت کلیدی

Related Posts

نوشتن رپورتاژ آگهی؛ چگونه یک رپورتاژ آگهی بنویسیم بهتر است؟
آکادمی رایگان بازاریابی دیجیتال آموزش رپورتاژ آگهی بازاریابی محتوا پشتیبانی محتوا تامین محتوا

نوشتن رپورتاژ آگهی؛ چگونه یک رپورتاژ آگهی بنویسیم بهتر است؟

محتوای ویروسی چیست؟ ویژگی های یک محتوای وایرال شده
بازاریابی محتوا پشتیبانی محتوا تامین محتوا

محتوای ویروسی چیست؟ ویژگی های یک محتوای وایرال شده

توضیحات متا چیست؟ نکات مهم در نوشتن متا دیسکریپشن
آموزش بازاریابی محتوا آموزش سئو بازاریابی محتوا پشتیبانی محتوا تامین محتوا

توضیحات متا چیست؟ نکات مهم در نوشتن متا دیسکریپشن

سئوی کلاه خاکستری چیست؟ تکنیک های استفاده از سئو کلاه خاکستری
بازاریابی محتوا

سئوی کلاه خاکستری چیست؟ تکنیک های استفاده از سئو کلاه خاکستری

دیدگاهتان را بنویسید (لغو پاسخ)

آدرس ایمیل شما منتشر نخواهد شد. فیلدهای مورد نیاز علامت گذاری شده اند *

*
*

محصولات ما

  • نمونه کارها/معرفی پروژه‌ها
  • معرفی خدمات

لینک های ضروری

  • وبلاگ سرو آنلاین
  • حریم خصوصی

اطلاعات

  • تماس با ما
  • درباره ما

عضویت در خبرنامه سایت

    sarv logo

    تمامی حقوق محفوظ است. بازاریابی محتوا و پشتیبانی سایت : سرو آنلاین | طراحی وب سایت : سرو سایت

    سوالات متداول
    فرم پشتیبانی
    آموزش های ویدئویی

    پنل جستجو می تواند شامل ابزارک و کد کوتاه باشد.

    تماس با ما :22923900-021
      Copy