خطاهای کراول یا crawl errors چیست؟
خطاهای کرال یا crawl errors زمانی اتفاق می‌افتند که یک موتور جستجو به دنبال صفحه‌ای از سایت می‌گردد اما موفق به یافتن آن نمی‌شود. قبل از هر چیز عمل کراولینگ را برای شما شرح خواهیم داد. کراول فرایندی است که در آن موتور جستجو از طریق یک ربات تمام صفحات سایت را از نظر می‌گذراند. موتور جستجو یک لینک به وب‌سایت شما پیدا می‌کند و به یافتن تمامی صفحات آن می‌پردازد. این ربات در بین صفحات و فهرست تمام محتواها میخزد تا از آن در گوگل استفاده کند، همچنین تمام لینک‌های این صفحات را به لیست صفحاتی اضافه می‌کند که هنوز باید کراول شوند. هدف اصلی دارنده یک وب‌سایت این است که اطمینان پیدا کند ربات موتور جستجو می‌تواند به تمام صفحات وب‌سایت دسترسی پیدا کند. عدم موفقیت موتور جستجو در این فرایند همان چیزی است که ما آن را خطاهای کراول می‌گوییم.
نحوه دسترسی گوگل به صفحات داخلی سایت
همانطور که تا اینجا متوجه شدیم اگر گوگل در دسترسی و یا به اصطلاح خزیدن در صفحت داخلی شما با مشکلی روبرو شود اروری را در بخش Crawl Errors وبمستر گوگل نشان می‌دهد. گوگل از دو روش به صفحات داخلی سایت ما میخزد تا بتوانیم اگر مشکلی در این زمینه وجو داشته باشد آن را برطرف کنیم. اولین روش آدرس دهی‌های موجود در نقشه سایت و روش دوم آدرس دهی از صفحات داخلی یا سایت های بیرونی به صفحه مورد نظر می‌باشد.
اگر گوگل با هر کدام از روش‌های بالا نتواند به صفحات سایت شما دسترسی پیدا کند درحالی که آدرس آن صفحات در نقشه سایت ثبت شده باشد، اینجاست که یک ارور جدید در بخش Crawl Errors ایجاد می‌شود. اگر از سایت دیگر به یکی از صفحات سایت شما که وجود خارجی ندارد، لینک شده باشد در این مورد Crawl Errors رخ نخواهد داد.
انواع خطاهای کراول
خطاهای سایت دو نوع هستند که در زیر به تفکیک برای شما شرح خواهیم داد.
خطاهای سایت
اولین خطا، خطاهای سایت می‌باشد که شما قطعاً از این نوع خطا خوشتان نمی‌آید چرا که مانع از خزش شدن سایت شما توسط گوگل کراولر می‌شوند. در واقع این خطا به این معناست که تمام صفحات سایت شما برای ربات های گوگل غیر قابل دسترس است و قابل خزیدن نیست. خطاهای سایت همگی جزء خطاهای کراول هستند معمول‌ترین آن‌ها عبارت‌اند از:
خطاهای سرور یکی از خطاهای کراول
زمانی که گوگل سرچ کنسول خطاهای سرور را نشان می‌دهد به این معنی است که ربات گوگل به وب‌سایت شما دسترسی پیدا نکرده است. دراین صورت ممکن است مهلت زمانی درخواست شما به اتمامم رسیده باشد. به عنوان مثال موتور جستجوی گوگل سعی می‌کند از سایت شما بازدید نماید اما زمان بارگزاری و یا لود شدن سایت به قدری طولانی است که سرور یک پیغام خطا می‌فرستد.
همچنین خطاهای سرور می‌توانند زمانی اتفاق بیفتند که سایت مد نظر بازدید کنندگان زیادی دارد و سرور نمی‌تواند پاسخگوی همه درخواست‌ها باشد. بسیاری از این خطاها به عنوان کدهای وضعیت بازمی‌گردند.
چگونگی رفع خطای سرور
با استفاده از ابراز Fetch as Google مطمئن شوید ربات‌های خزنده گوگل می‌توانند صفحات شما را پردازش کند. برای این کار از صفحه اصلی گوگل وبمستر به منوی crawl رفته و بروی گزینه Fetch as Google کلیک نمایید. سپس در کادر جستجو URL صفحه مد نظر خود را وارد کنید و گزینه FETCH ANA RENDER را بزنید. اطمینان حاصل کنید که هاست سایت شما به درستی کار می‌کند یا پنهای باند آن به اتمام نرسیده است. چک کنید که سهواً جلوی دسترسی گوگل را نگرفته باشید. گاهی این اتفاق ممکن است توسط سیستم مدیریت محتوا یا فایروال رخ داده باشد. اگر به تازگی تغییری در خصوص نحوه ایندکس سایت خود در موتور جستجوی گوگل اعمال کرده‌اید، آن را به حالت قبلی بازگردانید.
خطاهای DNS
یکی دیگر از خطاهای سایت خطای DNS می‌باشد. یعنی موتور جستجو قادر به برقراری ارتباط با سرور نیست. به عنوان مثال ممکن است خراب شده باشد و به عبارتی وب‌سایت قابل بازدید نباشد. این مشکل معمولا یک مسئله موقتی می‌باشد. به هرحال گوگل پس از آن به وب‌سایت برمی‌گردد و در نهایت سایت را کراول خواهد کرد.
اگر در برنامه گوگل سرچ کنسول متوجه این اخطار از خطاهای کراول شدید، می‌تواند به این معنی باشد که گوگل چندین بار سعی کرده اما موفق به کراول آن نشده است.
چگونگی رفع خطای Error
ابتدا وارد صفحه اصلی گوگل وبمستر شوید و از منوی crawl بروی گزینه Fetch as Google کلیک نمایید. سپس در کادر جستجو URL صفحه مد نظر خود را وارد کنید و گزینه FETCH AND RENDER را بزنید. پس از مدت کوتاهی گوگل نتایج بررسی را برای شما نمایش می‌دهد. در صورتی که مشکلی در این قسمت یافت شود در مقابل آدرس صفحه‌ای که وارد کردید، تیک قرمز خواهد خورد. همچنین توجه داشته باشید اگر گوگل توانست با صفحه نخست سایت شما بدون مشکل ارتباط برقرار کند، به این معنی است که هیچ گونه مشکلی در این وب‌سایت شما وجود ندارد.
مطمئن شوید صفحات سایت‌تان با خطای 500 یا 404 مواجه نشده باشد. گاهی ممکن است دلیل قطع ارتباط یکی از این خطاها باشد، بدین منظور می‌توانید در گوگل وبمستر خود به مسیر Crawl Errors > URL Errors بروید و وارد تب Not found شوید.
عدم موفقیت ربات ها یکی از خطاهای کراول
قبل از فرایند کراولینگ مثلا ربات گوگل سعی می‌کند فایل txt شما را کراول کند تا ببیند آیا هیچ بخشی از وب‌سایت شما وجود دارد که شما نخواهید کراول شود یا خیر. اگر این ربات نتواند به فایل robots.txt دست پیدا کند گوگل عمل کراول را تا زمانی که بتواند به این فایل دسترسی پیدا کند به تعویق می‌اندازد.
بنابراین همیشه از دسترس بودن این فایل اطمینان حاصل کنید.
رفع خطای ربات ها
برای حل کردن خطای Robots failure قبل از هرچیزی بررسی کنید که فایل robots.txt به درستی در سایت شما پیکربندی شده است، مبادا نام یا آدرس آن دچار تغییری شده و یا با خطای 404 مواجه شده باشد. اطمینان حاصل کنید که گوگل به فایل Robots دسترسی دارد. گاهی ممکن است یک خطا از سمت سرور و یا تنظیمات فایروال هاست، فایل Robots را مسدود کرده باشد. همچنین می‌توانید برای اطمینان از صحت عملکرد از ابزار robots.txt Tester تعبیه شده در کنسول جستجوی گوگل استفاده کنید. برای دسترسی به این ابزار از صفحه گوگل وبمستر وارد منوی crawl شوید و بروی گزینه robots.txt Tester کلیک کنید. درصورت وجود مشکل به شما گزارش داده می‌شود.
خطاهای URL کراول
خطای بعدی خطاهای URL می‌باشند، خبر خوب این است که این خطا چون مربوط به یه URL خاص است، نگهداری و رفع آن نسبت به خطاهای سایت آسان‌تر می‌باشد. وقتی ما درباره خطاهای URL صحبت می‌کنیم منظور خطاهایی مانند 404 not found است. شما باید به طور مرتب این نوع خطاها را بررسی کنید و مشکلات را برطرف کنید. اگر صفحه و یا موضوع صفحه از بین رفته است و هرگز به وب‌سایت بازنمی‌گردد از یک صفحه 410 استفاده کنید. اگر محتوای مشابه روی صفحه دیگری دارید به جای آن از تغییر مسیر 301 استفاده کنید. اطمینان پیدا کنید که نقشه سایت و لینک‌های داخلی به روز باشند.
دلیل بسیاری از خطاهای URL لینک‌های داخلی هستند. بنابراین باعث بسیاری از این خطاها خودتان هستید. اگر یک صفحه را از سایت خود حذف می‌کنید باید لینک‌های مرتبط آن را نیز تنظیم و یا حذف کنید. این لینک‌ها دیگر استفاده‌ای ندارند. اگر آن لینک به شکل سابق باقی بماند یک ربات آن را پیدا می‌کند و دنبال خواهد کرد تا ببیند روی وب‌سایت شما در نهایت به چه چیزی می‌رسد. شما باید همین حالا مراقبت‌هایی را روی لینک‌های داخلی خود اعمال نمایید. شاید یک خطای موقت DNS یا سرور برای آن URL خاص وجود داشته باشد. دوباره آن URL را بررسی کنید و ببینید که خطا از بین رفته است یا خیر. از fetch as Google استفاده کنید و بعد از برطرف شدن خطا در گوگل سرچ کنسول آن را علامت بزنید.
خطاهای اخبار گوگل یکی از خطاهای کراول
برخی از خطاها، مختص اخبار گوگل هستند. یک لیست کامل از این خطاهای احتمالی در اسناد گوگل وجود دارد، بنابراین اگر وب‌سایت شما در Google News است ممکن است با این نوع از خطاهای کراول مواجه شوید. این خطاها متنوع هستند از نبود عنوان تا خطاهایی که به شما می‌گویند هیچ محتوای خبری‌ای در صفحه شما وجود ندارد. حتما سایت خود را بررسی کنید تا از عدم وجود چنین خطاهایی روی آن اطمینان بیابید.
خطاهای URL مخصوص گوشی های هوشمند
به خطاهای کراول خاص یک صفحه گفته می‌شود که در گوشی‌های هوشمند مدرن اتفاق می‌افتد. اگر یک وب‌سایت سازگار با موبایل دارید این موارد احتمالا سطحی نیستند شاید این خطا تنها برای قطعه‌ای از محتوای فلشی رخ بدهد که از قبل می‌خواستید چیز دیگری را جایگزین آن نمایید. اگر شما از یک زیردامنه مجزا مانند m.example.com برای موبایل استفاده می‌کنید ممکن است با خطاهای بیشتری مواجه شوید.
این موارد در صورت وجود خطوط تغییر مسیر اشتباه از سایت دسکتاپ به سایت موبایل نیز رخ می‌دهد. حتی ممکن است برخی از صفحات سایت موبایل را در فایل robots.txt خود مسدود کرده باشید.
خطاهای بدافزار یکی از خطاهای کراول
اگر در ابزار وبمستر خود با خطاهای بدافزار روبرو شدید به این معنی است که بینگ یا گوگل نرم‌فزار مخربی را روی آن URL پیدا کرده است. شاید به این معنی باشد که آن نرم افزار یافت شده برای مثال در گرداوری اطلاعات حفاظتی یا ایجاد اختلال کلی در عملیات مورد استفاده قرار گرفته است. شما باید بررسی کرده و این بدافزار را از بین ببرید.
نتیجه گیری
آشکارترین مشکل در رابطه با داشتن خطای Crawl Error در سایت شما این است که آن‌ها مانع دسترسی گوگل به محتوای شما می‌شوند. گوگل نمی‌تواند صفحه‌هایی را که به آن‌ها دسترسی ندارد، رتبه‌بندی کند. نرخ بالای خطاهای Crawl Errors همچنین می‌تواند بر روی دید گوگل در مورد سلامت کلی وب‌سایت شما تأثیر بگذارد. هنگامی‌که خزنده‌های گوگل مشکلات زیادی در دسترسی به محتوای یک وب‌سایت دارند، آن‌ها ممکن است تصمیم بگیرند که این صفحات ارزش Crawl مداوم را ندارند. این باعث می‌شود تا صفحات جدید شما بازمان بیشتری نسبت به شرایط عادی، به گوگل ایندکس بروند.
ابزار کنسول جستجوی گوگل به شما کمک می‌کند اطلاعات مفیدی را در مورد سایت خود و افرادی که از آن بازدید می‌کنند، به دست آورید. برخی از این اطلاعات مربوط به خطاها و مشکلات سایت شما هست. به جای اینکه منتظر باشید تا فردی وجود مشکل را به شما اطلاع دهد از سرچ کنسول گوگل استفاده کنید و خطاهای Crawl Errors موجود را کشف نمایید.
