بودجه خزش چیست؟ قبل از شروع، سعی کنید به این سوال پاسخ دهید: زمانی که شما یک صفحه در وبسایت خود ایجاد و منتشر می کنید، آیا گوگل آن را ایندکس و رتبه بندی می کند؟
لزوما نه!
در واقع، داده های به دست آمده، نشان دهنده این است که حدود نیمی صفحات سایت های بزرگ، توسط گوگل نادیده گرفته می شوند یا به اصطلاح، از طرف گوگل کرال (خزش) نمی شوند! برای این که یک صفحه، در نتایج گوگل قرار گرفته و ترافیک به سمت وبسایت شما ایجاد کند، ابتدا باید توسط گوگل کرال شود. گوگل یک جمله در این زمینه دارد که می گوید: “خزش، نقطه ورود سایت ها، به نتایج جستجوی گوگل است!”
با این حال، از آن جا که گوگل، زمان و منابع نامحدودی برای خزش دائمی سایت ها ندارد، تمامی صفحات ممکن است توسط خزنده های گوگل بررسی نشوند که این محدودیت خاص در تعداد خزش های صفحات یک وبسایت، بودجه خزش یا Crawl budget نام دارد. در ادامه این مقاله با من همراه باشید تا به طور کامل در مورد این که بودجه خزش چیست و چه المان هایی در آن تاثیر دارند صحبت کرده و همچنین، روش هایی موثر برای بهینه سازی و افزایش کرال باجت را به شما آموزش دهم:
- بودجه خزش چیست؟
- آیا باید نگران بودجه خزش سایتم باشم؟
- راه های بررسی بودجه خزش چیست؟
- راه های بهینه سازی بودجه خزش چیست؟
- چگونه می توانم بودجه خزش سایت خود را افزایش دهم؟
- 1. جلوگیری از خزش URL های غیر کنونیکال
- 2. بهینه سازی سرعت لود صفحات
- 3. به حداقل رساندن خطا های خزش و کد ها با وضعیت غیر 200
- 4. افزایش محبوبیت صفحات مهم سایت
بودجه خزش چیست؟
بودجه خزیدن یا کرال باجت، حداکثر تعداد صفحاتی از یک وبسایت است که گوگل، می تواند (و می خواهد) که خزش کند! گوگل، بودجه خزش را بر اساس محدودیت نرخ خزیدن و تقاضای خزش تعیین می کند:
- محدودیت نرخ خزیدن: سرعت صفحات سایت، خطا های خزش و محدودیت های خزش (صفحاتی که در سرچ کنسول برای بررسی و ایندکس گوگل مسدود شده اند) همگی می توانند در محدودیت نرخ خزش سایت شما تاثیر گذار باشند.
- تقاضای خزش: محبوبیت صفحات سایت شما و همچنین، قدیمی یا جدید و تازه بودن آن ها می تواند در تقاضای خزش سایت شما تاثیر گذار باشند.
آیا باید نگران بودجه خزش سایتم باشم؟
اگر روی وبسایت های کوچک و محدود کار می کنید، کرال باجت چیزی نیست که نگران آن باشید! به گفته گوگل، بودجه کرال، چیزی نیست که اکثر ناشران و صاحبان وبسایت، نگران آن باشند. سایت هایی با URL های کمتر از چندهزار عدد، در بیشتر مواقع به طور موثر و کامل خزش خواهند شد.
با این حال، اگر روی یک وبسایت بزرگ با صفحات زیاد و آپدیت روزانه کار می کنید، می بایست فعالیت هایی را اولویت بندی کنید که براساس آن، به گوگل بگویید که چه صفحاتی را در چه زمانی بررسی کند.
راه های بررسی بودجه خزش چیست؟
برای این که تعداد URL های کرال شده را با جزئیات، خطا ها یا هشدار های خزش مشاهده کرده و نسبت به اصلاح یا رفع خطا های آن اقدام کنید، می توانید از قسمت Setting و سپس گزینه Crawl stats در گوگل سرچ کنسول سایت خود، اقدام نمایید. در این صفحه، می توانید گزارش کاملی از صفحات کرال شده، ریکوئست های روزانه برای خزش و بودجه خزش سایت خود را بررسی کنید.
راه های بهینه سازی بودجه خزش چیست؟
بهینه سازی بودجه خزیدن، به فرایندی گفته می شود که به گوگل بات کمک کنیم تا صفحات مهم سایت را بررسی، کرال و فهرست بندی کند. سه راه کلی برای این کار وجود دارد:
- دور نگهداشتن بات های گوگل، از صفحاتی که قرار نیست ایندکس شوند.
- به خزنده ها در پیدا کردن و بررسی هرچه سریع تر صفحات سایت، کمک کنید.
- افزایش محبوبیت و کارایی صفحات مهم سایت و همچنین آپدیت همیشگی این صفحات.
چگونه می توانم بودجه خزش سایت خود را افزایش دهم؟
در پاراگراف قبلی، درباره بهینه سازی بودجه خزیدن سایت، توضیح دادیم و کلیاتی برای انجام این کار، گفتیم. حالا می خواهیم کمی جزئی تر وارد بحث شده و دقیقا بگوییم که چه کارهایی برای افزایش بودجه خزش باید انجام داد:
- جلوگیری از خزیدن گوگل در URL های غیر متعارف یا غیر کنونیکال سایت
- بهینه سازی سرعت بارگزاری صفحات سایت
- به حداقل رساندن خطا های خزش و کد های وضعیت غیر 200
- افزایش محبوبیت صفحات سایت و به روزرسانی محتوا های قبلی
1. جلوگیری از خزش URL های غیر کنونیکال
یکی از بزرگترین مشکلاتی که اکثر سایت ها در مورد بودجه خزش با آن مواجه هستند، همین مورد ساده است. بسیاری از URL های سایت، نیازی به ایندکس ندارند یا محتوای تکراری در آن ها نهفته است؛ اما توسط بات ها، کرال می شوند. راه حل این موضوع بسیار ساده است. استفاده از تگ کنونیکال برای URL های اصلی و شاخص.
فرض کنید یک صفحه با عنوان شلوان جین مردانه دارید و آدرس آن به این صورت است: www.yoursite.ir/clothing/men/jeans. حالا فرض کنید این صفحه قابلیت نمایش محصولات با فیلتر قیمت از ارزان به گران را دارد. در این صورت ممکن است آدرس به این صورت تغییر کند: www.yoursite.ir/clothing/men/jeans?sortBy=PriceLow. آیا آدرس دوم، نیازی به ایندکس شدن و کرال دارد؟ مسلما خیر! آدرس اصلی، همان URL اولی است که نیاز به کرال شدن دارد و باقی آدرس های زیرمجموعه آن، دارای محتوای تکراری هستند.
پس با استفاده از تگ کنونیکال، شما مشخص می کنید که کدام آدرس ها باید کرال شوند و بر این اساس، بودجه خزش سایت خود را تا حد بسیار قابل توجهی بهینه سازی خواهید کرد.
همچنین برخی از صفحات سایت که نیازی به ایندکس شدن ندارند، باید توسط فایل robots.txt که در روت وبسایت (در هاست)قرار دارد، مسدود شوند. با این کار نیز، جلوی کرال و ایندکس بسیاری از صفحات غیرضروری سایت خود را گرفته و بودجه بیشتری را برای صفحات مهم تر و اصلی تر سایت رقم زده اید!
2. بهینه سازی سرعت لود صفحات
یکی از عوامل مهمی که در تعیین بودجه خزش دخیل است، سرعت لود صفحات سایت است که گوگل به آن خیلی اهمیت می دهد. سعی کنید کد های وبسایت، عوامل مختلف از جمله جاوا اسکریپت و دیگر عوامل کند شدن سایت را بهینه سازی کرده تا بودجه بیشتری به صفحات سایت تعلق گیرد.
3. به حداقل رساندن خطا های خزش و کد ها با وضعیت غیر 200
به یاد دارید که گفتیم زمانی که بات ها در سایت برای خزش صرف می کنند، یکی از عوامل تعیین بودجه برای خزیدن است؟ یکی از عوامل تعیین کننده برای بات های گوگل، خطاهایی است که با آن مواجه می شوند. اگر بات گوگل هنگام خزش سایت، با خطا های زیادی از سمت سرور از جمله خطا های 500، 204 و… روبرو شود، منجر به افت بودجه خزش سایت شود. چرا که گوگل وقت زیادی برای صرف کردن و روبرو شدن با انواع خطا ها را ندارد!
سعی کنید نقشه های سایت خود را به روز نگه داشته و لینک های داخلی خود را بررسی کنید. لینک ها را به آدرس های لایو و اصلی بدهید و از لینک دهی به آدرس های ریدایرکت شده و یا صفحات 404 و غیر 200 بپرهیزید.
4. افزایش محبوبیت صفحات مهم سایت
یکی از راه هایی که گوگل، تشخیص می دهد که کدام صفحه از سایت مهم است یا کدام صفحات، محبوبیت بالایی دارند، بررسی تعداد کلیک هایی است که آن صفحه، از صفحه اصلی یا هوم پیج دریافت می کند. یکی دیگر از راه های شناسایی، لینک های داخلی سایت است که به این صفحات داده می شود.
با استفاده از شیوه های لینک سازی داخلی، صفحات مهم و محبوب سایت خود را تقویت کرده و برای خود، بودجه خزش بیشتری بخرید!
