بودجه خزش از آن دسته مسائل سئویی است که بعضی‌ها در مورد آن اطلاعی ندارند یا خیلی‌ها نمی‌دانند در مورد آن نگران باشند یا نباشند. درواقع از آنجا که بودجه خزش در ابتدای شروع به کار سایت چندان مهم به نظر نمی‌رسد، خیلی‌ها به آن توجهی ندارند، اما رفته‌رفته با بزرگ شدن سایت، توجه به آن اهمیت پیدا می‌کند. ازاین‌رو همواره سوالات زیادی درمورد اینکه چه سایت‌هایی باید نگران بودجه خزش باشند و اینکه راهکارهای بهبود آن چیست، مطرح می‌شود. در این مقاله از وب 24 به این سوالات پاسخ داده‌ایم.
بودجه خزش (Crawl Budget) چیست؟
تعریف دقیق بودجه خزش عبارت است از تعداد صفحات سایت شما که گوگل در یک بازه زمانی مشخص خزش و ایندکس می‌کند. در توضیح این تعریف لازم است بدانید هرچقدر هم که گوگل بزرگ‌تر و قوی‌تر شود، بازهم منابع آن برای خزش صفحات سایت‌ها محدود است. هر روز نه تنها هزاران صفحه به صفحات موجود در وب اضافه می‌شود بلکه هزاران سایت جدید هم متولد می‌شوند که هرکدام روزانه چندین صفحه به وب اضافه می‌کنند.
در این شرایط گوگل هم تلاش دارد تا جای ممکن صفحات بیشتری را ایندکس کند اما واقعا توان رسیدگی به همه آنها را ندارد. به همین دلیل اقدام به اولویت‌بندی سایت‌ها کرده و به هرکدام یک بودجه خزش اختصاص می‌دهد. در واقع با این بودجه خزش مشخص می‌شود که هر روز چند صفحه از یک سایت توسط ربات‌های گوگل خزش می‌شوند.
اهمیت بودجه خزش Crawl Budget در سئو
اساس فعالیت‌های سئوی سایت بر یک چیز استوار است و آن هم ایندکس شدن صفحات در گوگل است. اگر صفحات سایت شما به هر دلیلی توسط گوگل ایندکس نشوند، فعالیت‌های سئوی شما بی‌فایده بوده و اصلا امکان حضور در نتایج جستجوی گوگل را نخواهید داشت. ازاین‌رو بودجه خزش سایت اهمیت پیدا می‌کند، زیرا تعداد صفحاتی را که قرار است در یک مدت مشخص خزش شوند، مشخص می‌کند. اگر سایت شما بسته به مقیاسی که دارد، نتواند بودجه خزش موردنیاز خود را بدست آورد، ممکن است بسیاری از صفحات آن در مدت زمان موردنظر شما ایندکس نشوند.
البته قرار نیست همه سایت‌ها بابت بودجه خزش خود نگرانی داشته باشند، چراکه خود گوگل به خوبی امکان تشخیص صفحات جدید و ایندکس آنها را دارد اما در موارد زیر باید مراقب بودجه خزش سایت خود باشید:
- سایت بسیار بزرگی دارید: اگر سایتی بزرگ مثل سایت‌های فروشگاهی با بیش از 10 هزار صفحه دارید، ممکن است گوگل در پیدا کردن همه صفحات شما مشکل پیدا کند.
- قسمت جدیدی به سایت اضافه کرده‌اید: اگر به تازگی قسمت جدیدی به سایت اضافه کرده‌اید که هزاران صفحه را در برمی‌گیرد، ممکن است بودجه خزش فعلی شما برای ایندکس کردن همه آنها کافی نباشد.
- ریدایرکت زیادی روی سایت انجام داده‌اید: ریدایرکت‌های زیاد روی صفحات سایت، می‌تواند بودجه خزش سایت شما را هدر بدهد.
نظر گوگل در مورد بودجه خزش
خود گوگل هم تاکید زیادی دارد که مدیران سایت‌ها یا سئوکارها نباید نگران بودجه خزش سایت خود باشند. چراکه این موضوع خیلی در اختیار آنها نیست. به‌هرحال هر شخصی دوست دارد، صفحات سایتش درست همان روزی که منتشر می‌شوند، خزش شده و در ایندکس گوگل قرار گیرند. اما این روندی است که توسط گوگل مدیریت می‌شود و معمولا هم سایت‌های نه‌چندان بزرگ مشکلی با بودجه خزش خود ندارند. به خصوص اگر سایت شما صفحاتی در حد چندهزار صفحه (زیر 10 هزار صفحه) دارد، اصلا نیازی به تمرکز روی بودجه خزش سایت ندارید. اما برای سایت‌های بزرگ مواردی مثل اولویت‌بندی صفحاتی که می‌خواهید خزش شوند، اینکه هر کدام چه زمانی خزش شوند و میزان منابعی که سرور سایت شما می‌تواند به خزش اختصاص دهد، اهمیت زیادی پیدا می‌کنند.
تعیین بودجه مورد نیاز هر سایت
دو شاخص کلی برای تعیین بودجه خزش هر سایت توسط گوگل معرفی شده که در ادامه آنها را بررسی می‌کنیم:
حد سرعت خزش یا Crawl rate limit
ربات‌های گوگل به صورت یک شهروند وظیفه‌شناس در فضای وب طراحی شده‌اند. اولویت اول آنها خزش در صفحات سایت‌ها است اما همزمان مراقب این هستند که هنگام خزش در سایت‌ها، تجربه کاربری آنها را تحت تاثیر قرار ندهند. ازاین‌رو گوگل شاخصی را به عنوان «حد سرعت خزش» تعیین کرده که بیشترین سرعت استخراج صفحات را برای هر سایت مشخص می‌کند. این شاخص در واقع تعداد ارتباطات همزمانی را که ربات گوگل با سایت شما برای خزش صفحات برقرار می‌کند، نشان می‌دهد و مقدار آن وابسته به دو عامل است:
- سلامت خزش: اگر سایت شما به درخواست‌های ربات گوگل سریع پاسخ دهد، سرعت خزش آن بالا می‌رود. این بدین معنا است که ربات گوگل می‌تواند ارتباطات بیشتری با سایت شما بسازد و در یک محدوده زمانی مشخص، صفحات بیشتری را خزش کند. برعکس آن اگر سایت شما پاسخ‌هایی کند یا همراه با خطا به ربات گوگل بدهد، سرعت خزش پایین می‌آید.
- تنظیم محدودیت در سرچ کنسول: برخی مدیران سایت‌ها از طریق سرچ کنسول گوگل اقدام به برقراری محدودیت در تعداد صفحات خزش شده می‌کنند. این محدودیت می‌تواند سرعت خزش را کم کند.
تقاضای خزش یا Crawl demand
یکی از عواملی که باعث افزایش بودجه خزش سایت شما می‌شود، درخواست خزش است. اگر درخواستی برای خزش از طرف سایت شما ایجاد نشود، فعالیت ربات‌های گوگل در آن کم می‌شود. عوامل زیر بر افزایش تقاضای خزش تاثیر دارند:
- شهرت صفحات: صفحات اینترنتی که در فضای وب محبوب‌تر و مشهورتر هستند، اغلب توسط ربات‌های گوگل بیشتر خزش می‌شوند تا محتوای آنها در ایندکس بروز نگه داشته شود.
- کهنه شدن صفحات: گوگل ترجیح می‌دهد صفحاتی را که کهنه شده‌اند، در ایندکس خود نگه ندارد، به همین دلیل صفحاتی که کمتر به‌روزرسانی می‌شوند، کم‌کم شانس خود را برای خزش از دست می‌دهند.
روش‌های بهبود و افزایش بودجه خزش سایت
اگر سایت فروشگاهی با تعداد صفحات زیادی دارید، حتما نگران بودجه خزش سایت خود هستید. در این قسمت به معرفی راه‌هایی برای افزایش این بودجه می‌پردازیم:
بهبود سرعت سایت
افزایش سرعت بارگیری صفحات نه تنها تجربه کاربری سایت را ارتقا می‌دهد، بلکه بودجه خزش آن را هم بالا می‌برد. در واقع سرعت پایین صفحات سایت باعث هدر رفتن زمانی می‌شود که ربات گوگل به سایت شما اختصاص داده است. بدین ترتیب صفحاتی کمتری را می‌تواند خزش کند.
استفاده از لینکسازی داخلی
ربات‌های گوگل صفحاتی را که لینک‌های داخلی و خارجی بیشتری دارند، در اولویت خزش قرار می‌دهند. حالت ایده‌آل لینکسازی این است که همه صفحات سایت شما، لینک‌های خارجی ارزشمندی داشته باشند و ربات‌های گوگل را به سمت سایت شما هدایت کنند اما در واقعیت این اتفاق نمی‌افتد. معمولا فقط تعدادی از صفحات مهم سایت لینک‌های خارجی خوبی می‌گیرند. اینجاست که لینکسازی داخلی به‌کار می‌آید و می‌تواند ربات‌های گوگل را به سمت چنین صفحاتی هدایت کند.
استفاده از معماری سایت مسطح
با استفاده از معماری سایت مسطح همه صفحات سایت شما به هم مرتبط می‌شوند. بدین ترتیب در صورتی که یک صفحه شهرت و اعتبار بالایی نزد گوگل پیدا کرد، آن را به بقیه صفحات سایت هم منتقل می‌کند. این کار باعث افزایش بودجه خزش سایت شما می‌شود.
از ایجاد صفحات یتیم خودداری کنید
صفحات یتیم صفحاتی هستند که هیچ لینک داخلی یا خارجی دریافت نکرده‌اند. ربات‌های گوگل برای پیدا کردن چنین صفحاتی در سایت، وقت زیادی را صرف می‌کنند. در نتیجه اگر می‌خواهید بودجه خزش سایت شما بالاتر رود، مراقب باشید صفحات یتیم در سایت نداشته باشید. هر صفحه باید حداقل یک لینک داخلی یا خارجی از صفحات دیگر داشته باشد. برای اطلاعات بیشتر می‌توانید مقاله "Orphan page" را مطالعه کنید.
مراقب محتوای تکراری در سایت باشید
گوگل هرگز به محتوای تکراری علاقه‌ای نداشته و نمی‌خواهد منابع خود را با ایندکس کردن صفحاتی که محتوای باارزشی ندارند، هدر دهد. به همین دلیل سعی کنید برای هر موضوع تنها یک صفحه با محتوای یکتا و باکیفیت داشته باشید. البته این کار برای سایت‌هایی با بیش از 10 هزار صفحه، واقعا سخت است. اما راه هوشمندانه و موثری برای افزایش بودجه خزش سایت است.
دلایل هدر رفت بودجه خزش سایت
احتمالا تاکنون متوجه شده‌اید که اگر سایت شما سرعت پایینی داشته باشد، بودجه خزش آن هدر می‌رود، چراکه در یک زمان مشخص، صفحات کمتری قابل خزش هستند. اما علاوه بر سرعت، وجود صفحات متعدد بی‌فایده در سایت هم می‌تواند بودجه خزش را هدر دهد. در ادامه لیستی از مواردی که بودجه خزش را هدر می‌دهند، مرور می‌کنیم:
- اگر سایت شما هنگام جستجو، برای هر فیلتر جستجو یک آدرس جدید اختصاص می‌دهد، این کار بودجه خزش را هدر می‌دهد.
- صفحاتی با محتوای یکسان و تکراری همواره در حال تلف کردن بودجه خزش هستند.
- صفحاتی که محتوای بی‌ارزش دارند، تنها بودجه خزش را مصرف می‌کنند اما رتبه‌ای در نتایج جستجوی گوگل نمی‌گیرند.
- لینک‌های شکسته و ریدایرکت‌ها باعث می‌شوند ربات‌های گوگل گمراه شوند و زمانی که به سایت شما اختصاص داده شده، هدر رود.
- وجود صفحات غیرقابل ایندکس در فایل sitemap نتیجه‌ای جز هدر دادن بودجه خزش نخواهد داشت. مراقب آن باشید.
- اگر زمان زیادی برای بارگیری صفحات سایت نیاز باشد، وقت ربات‌های گوگل و بودجه خزش سایت شما هدر می‌رود.
- ساختار لینکسازی داخلی ضعیف می‌تواند ربات‌های گوگل را از برخی صفحات منحرف کند.
جمع‌بندی
بودجه خزش معمولا برای سایت‌های فروشگاهی با بیش از 10 هزار صفحه اهمیت بیشتری دارد، اما افزایش آن کار سختی نیست. کافی است مواردی که در این مقاله گفتیم را رعایت کنید تا همه صفحات سایت شما خیلی زود خزش شده و در ایندکس گوگل قرار گیرند.
پست قبلی
پست بعدی
