آموزش کامل ابزار pages در سرچ کنسول و رفع خطاهای آن

هیچکس در این شکی ندارد که سرچ کنسول عصای دست متخصصین سئو است. این ابزار همه فن حریف و جامع، بهترین امکانات برای تحلیل بخش‌های مختلف سایت که در سئو تاثیرگذار هستند را در اختیار متخصصین قرار می‌دهد. از سرچ کنسول می‌توانیم برای تحلیل آمار ورودی سایت، رتبه‌ها، بررسی خطاهای فنی، خطاهای مربوط به موبایل و بسیاری از موارد دیگر استفاده کنیم. یکی از مهم‌ترین بخش‌های سرچ کنسول گوگل، بخش pages است. در این مقاله به توضیح کامل این بخش و شرح خطاهای آن خواهیم پرداخت.

بخش pages در سرچ کنسول چه کاربردی دارد؟

بخش Pages در واقع یک گزارش از وضعیت لینک‌هایی است که گوگل آن‌ها را Discover کرده است. این گزارش با در ارائه اطلاعاتی در مورد وضعیت Crawl و Index صفحات سایت، کمک می‌کند تا خطاهای فنی احتمالی را بهتر و ساده‌تر متوجه شویم و اقدامات لازم را برای رفع آن‌ها انجام دهیم. این بخش با ارائه دید کلی نسبت به وضعیت خطاها، برای تصمیم‌گیری‌های کلی در جهت بهبود فنی به ما کمک می‌کند. همچنین با ارائه جزئیات خطاها مثل آدرس صفحات دارای خطا و ... کمک می‌کند تا برای رفع خطاهایی که نیاز به بهینه‌سازی صفحه به صفحه و جزئی دارند اقدام کنیم. به‌طور کلی بخش Pages یکی از گزارش‌های مهم سرچ کنسول است و حتما باید برای بررسی آن زمان گذاشت و اطلاعات آن را به دقت تحلیل کرد. گزارش Pages می‌تواند معیار بسیاری از تصمیماتی باشد که متخصصین سئو برای بهینه‌سازی سایت می‌گیرند.

بخش‌های مختلف گزارش pages سرچ کنسول

بخش Pages سرچ کنسول، شامل یک نمودار، چند عدد بالای نمودار و عنوان خطاهای سایت در زیر نمودار است. در نمودار این بخش، به تفکیک روز، می‌توانیم تعداد صفحات دارای خطا یا index شده را ببینیم. اعداد بالای نمودار، نشان‌دهنده‌ی تعداد صفحات Index و صفحات Not Index است. همچنین با تیک زدن گزینه Impression می‌توانیم اثر هر یک از خطاها یا هشدارها روی نمایش سایت در نتایج جستجو را بررسی و تحلیل کنیم. در آخرین آپدیت این بخش، Source نیز به گزارش اضافه شده است.

Source ممکن است یکی از دو حالت Website یا Google Systems باشد. زمانی که Source وب‌سایت باشد، یعنی منبع بروز خطا یا هشدار، سایت است. گاهی اوقات برای رفع این موارد، باید اقدام به بهینه‌سازی سایت نمود. زمانی که Source سیستم‌های خود گوگل باشد، یعنی منبع بروز خطا از خود گوگل است و ما اقدام خاصی برای رفع مشکل نمی‌توانیم انجام بدهیم.

بخش indexed Pages

با کلیک روی بخش Indexed، روی نمودار تنها تعداد صفحات Index شده نشان داده خواهد شد. همچنین آدرس صفحات همراه آخرین باری که توسط گوگل Crawl شده‌اند در پایین نمودار قابل مشاهده است. صفحاتی که در این بخش هستند، خطایی ندارند و به همین خاطر، جزئیات زیادی برای نمایش در این بخش وجود ندارد. این بخش به‌طور کلی به دو زیرمجموعه‌ی Submitted and indexed و Indexed, not submitted in sitemap تقسیم می‌شود.

Submitted and indexed

این بخش صفحاتی که در سایت‌مپ قرار دارند و توسط گوگل index شده‌اند را نشان می‌دهد.

Indexed, not submitted in sitemap

این صفحات توسط گوگل Discover و Index شده‌اند اما در سایت‌مپ قرار ندارند. بهتر است صفحاتی که می‌خواهیم گوگل آن‌ها را Index کند را در سایت‌مپ هم قرار دهیم. بهترین حالت برای رفع این مشکل، استفاده از سایت‌مپ داینامیک است. در سایت‌مپ داینامیک صفحاتی که روی سایت قرار می‌گیرند به‌طور اتوماتیک به سایت‌مپ اضافه می‌شوند.

بخش Not Indexed Pages

با کلیک روی بخش Not Indexed هم مثل بخش قبلی، نمودار تنها اطلاعات مربوط به این بخش را نمایش خواهد داد. در پایین نمودار هم، علت این‌که برخی صفحات Index نشده‌اند همراه تعداد آن‌ها قابل مشاهده است. با کلیک روی هر کدام از عناوین خطا، صفحه‌ای باز می شود که در آن نمودار مختص آن خطا همراه با آدرس صفحاتی که دارای این خطا هستند در دسترس خواهد بود. همچنین در این صفحه، تاریخ اولین باری که این خطا در سایت مشاهده شده، تاریخ آخرین باری که برای هر صفحه این خطا مشاهده شده و گزینه‌ی اعلام این‌که خطا اصلاح شده است وجود دارد. در ادامه به بررسی خطاهای رایج در بخش Not Index خواهیم پرداخت.

Excluded by noindex tag

گاهی اوقات گوگل بعد از رسیدن به یک صفحه از سایت، با تگ noindex مواجه می‌شود. سرچ کنسول این صفحات را در این بخش آورده است. بعضی وقت‌ها متخصصین سئو برای بهینه‌سازی سایت اقدام به noindex کردن برخی صفحات می‌کنند. اگر لیست آدرس‌های صفحات، مطابق با صفحاتی است که طبق خواسته‌ی خودتان noindex شده است، نیاز به اقدام خاصی نیست اما اگر صفحه‌ای در لیست هست که نباید noindex باشد، باید نسبت به حذف این تگ از صفحه اقدام کنید.

Alternate Page with Proper Canonical Tag

صفحاتی که در این لیست قرار می‌گیرند، صفحاتی هستند که به یک صفحه دیگر کنونیکال شده‌اند. این برای گوگل به این معنی است که صفحه مبدا نباید index شود و صفحه‌ای که مقصد کنونیکال است باید index شود. اگر صفحات طبق استراتژی خودتان به صفحات دیگر کنونیکال شده‌اند، نیاز به اقدام خاصی نیست.

Not Found (404)

این خطا زمانی رخ می‌دهد که ربات گوگل سعی در دسترسی پیدا کردن به یک صفحه داشته باشد و با ارور 404 روبه‌رو شود. گوگل معمولا این صفحات را از طریق لینک‌های خارجی پیدا می‌کند و اکثر این صفحات بخش‌های داخلی سایت قابل دسترس نیستند. بهترین اقدام برای این صفحات، ریدایرکت کردن آن‌ها به صفحات مرتبط است. با این کار هم می‌توان از لینکی که به این صفحه داده شده است بهره برد و هم می‌توان به کاربر کمک کرد که به صفحه مدنظرش برسد.

Page with Redirect

صفحاتی که در این بخش قرار می‌گیرند صفحاتی هستند که به یک صفحه دیگر ریدایرکت 301 یا 302 شده‌اند. به‌طور کلی برای این صفحات نیاز به انجام اقدام خاصی نیست اما در صورتی که اقدام به ریدایرکت کردن صفحه‌ای از سایت به صفحه‌ی دیگر نکرده‌اید، بهتر است این لیست را چک کنید تا از بروز هرگونه خطای ناخواسته جلوگیری کنید.

Duplicate without User-selected Canonical

این مورد مختص صفحات تکراری بدون تگ کنونیکال است. در این حالت گوگل نمی‌تواند تشخیص بدهد که کدام نسخه را باید اولویت قرار دهد و index کند. اقدام لازم برای برطرف کردن این مشکل، افزودن تگ کنونیکال به صفحات تکراری است. با استفاده از این تگ، متخصص سئو انتخاب می‌کند که از بین صفحات تکراری، کدام صفحه در گوگل index شود.

Discovered – currently not indexed

گوگل صفحات این لیست را پیدا کرده است اما آن‌ها را index نکرده است. علت این مشکل در اغلب اوقات این است که بارگزاری سایت بیش از حد طول کشیده و گوگل index کردن آن را به خزش بعدی موکول کرده است. برای سرعت بخشیدن به این موضوع، می‌توان درخواست index دستی برای صفحات مهم‌تر ثبت کرد. این حالت باعث می‌شود گوگل در خزش بعدی خود، حتما این صفحه را بررسی کند و امکان دارد صفحه را index کند.

Crawled – currently not indexed

این به این معنی است که گوگل این صفحه را در خزش خود بررسی کرده است اما صفحه index نشده است. گوگل به صورت رسمی دلیلی برای این موضوع بیان نکرده است اما موارد زیر می‌توانند دلایل این اتفاق باشند:

• صفحه کم محتوا یا دارای محتوای تکراری باشد.
• سرعت لود صفحه خیلی ضعیف باشد و مدت زمان زیادی طول بکشد تا صفحه لود شود.
• صفحه به یک صفحه دیگر کنونیکال شده باشد.
• صفحه تجربه کاربری خوبی نداشته باشد.
• صفحه تگ noindex داشته باشد.

باید صفحاتی که در این لیست هستند بررسی شوند تا متوجه شویم دلیل index نشدن آن‌ها کدام یک از موارد بالا است.

Blocked by robots.txt

دسترسی ربات گوگل به صفحاتی که در این بخش قرار می‌گیرند توسط Robots.txt مسدود شده است. اکثر اوقات، متخصصین سئو برای بهینه‌سازی بودجه خزش، اقدام به مسدود کردن دسترسی بعضی صفحات در فایل Robots.txt می‌کنند. اگر صفحاتی که در این بخش مشاهده می‌کنید، همان صفحاتی هستند که آن‌ها را مسدود کرده‌اید جای نگرانی نیست. اما اگر در بین صفحات، صفحه‌ای را مشاهده کردید که نمی‌خواستید دسترسی آن مسدود شود، باید فایل Robots.txt سایت خود را بررسی کنید و بخشی که باعث مسدود شدن این صفحه شده است را اصلاح کنید.

Duplicate, Google Chose different canonical than user

این مورد برای صفحاتی رخ می‌دهد که گوگل تشخیص دهد می‌توانستند به صفحه مناسب‌تری کنونیکال شوند. این مورد اغلب برای صفحاتی پیش می‌آید که گوگل از طریق لینک‌های خارجی به آن‌ها دسترسی پیدا است و مستقیما از طریق سایت به صفحات نرسیده است. به علت وجود مغایرت در کنونیکال انتخابی کاربر و کنونیکال مناسب از نظر گوگل، این صفحات index نمی‌شوند.

Blocked due to other 4xx issue

صفحاتی که در این لیست قرار می‌گیرند، صفحاتی هستند که گوگل برای دسترسی به آن‌ها دچار مشکل است و اروری از جنس خانواده ارور 4xx برمی‌گردانند. ارور این صفحات 401 و 403 و 404 نیست و در بازه‌ی 400 تا 451 قرار دارد.

Server error (5XX)

این ارور به این معنی است که در زمانی که ربات‌های گوگل به سایت شما سرزده‌اند، سرور سایت مشکل داشته و ربات به ارور 500 برخورده است. این ارور گاهی به علت مشکلات اینترنت یا میزبانی سایت رخ می‌دهد و طبیعی است اما اگر تعداد صفحاتی که این ارور را برمی‌گردانند یا روزهایی که ربات این ارور را دریافت کرده است زیاد شد؛ باید نسبت به بهبود سرور خود اقدام کنید. مشکل سرور می‌تواند باعث بروز مشکلات زیادی برای سایت شود و سنگی در مسیر سئو سایت باشد.

Submitted URL marked ‘noindex’

این بخش در آپدیت جدید جای خود را به بخش Excluded by noindex tag داده است و دقیقا ویژگی‌های این بخش را دارد.

Blocked by page Removal Tool

در این بخش صفحاتی قرار می‌گیرند که توسط بخش Removal سرچ کنسول، از نتایج گوگل حذف شده‌اند. برای دسترسی به بخش Removal، باید دسترسی سرچ کنسول شما Owner باشد. در این صورت می‌توانید لینک صفحاتی که می‌خواهید از نتایج جستجو حذف شوند را در این بخش وارد کنید تا گوگل اقدامات لازم را انجام دهد. صفحاتی که در این بخش درخواست حذف آن‌ها را می‌دهید تا 90 روز از نتایج جستجو حذف می‌شوند اما ممکن است بعد از این مدت، حتی بدون درخواست شما، توسط گوگل index شوند. برای حذف دائمی یک صفحه از نتایج جستجو، باید از متاتگ noindex استفاده کنید.

Blocked due to unauthorized request (401)

ممکن است برخی صفحات سایت، برای بازدید نیاز به مجوز یا رمز عبور داشته باشند. ربات گوگل نمی‌تواند از سد موانع این صفحات رد شود و در صفحه شروع به خزیدن کند. راه‌حل این مشکل این است که درخواست مجوز برای صفحات سایت را به کلی حذف کنیم یا این‌که ربات‌های گوگل را همیشه مجاز شمرده و اجازه دهیم بدون نیاز به مجوز به صفحات سایت دسترسی داشته باشند.

Blocked due to access forbidden (403)

این مورد برای صفحاتی است که دسترسی آن‌ها برای گوگل بسته شده است. اما این نوع از بستن دسترسی برای گوگل، روش درست این کار نیست و بهتر است اگر تمایل نداریم صفحه‌ای index شود، دسترسی آن را با متاتگ noindex مسدود کنیم. ارور 403 نتیجه مسدود کردن دسترسی ربات گوگل از سرور است و بهتر است از این طریق اقدام به بستن دسترسی‌ها نکنیم.

Soft 404

این دسته از صفحات، آن‌هایی هستند که کد 200 برمی‌گردانند اما گوگل معتقد است باید کد 404 از آن‌ها دریافت می‌کرده است. این اتفاق زمانی رخ می‌دهد که محتوای صفحه ارور نشان دهد یا صفحه به‌طور کلی محتوا نداشته باشد. این موضوع باعث گیج شدن ربات‌های گوگل می‌شود و آن‌ها را در تشخیص وضعیت درست صفحه به اشتباه می‌اندازد.

نتیجه‌گیری

تحلیل در سئو همه‌چیز است. یک تحلیل درست می‌تواند ما را چند مرحله در اقدامات پیش‌رو جلوتر ببرد و در اولویت‌بندی و مشخص کردن استراتژی سئو سایت به ما کمک کند. پیش‌نیاز تحلیل درست، اطلاعات با کیفیت و جامع است. سرچ کنسول در تمام بخش‌های خود، بهترین و کامل‌ترین اطلاعات ممکن را در اختیار ما قرار می‌دهد. همانطور که گفته شد، یکی از مهم‌ترین و پرکاربردترین بخش‌ها در سرچ کنسول، بخش Pages است. این بخش با در اختیار گذاشتن اطلاعات جامع از وضعیت index سایت، به تصمیم‌گیری برای بهینه‌سازی فنی و محتوایی سایت به ما کمک می‌کند و ایرادات و اشکالات احتمالی سایت را به ما نمایش می‌دهد.

در این مقاله سعی شد موارد مختلف این بخش از سرچ کنسول توضیح داده شود اما نباید فراموش کرد که در سئو، یادگیری با  تجربیات عملی اتفاق می‌افتد. بنابراین بهتر است برای عمیق‌تر یادگرفتن بخش Pages سرچ کنسول، شروع به تحلیل و بررسی این ابزار کنید و نکات گفته شده در مقاله را به صورت عملی بررسی کنید.