ایندکس گوگل چیست ؛ بررسی دلایل ایندکس نشدن سایت در گوگل

یکی از دغدغه های وبمسترها دیر ایندکس شدن مطالب سایت یا ایندکس شدن سریع مطالب سایت در گوگل می باشد. راهکارهای مختلفی برای این مسئله وجود دارد که ازجمله آن ها : انتشار مطالب به صورت منظم و زمان بندی شده، عدم وجود مطالب تکراری در سایت، درخواست بیشتر از گوگل برای crawl، ثبت نقشه سایت در سرچ کنسول و به اشتراک گذاری مطالی در شبکه های اجتماعی می باشد. برای مدیران سایتها گاهی پیش می آید که مطالبشان چند ساعت پس از انتشار در گوگل دیده می شوند و سرعت ایندکس سایتشان بسیار بالاست ولی در بازه زمانی نامشخصی بصورت ناگهانی سرعت ایندکس شدن شان کم می شود. شاید بتوان سرعت ایندکس شدن سایت را با محتوی منتشر شده در آن و محدوده آپدیت شدن سایت در ارتباط مستقیم دانست.
اگر میبینید که مطالب سایت شما ایندکس نمی شوند باید حتما چک شود که مطالب کپی شده نباشد و بصورت اختصاصی برای شما نوشته شده باشد و همچنین با استفاده از سرویس هایی مانند ping-o-matic بعد از انتشار هر مقاله جدید در سایت میتوان موتورهای جست و جو را پینگ کرد تا به سراغ شما بیایند و مطالب جدید را ببینند. با این کار میتوان بعد از مدتی سرعت ایندکس مطالب را به حد استاندارد رساند. در بسیاری از مواقع که گوگل محتوی تکراری در سایتی پیدا کند یا سایتی دیر به دیر آپدیت شود گوگل هم نرخ ایندکس شدن مطالب آن را کم میکند.پس هرچه سایت فعال تری داشته باشید رفتار گوگل هم با سایت دوستانه تر خواهد بود!
در کنار دلایل بالا ممکن است هک شدن یا ویروسی بودن صفحات سایت هم دلیل کندی ایندکس یا ایندکس نشدن صفحات سایت باشد زیرا گوگل تا حد ممکن کاربران را به سمت این سایتها هدایت نمی کند و این سایتها اگر اصلاح نشوند از نتایج گوگل حذف می شوند.

ایندکس گوگل چیست؟

گوگل با کمک روبات های خود صفحات سایت را بررسی میکند و آنها را ایندکس یا شاخص میکند. اگر صفحه ای توسط گوگل ایندکس نشده باشد در نتایج جستجو هم نمایش داده نمیشود. برای سئو کاران و کلیه مالکان سایت مهم است که تمام صفحات سایتشان در گوگل شناخته شوند، در وب هنگامی که از ایندکس شدن صحبت می کنیم میخواهیم که تک تک صفحات سایت مان در گوگل ایندکس شوند. اگر به خواهیم به تعریف قبل از ایندکس برگردیم به اهمیت سایت مپ در ایندکس شدن صفحات میرسیم. سایت مپ ها برای روبات های گوگل تعیین می کنند که کدام صفحات به کدام صفحات ارتباط دارند. گاهی مشکل ایندکس نشدن یک صفحه تنها به این دلیل است که این صفحه به هیچ صفحه ای در سایت مرتبط نیست و گوگل نمیتواند ارتباط آن را با سایر صفحات تشخیص دهد. بنابراین هنگام ایجاد دسته بندی ها و ایجاد نقشه سایت به این نکته توجه کنید که کدام صفحات دسته بندی اصلی شما هستند و کدام صفحات زیر مجموعه ای از دسته بندی اصلی میباشند.

گوگل چگونه صفحات را برای ایندکس کردن تشخیص می دهد؟

روبات های گوگل به سایت های موجود در اینترنت مراجعه کرده و تمام فایل ها و صفحاتی راکه قادر به دسترسی به آنها باشند را خوانده و شناسایی می کنند. به این ترتیب صفحات سایت توسط گوگل ایندکس میشوند. قبل از اینکه صفحات اینترنتی ایندکس شوند، توسط خزنده گوگل این صفحات باید شناسایی شوند و سپس برای ایندکس ارسال گردند. در واقع روبات گوگل دو مرحله مجزا را طی می کند: خزش یا crawl کردن که در واقع پیدا کردن صفحات اینترنتی از طریق ارتباط لینک های بین آنهاست و Index کردن یا نمایه گذاری صفحات که شامل استخراج اطلاعات مرتبط با صفحات مختلف است.

آیا می توان ایندکس شدن صفحات در گوگل را بررسی و مدیریت کرد؟

جواب کوتاه به این سوال بله است. ولی بگذارید کمی این موضوع را بیشتر توضیح دهیم. گوگل مانند اکثر موتور های جستجوی پرمخاطب ابزار مدیریت سایت را در اختیار مالکان سایت ها قرار میدهد. ابزار گوگل برای مدریت سایت، گوگل وب مستر نام دارد . گوگل وب مستر بعد از راه اندازی، در پنل سمت چپ خود امکان مشاهده ایندکس شدن صفحات را در لینکی به نام google index به کاربران میدهد. این لینک دارای سه زیر شاخه به نام های Index Status ، Blocked Resources،Remove URLs است.

هر یک از این زیر شاخه های به شما امکان مطالعه و بررسی خاصی را میدهد . مثلا گزینه اول صفحات ایندکس شده را بررسی می کند . گزینه دوم بررسی منابعی است که هاست مانع دسترسی گوگل به آنها میشود و گزینه سوم هم لینکهای حذف شده و یا صفحاتی که به روبات گوگل اجازه دسترسی نمیدهند را مشخص می کند.

خدمات وب24: طراحی سایت با وردپرس و کدنویسی اختصاصی

آیا سایت شما ایندکس شده است؟

ابزارهای در دسترس زیادی وجود دارند که به شما کمک می‌کنند تا تعیین کنید که آیا وبسایت ایندکس شده است یا خیر. ایندکس شدن در مرکز خود فرایندی در سطح صفحه است. به عبارت دیگر، موتورهای جستجو، صفحات را می‌خوانند و آنها را به طور جداگانه فهرست می‌کنند. یک روش سریع برای بررسی اینکه که آیا صفحه توسط گوگل ایندکس شده است یا خیر، استفاده از سایت: operator با جستجوی گوگل است. فقط دامنه را مانند آنچه که در تصویر زیر آمده است وارد کنید، در نتیجه به شما همه صفحات دامنه که توسط گوگل ایندکس شده است را نشان خواهد داد. همچنین می‌توانید URL صفحه خاصی را وارد کنید تا ببینید که صفحه به صورت تکی ایندکس شده است یا خیر. 

دلایل ایندکس نشدن سایت در گوگل

اگر سایت یا صفحه‌ای ایندکس نشده است، بیشترین متهم معمول این است که متا تگ robots در صفحه استفاده شده است یا استفاده نابجا از disallow در فایل robots.txt شده است. هر دو متاتگ‌هایی که در سطح صفحه و نیز robots.txt هستند، دستورالعمل‌هایی برای ربات‌های ایندکس موتور جستجو در مورد نحوه برخورد با محتوای صفحه یا وبسایت شما می‌دهند. (Disallow برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه)
تفاوت این است که متاتگ‌های robots بر روی صفحه‌ای جداگانه نمایش داده می‌شوند، در حالیکه فایل robots.txt دستورالعمل‌هایی برای سایت به طور کلی ارائه می‌دهد. با این حال در فایل robots.txt، می‌توانید صفحات یا دایرکتوری‌ها را مشخص کنید و اینکه چگونه باید ربات‌ها در زمان ایندکس شدن با این نواحی رفتار کنند. در ادامه بررسی می‌کنیم که چگونه از هر کدام استفاده کنیم.

 Robots.txt

اگر مطمئن نیستید که آیا سایت شما از فایل robots.txt استفاده کرده یا خیر، یک روش ساده برای بررسی وجود دارد. دامنه خود را در یک مرورگر و به دنبال آن /robots.txt را وارد کنید. در اینجا مثالی با استفاده از سایت آمازون آورده شده است (https://www.amazon.com/robots.txt).

همچنین کنسول جستجوی گوگل یک ابزار تستر robots.txt مناسب دارد که به شما کمک می‌کند خطاها را در فایل robots خود شناسایی کنید. همچنین می‌توانید صفحه‌‌ای را در سایت با استفاده از نوار پایین تست کنید که آیا فایل‌های robots شما در فرم رایج آن مسدود کننده ربات گوگل است یا خیر. 

اگر یک صفحه یا دایرکتوری در سایت disallowed باشد (یا ایندکس نشده باشد)، پس از Disallow در فایل robots ظاهر خواهد شد. همانطور که در مثال بالا نشان داده شده است، فولدر صفحه فرود (/lp/) از ایندکس شدن با استفاده از فایل robots رد (disallowed) شده است؛ به عبارت دیگر این فولدر ایندکس نشده است. اینکار هر صفحه‌ای را که در دایرکتوری وجود دارد از ایندکس شدن آن توسط موتور جستجو جلوگیری می‌کند. 
گزینه‌های جالب و پیچیده‌ بسیاری وجود دارند که می‌توانید فایل robots را به کار برید. سایت توسعه دهندگان گوگل دارای خلاصه همه روش‌های عالی است که می‌توانید از فایل robots.txt استفاده کنید. در اینجا چند تایی آورده شده است:

متاتگ Robots

متاتگ robots در هدر (header) یک صفحه قرار می‌گیرد. به طور معمول نیازی به استفاده از هر دوی متا تگ robots و فایل robots.txt وجود ندارد تا از ایندکس شدن صفحه خاصی جلوگیری کنید. 
کنسول جستجو در تصویر بالا، لازم نیست متاتگ robots را به همه صفحات فرود در فولدر صفحه فرود (/lp/) اضافه کنید تا گوگل از ایندکس شدن آنها جلوگیری کند، زیرا این فولدر از ایندکس شدن با استفاده از فایل robots.txt جلوگیری شده است. همچنین متاتگ robots دارای عملکردهای دیگری می باشد. برای مثال، می‌توانید به موتورهای جستجو بگویید که لینک‌های موجود در کل صفحه نباید برای اهداف بهینه‌سازی موتور جستجو دنبال شوند. این کار می‌تواند در شرایط خاصی مانند صفحات منتشر کننده مطبوعات اعمال شود. 

شاید دو دستورالعملی که اغلب برای سئو با این تگ‌ها استفاده می‌شوند noindex/index و nofollow/follow هستند:

• Index follow: به طور پیش فرض می‌باشد. ربات‌های ایندکس موتور جستجو باید اطلاعات مرتبط با صفحه را ایندکس کنند. ربات‌های ایندکس موتور جستجو باید لینک‌های موجود در این صفحه را دنبال کنند.
• Noindex nofollow: موتورهای ایندکس موتور جستجو نباید اطلاعات موجود در صفحه را ایندکس کنند. ربات‌های ایندکس موتور جستجو نباید لینک‌های موجود در این صفحه را دنبال کنند.

سایت توسعه دهنده گوگل همچنین توضیح کاملی در مورد استفاده از متاتگ‌های robots دارد. 

نقشه‌های سایت XML

هنگامی که صفحه جدیدی در سایت دارید، به طور معمول می‌خواهید موتورهای جستجو صفحه را پیدا کرده و به سرعت ایندکس کند. یکی از راه‌های کمک برای انجام این کار استفاده از نقشه سایت XML و ثبت آن با موتورهای جستجو است. XML مخفف eXtensible markup language یا زبان نشانه‌گذاری قابل توسعه است. 
نقشه‌های سایت XML به موتورهای جستجو کمک می‌کنند تا هوشمندانه‌تر با صفحات سایت شما برخورد کنند و بنابراین سرعت پیدا کردن صفحات سایت و شانس نمایش صفحات در موتور جستجو افزایش پیدا خواهد کرد.  این مخصوصا در زمانی مفید است که شما محتوای جدیدی دارید که احتمالا لینک‌های ورودی (بک‌لینک) بسیاری که به آن اشاره شده، ندارد و برای ربات‌های موتور جستجو سخت‌تر می‌شود تا لینکی را دنبال کنند و آن محتوا را بیابند. در حال حاضر سیستم‌های مدیریت بسیاری از محتوا قابلیت ساخت نقشه سایت XML یا دسترسی از طریق یک پلاگین مانند پلاگین Yoast SEO برای وردپرس را دارند.

آموزش کار با افزونه وردپرسی یواست (Yoast seo) 

مطمئن شوید که یک نقشه سایت XML دارید و آن از طریق کنسول جستجوی گوگل و ابزار وبمستر بینگ ثبت شده است. این تضمین می‌کند که گوگل و بینگ می‌دانند در کجا نقشه سایت قرار گرفته و می‌تواند به طور مداوم برای ایندکس به آن مراجعه کند. چگونه سریع می‌تواند محتوای جدید با استفاده از این متد ایندکس شود؟ تستی انجام شد و معلوم شد که محتوای جدیدی توسط گوگل تنها در 8 دقیقه ایندکس شده است و این در زمانی بود که تب‌های مرورگر تغییر داده شد، دستور site: operator  را اجرا کنید. بنابراین خیلی سریع است!

جاوا اسکریپت

در سال 2011، گوگل اعلام کرد قادر به اجرای جاوا اسکریپت و ایندکس برخی از عناصر دینامیک است، با این حال، گوگل همیشه قادر نیست تا همه جاوا اسکریپت‌ها را اجرا و ایندکس کند. در کنسول جستجوی گوگل، ابزار the Fetch and Render می‌تواند به شما کمک کند که ببینید آیا ربات گوگل قادر است محتوای شما در جاوا اسکریپت را ببیند یا خیر.

در این مثال، وبسایت دانشگاه از ترکیب جاوا اسکریپت و XML ناهمگام (AJAX) استفاده می‌کند که شکلی از جاوا اسکریپت است. این کار برای ایجاد منویی از دوره است که به قسمت‌های خاصی از موضوع تحصیلی لینک می‌شود.
ابزار Fetch and Render به ما نشان می‌دهد که ربات گوگل قادر نیست تا محتوا و لینک‌های مشابه را ببیند؛ این بدان معناست که ربات گوگل نمی‌تواند لینک‌ها در جاوا اسکریپت برای صفحات دوره عقب‌تر در سایت ببیند.

سئو سایت های جاوا اسکریپتی

موتور جستجوی گوگل چگونه کار می کند؟

برای درک بهتر ایندکس شدن صفحات در گوگل میتوانیم نگاهی به نحوه جستجو سایت ها توسط گوگل بیاندازیم. گوگل این امکان را دارد که در سرور سایت ها به فایل ها و صفحات سایت دسترسی داشته باشد . مراحل سرچ گوگل عبارتند از:

Crawling : این مرحله از جستجو باعث میشودکه گوگل از وجود سایت شما اگاه شود. برای معرفی سایت به گوگل کافیست که در گوگل وب مستر سایت خود را اضافه کنید.

Indexing: در این مرحله گوگل تمام صفحات سایت را بررسی می کند. اگر در این قسمت برخی از صفحات سایت را گوگل نمی تواند تشخیص دهد؛ باید قبل از هر کاری فایل سایت مپ را چک کرده و بعد از آن هم فایل

robots.txt را بررسی کنید . این فایل میتواند جلوی خوانده شدن برخی صفحات را توسط ربات های گوگل بگیرید.

افزودن صفحات به ایندکس گوگل

اگر بخواهیم صفحاتی را که ایندکس نشده اند را به گوگل معرفی کنیم بعد از بررسی سایت مپ و فایل روبوت تکست باید در گوگل وب مستر از گزینه Fetch as Google استفاده کنیم این گزینه در پنل سمت چپ گوگل وب مستر و در زیر شاخه Crawl قرار دارد با ورود به این قسمت صفحه ای برای شما اشکار میشود که میتوانید آدرس صفحات ایندکس نشده را در آن وارد کنید. آدرس وارد شده در این قسمت باید کامل باشد به این مثال نگاه کنید : http://example.com/adobe/photoshop/retouch.aspx شما باید آدرس صفحه خود را به همین صورت در این کادر وارد کنید. دکمه fetch پردازش سریعتری ارائه خواهد داد.

روش های عملی افزایش سرعت ایندکس مطالب سایت در گوگل و سایر موتورهای جست و جو

به صورت خلاصه میتوان این روشها را بصورت زیر تقسیم بندی کرد :

1. برنامه زمانی برای انتشار مطالب و آپدیت کردن منظم سایت
2. جلوگیری از انتشار مطالب کپی شده از سایر سایتها و همچنین محتوای کپی در داخل سایت
3. افزایش دستی سرعت خزش یا crawl rate از پنل سرچ کنسول (توسط گوگل چندان توصیه نمی شود)
4. ثبت نقشه سایت در سرچ کنسول
5. فعالیت  و انتشار مطالب سایت در شبکه های اجتماعی
6. ایجاد لینک داخلی بین صفحات سایت
7. بهینه سازی تصاویر موجود در مطالب
8. افزایش سرعت سایت و استفاده از هاست مناسب و قابل اعتماد
9. بستن مسیر خزنده ها با استفاده از فایل robots.txt
10. پینگ دستی و خبردار کردن گوگل از انتشار مطالب جدید در سایت

که در ادامه تک تک این روشها را توضیح میدهیم.

برنامه زمانی برای انتشار مطالب جدید:

موتورجستجوگر گوگل از بی نظمی و مطالب تکراری خوشش نمی آید و این را بدانید اعتبار محتوای شما مهم است و این محتوا زمانی معتبر شناخته میشود که تکراری نباشد و جذابیت لازم را داشته باشد و نکات کاربردی و مفید را برای کاربران ارائه دهند، زمانی که کاربر جذب محتوای شما شد، شاخک های گوگل تیز میشود و مطالب را مورد حمایت قرار میدهند. برنامه زمانبندی هم به این معناست که وقتی شما مرتب و طبق برنامه مطالب را قرار میدهید، این باعث میشود ربات ها و خزنده های موتورهای جستجوگر بیشتر شما را رصد کنند و برایشان جالب توجه باشید و مدام به شما سر بزنند.

محتوا مهم ترین بخش از سایت شما و همچنین مهم ترین بخش سایت برای موتورهای جست و جو است که از طریق آن به سایت شما میرسند. هر چه بیشتر محتوا ایجاد کنید و مطالب را در بازه های زمانی کمتری منتشر کنید کمک میکند که نرخ ایندکس سرعت صفحات سایت شما بیشتر شود.
سرعت انتشار بالای محتوا در سایت یکی از مهم ترین عوامل دخیل در افزایش سرعت ایندکس سایتها است و به همین دلیل است که سایتهای خبری نرخ ایندکس بسیار خوبی دارند چون در این سایتها سرعت انتشار مطالب جدید به حدی زیاد است که خزنده گوگل از سایت خارج نمیشود و هنگامی که مطلب جدیدی منتشر میشود بلافاصله آن را ایندکس میکند.

در حالت ایده آل باید 3 مطلب جدید در طول هفته منتشر کنید تا سرعت ایندکس سایت تان مناسب باشد.

مراقب محتوای تکراری باشید

اگر از آن دسته سایتهایی هستید که فقط مطالب دیگر سایتها را کپی و منتشر میکنید پس نباید توقع سرعت ایندکس بالا داشته باشید زیرا وقتی خزنده های گوگل وارد سایت شما میشوند و مطلبی از سایت شما را اسکن میکنند و متوجه میشوند قبلا این مطلب در سایت دیگری منتشر شده پس شما را به عنوان کپی کننده تشخیص میدهند و همین موضوع باعث میشود که به مرور زمان سرعت ایندکس صفحات سایت شما کمتر و کمتر شود.
همچنین باید توجه کنید محتوای داخلی صفحات مختلف سایت شما هم نباید تکراری باشد یعنی نباید هیچ مطلبی در دو صفحه جداگانه از سایت شما منتشر شود چون این کار هم باعث کاهش سرعت ایندکس صفحات سایت میشود.

خزنده ها را خودتان هدایت کنید:

خزنده ها و ربات های گوگل به وب سایت شما سر میزنند، اما اینکه مطمئن باشید مطالب را ایندکس کرده اند یا خیر، مطلب مهمی است که باید به آن توجه کنید. برای سهولت کار میتوانید به موارد زیر دقت کنید:

• بارگذاری صفحات سایت باید پرسرعت باشد،این سرعت بارگذاری سایت در بهینه سازی بسیار موثر است و سبب میشود کاربران هم سایت شما را ترک نکنند چه برسد به خزنده ها که زمان زیادی را در سایت نمی مانند.
• مطالب تکراری در وبسایت : آیا مطالب شما از طریق چند آدرس باز میشوند؟ اگر پاسخ بله است باید با روش های گوناگون آدرس های تکراری را حذف کنید.زیرا در صورت باز شدن یک پست از چند آدرس محزا گوگل نمیتواند تشخیص بدهد کدام آدرس را باید به عنوان آدرس اصلی فرض کند و در نتیجه ممکن است به کل آن مطلب را در نظر نگیرد.
• صفحات از بین رفته : آیا وبسایت شما همیشه در دسترس بوده است؟ ممکن است زمان هایی باشد که به دلایل مختلف وبسایت از دسترس خارج شده باشد. گوگل بخشی مفید دارد به نام Crawl Errors که به شما لیستی از صفحات را میدهد که نتوانسته به آنها دسترسی پیدا کند شما با بررسی صفحات میتوانید مشکلات را رفع کنید و گوگل را مجاب کنید دوباره به وبسایت شما سر بزند.

افزایش سرعت خزش سایت Crawl rate:

گوگل سرچ کنسول ابزاری دارد که شما میتوانید درخواست دهید سایت شما بیشتر توسط خزنده ها مورد بررسی قرار بگیرد و بازدید شود. ممکن است سایت شما مطالب زیادی داشته باشد که مورد توجه قرار نگرفته است از پنل مدیریتی گوگل وبمستر خود در گزینه تنظیمات crawl rate را انتخاب کنید. البته زیاد کردن این گزینه شاید خیلی هم جالب نباشد چون گوگل خودش میتواند تخمین بزند چقدر به سایت شما سر بزند.

نقشه سایت خود را ثبت کنید:

به روز رسانی در سایت خود را در نقشه سایت خود رسم کنید و آن را لحاظ کنید، اگر تغییراتی در کل سایت ایجاد میکنید لطفا بدانید نقشه سایت عنصر بسیار مهمی است و به نوعی خود شما مسیر ها و آدرس ها را به گوگل و خزنده ها میدهید به نوعی که شناسایی بهتری نسبت به سایت شما خواهند داشت. البته تضمینی برای این نیست که گوگل از شرایط شما پیروی کند اما توصیه کرده که در سایت خود و اکانت گوگل وبمسترتان آن را لحاظ کنید.

هنگامی که نقشه سایت را در سرچ کنسول گوگل ثبت می کنید به خزنده های گوگل کمک می کنید که ساختار و مسیرهای دسترسی به مطالب سایت شما را بهتر تشخیص دهند و بتوانند با سرعت بیشتر مطالب شما را پیدا کرده و در ایندکس گوگل قرار بدهند.

خدمات وب24: طراحی سایت فروشگاهی با کدنویسی اختصاصی

 شبکه های اجتماعی:

اسپایدر ها و خزنده ها در شبکه های اجتماعی هم مشغول گشت و گذار هستند و منتظر فرصتی می باشند که لینک هایی را فراخوانی کنند و زمانی که لینک مطالب شما در شبکه های مختلف اجتماعی وجود دارد به نوعی آن را جذب میکنند و اعتبار سنجی می نمایند. این عمل در ایندکس سریع مطالب اهمیت دارد. وقتی شما مطلبی را در شبکه های اجتماعی منتشر می کنید ممکن است خزنده های موتور جست و جو به آن برخورد کرده و از طریق دنبال کردن لینک آن به سایت شما برسند و به این ترتیب بتوانند آن صفحه را در سایت شما ایندکس کنند.

خزنده ها بصورت همیشگی در شبکه های اجتماعی حضور دارند و مطالب منتشر شده را در کوتاه ترین زمان ممکن دنبال و ایندکس میکنند.

محتوای فعال داشته باشید:

اسپایدرها سریعا جذب مطالب جدید و به روز میشوند. اگر شما سیسم بلاگ دارید بهترین پلتفرم است چون با استفاده از این سیستم میتوانید به راحتی مطالب به روز قرار دهید و سایت شما شناخته می شود. سایتهایی که فقط چند صفحه ثابت و بدون تغییر و بروز رسانی دارند نباید توقع ایندکس سریع مطالب خود را داشته باشند زیرا خزنده ها تمایل چندانی به اینگونه سایتها ندارد و در فاصله های زمانی طولانی وارد این سایتها می شوند.

پس اگر یک سایت شرکتی دارید که دارای چند صفحه ثابت و بدون تغییر است باید در کنار آن یک بخش وبلاگ هم اضافه کنید و در آن بخش اخبار و مقالات تخصصی مرتبط با کسب و کار خود را بصورت منظم منتشر کنید. این کار باعث میشود کرالر ها با سایت شما آشتی کنند!

ایجاد لینک های داخلی:

بین مطالب خود پل های ارتباطی قرار دهید. اگر مطلبی مینویسید که کلماتی دارد که در نوشته های قبلی آن را ذکر کردید لطفا لینک آن را فراموش نکنید. در هیچ کاری افراط نکنید چون لینک دهی داخلی خارج از عرف هم به نوعی دفع کننده است. لینک های داخلی پل های ارتباطی وبسایت هستند اگر سایت شما ساختار درستی از لینک های داخلی ندارد پس هیچ پل ارتباطی بین مطالب شما وجود ندارد. لینک های داخلی با ایجاد پل ها باعث میشوند مطالب شما بیشتر در دید اسپایدرها قرار بگیرند و آنها سریع تر از به روز رسانی سایت شما باخبر شوند.

با ایجاد لینک داخلی باعث می شوید هم کاربران  سایت شما و هم خزنده های گوگل وقتی یک صفحه از سایت شما را ایندکس می کنند تمامی لینک های موجود در آن صفحات را هم دنبال کرده و از این طریق به سایر صفحات سایت شما می رسند و به این ترتیب خزنده ای که برای ایندکس یک صفحه وارد سایت شما شده بود به چندین صفحه از سایت هدایت میشود و ممکن است این کار باعث شود صفحاتی که در گذشته از دید کرالر هاه جا مانده بودند این بار صفحات سایت را پیدا کرده و آنها را ایندکس کنند.

بهینه سازی تصاویر

شاید عجیب به نظر برسد اما حقیت دارد بله حتی بهینه سازی تصاویر شما در سریع تر ایندکس شدن مطالب تاثیر دارند.هر پارامتری که در On Page مورد بررسی قرار میگرد در سریع تر شدن ایندکس مطالب شما تاثیر دارند. بهینه سازی تصاویر باعث میشود گوگل کل محتوا را سریع تر و مفید تر مورد بررسی قرار دهد و در نتیجه سریع تر بتواند به ایندکس خود اضافه کند. 

افزایش سرعت سایت

خزنده های موتورهای جستجو، وب سایت های کند را دوست ندارند. اگر سرعت لود صفحات شما کند باشد، خزنده ها وقت خود را برای سایت شما تلف نمی کنند و به سراغ سایر وب سایت های اینترنتی که سرعت مناسبی دارند می روند، بنابراین افزایش سرعت لود صفحات باعث می شود که خزنده ها هم سریعتر به سایت شما سر بزنند.

امیدواریم که در نهایت بتوانید با رعایت موارد فوق، سرعت ایندکس مطالب خود در گوگل را افزایش دهید، در نظر داشته باشید که افزایش سرعت ایندکس شدن مطالب ارتباطی به رتبه بندی سایت شما در گوگل ندارد و کمکی به بهود رتبه بندی سایت شما در گوگل نخواهد کرد.

برای میزبانی سایت خود باید از سرویس دهنده و هاست مناسب و پر سرعت استفاده کنید. خزنده های گوگل Google Crawlers در بازه های زمانی مختلفی به سایت شما سر میزنند تا مطالب جدید را ایندکس کنند و اگر در آن زمان سایت شما در دسترس نباشد و این اتفاق چند بار تکرار شود، خزنده ها این بازه زمانی را بیشتر میکنند و دیرتر به سایت شما سر می زنند.
به همین دلیل استفاده از هاست ارزان و بی کیفیت که مرتبا قطع میشود میتواند ضرر جدی به رتبه های گوگل و ایندکس سایت شما بزند.

بستن مسیرهای نامناسب برای خزنده ها از فایل robots.txt

در تمامی سایتها صفحات زیادی وجود دارند که نیازی نیست در ایندکس گوگل باشند مانند صفحات پنل مدیریت سایت یا صفحات پنل اعضا و اینگونه صفحات که جزئی از حریم خصوصی سایت شما هستند و ایندکس شدن آنها تاثیری در سئو سایت ندارد پس میتوانید با استفاده از فایل robots.txt دسترسی خزنده های تمامی موتورهای جست و جو را به این فایل ها و فولدرهای خصوصی سایت خود محدود کنید و با این کار فقط صفحات ارزشمند سایت خود را در دید خزنده ها قرار دهید که این کار هم در افزایش سرعت ایندکس صفحات سایت تاثیر بسزایی دارد.

استفاده از سرویس های پینگ برای افزایش سرعت ایندکس

گاهی اوقات وقتی مطلب جدیدی در سایت تان منتشر میکنید و بعد از چند روز مطالب شما ایندکس میشوند میتوانید با کمک روش هایی گوگل را پینگ کنید تا متوجه شود شما مطلب جدیدی منتشر کرده اید یا در صفحات قبلی سایت خود تغییراتی ایجاد کرده اید و با این کار مجددا خزنده ها را به سایت خود هدایت کنید.برای این کار از روش های زیر میتوانید استفاده کنید:

1. استفاده از URL Inspection در پنل سرچ کنسول گوگل و درخواست ایندکس مطلب تازه منتشر شده یا تغییر پیدا کرده
2. استفاده از submit url که برای این کار کافی است به سایت گوگل بروید و در کادر جست و جو عبارت submit url را وارد و دکمه جست و جو را بزنید و سپس در صفحه نتایج کادری را می بینید که میتوانید آدرس مطلب سایت تان را در ان وارد کرده و دکمه submit را بزنید.
3. روشی هم برای پینگ دستی گوگل وجود دارد و آن استفاده از سایت pingomatic است.این سایت متعلق به سازمان وردپرس است و با استفاده از آن میتواند گوگل و چندین سرویس دهنده دیگر را بصورت همزمان پینگ کنید تا خزنده های خود را برای ایندکس مجدد به سایت شما بفرستند

دلایل رایج ایندکس نشدن سایت توسط گوگل

1- کدها غیر از 200 (OK) را پاسخ می‌دهند

در صورتی که صفحات شما یک کد پاسخ سرور 200  (OK) را ایجاد نکنند، انتظار نداشته باشید موتورهای جستجو آنها را ایندکس کنند (OK یا پاسخ موفق، زمانی است که درخواست در وب سرور با موفقیت پردازش شود و محتوا را به مرورگر بازگرداند، اکثرا درخواست های http در این وضعیت هستند). گاهی اوقات URLها که به طور تصادفی ریدایرکت می‌شوند خطاهای 404 یا 500 بسته مسائل CMS، مسائل مربوط به سرور یا خطای کاربر ایجاد می‌کنند. برای اطمینان از اینکه URL برای صفحه شما به درستی بارگذاری شده، یک بررسی سریع انجام دهید. اگر آدرس صفحه بارگذاری می‌شود و شما آن را می بینید، احتمالا خوب است. اما می‌توانید همیشه URLهایی را از طریق HTTPStatus.io برای تأیید راه‌اندازی کنید.

2- توسط Robots.txt بلاک (مسدود) شده است

فایل /robots.txt در وبسایت شما (به عنوان مثال در http://www.domain.com/robots.txt واقع شده) دستورات خزیدن (کراول) به گوگل می‌دهد. اگر صفحه خاصی از وبسایت شما توسط گوگل ایندکس نشده، اینجا اولین مکانی است که باید بررسی کنید. در صورتی که صفحه‌ای بر روی سایت قبلا ایندکس شده است و اکنون توسط robots.txt مسدود شده است، گوگل ممکن است پیامی نشان دهد مبنی بر اینکه «صفحه در دسترس نیست به این دلیل که فایل robots.txt در URL قرار دارد». پیام در تصویر زیر نشان داده شده است:

3- متا تگ ربات‌های Noindex

یکی دیگر از دلایل رایج اینکه چرا ممکن است صفحات در گوگل ایندکس نشوند این است که ممکن است متا تگ « noindex» در <head> صفحه داشته باشید. هنگامی که گوگل این متا تگ robots را می‌بیند یک دستور واضح است که نباید صفحه را ایندکس کند. گوگل همیشه به این دستور احترام می‌گذارد و می‌تواند به چند شکل بسته به نحوه کد گذاری آن باشد:

• Noindex، follow
• Noindex، nofollow
• Noindex، follow، noodp
• Noinde، nofollow، noodp
• Noinde

در اینجا نمونه ای از اسکرین شات آورده شده است در مورد آنچه که در <head> یک صفحه می‌تواند به نظر برسد:

برای بررسی اینکه صفحه شما آیا دارای متا تگ ربات‌های noindex است، منبع کد را مشاهده کنید و کد را در <head> دنبال کنید. اگر وبسایت شما با جاوا اسکریپت رندر شده است، ممکن است لازم باشد از ویژگی Inspect Element گوگل کروم برای مشاهده <head> به طور صحیح استفاده کنید. 

4- تگ X-Robots Noindex

شبیه متا تگ robots، یک تگ X-robots توانایی کنترل کردن ایندکس شدن در گوگل را از طریق یک تگ سطح صفحه (page-level tag) فراهم می‌کند. با این حال، این تگ در هدر پاسخ یک صفحه خاص یا سند استفاده می‌شود. این تگ معمولا بر روی صفحات غیر HTML استفاده می‌شود که هیچ <head> وجود ندارد مانند فایل‌های PDF، فایل‌های DOC و سایر فایل‌هایی که وبمستران مایل نیستند در گوگل ایندکس شود. 

5- محتوای تکراری داخلی در وب سایت

تکرار محتوای داخلی یک ریسک برای هر سئو کاری است. محتوای تکراری داخلی ممکن است باعث شود گوگل صفحه شما را ایندکس نکند، اما نسبت‌های زیاد محتوای تکراری در صفحات شما احتمالا باعث خواهد شد که رتبه‌بندی خوبی نگیرید. بنابراین اگر صفحه خاصی دارید که مقدار زیادی محتوای مشابه با صفحه دیگر در سایت شما دارد ممکن است این دلیلی باشد که صفحه شما در گوگل ایندکس نشده و یا رتبه‌بندی خوبی نگیرد. 

برای بررسی محتوای داخلی تکراری، پیشنهاد می‌شود که از ابزار Siteliner برای کراول شدن وبسایت خود استفاده کنید. این ابزار به شما همه صفحات با محتوای تکراری را گزارش می‌دهد و همچنین به شما یه نمایه گرافیکی از اینکه چند محتوا بر روی وبسایت شما تکرار شده است را نشان می‌دهد.

گوگل به وضوح در راهنمای کنسول جستجوی خود بیان می‌کند که وبسایت‌ها باید محتوای مشابه را به حداقل برسانند. ممکن است که صفحاتی بر روی سایت با محتوای بسیار مشابه بتوانند هنوز تا حدی رتبه بگیرند، با این حال صفحاتی که دقیقا محتوای مشابهی دارند احتمالا از نتایج جستجوی گوگل به سرعت جدا خواهند شد. این صفحات ممکن است از نتایج جستجو تحت اطلاعیه‌ای مانند زیر حذف شوند:

6- محتوای تکراری خارجی

محتوای تکراری خارجی بدان معناست که ممکن است محتوای وبسایت شما از دیگر وبسایت‌ها کپی شده باشد. نسبت‌های زیاد محتوای تکراری یک نشانه مطمئن برای گوگل از محتوایی با کیفیت پایین است و باید با هر هزینه‌ای از آن دوری کرد. مهم نیست که آیا وبسایت شما یک سایت بازاریابی با تولید مشتری راغب (lead generation)، فروشگاه تجارت الکترونیک، پلتفرم انتشار آنلاین یا وبلاگ شخصی  است، برای همه قواعد مشابه اعمال می‌شود.

یک راه برای تشخیص دادن اینکه محتوای شما با سایت‌های دیگر تکراری است این است که یک اسنیپت از محتوا را به صورت نقل قول در جستجوی گوگل قرار دهید که نشان می‌دهد به عنوان مثال توضیحات محصولی با تعدادی از دیگر سایت‌ها تکراری است. اما لازم به ذکر است که برندهای معتبر احتمالا در نتایج جستجوی گوگل با محتوای تکراری رتبه خوبی خواهند داشت. با این حال، سایت‌هایی با اعتبار کمتر ممکن است به طور کامل ایندکس نشوند و یا رتبه خوبی با محتوای تکراری مانند توضیحات محصول ارائه شده توسط تولید کننده در سایت آن نگیرند. برای اطلاعات بیشتر می‌توانید به بلاگ" تاثیر محتوای تکراری بر سئو " مراجعه کنید.

برای بررسی محتوای تکراری خارجی، پیشنهاد می‌شود که از Copyscape برای اینکه نقشه سایت شما یا یک مجموعه خاصی از URLها کراول می‌شوند یا نه استفاده کنید. این ابزار یک گزارش بسیار مفید در مورد محتوای تکراری سایت شما نسبت با سایت‌های دیگر را گزارش می‌دهد. در تصویر زیر اسکرین شات از آن چیزی است که نشان داده می‌شود.

7- به طور کلی نبود ارزش برای ایندکس شدن از نظر گوگل 

همچنین ممکن است یک صفحه خاص یا کل وبسایت شما بسیار بد باشد تا آنجا که ارزش کافی برای ایندکس شدن از نظر گوگل را نداشته باشد. برای مثال سایت‌های همکاری در فروش (affiliate sites) که چیزی جز تبلیغات پویا ایجاد نمی‌کنند برای کاربر ارزش کمی دارد. گوگل الگوریتم خود را برای جلوگیری از رتبه‌بندی چنین سایت‌هایی تصحیح کرده است. 

8- وبسایت هنوز جدید و تأیید نشده است

وبسایت‌های جدید توسط گوگل و موتورهای جستجوی دیگر به سرعت ایندکس نمی‌شوند. از لینک‌ها و سایر سیگنال‌ها، گوگل ایندکس می‌کند و بنابراین یک وبسایت در نتایج جستجویش رتبه می‌گیرد.  به همین دلیل است که ساخت لینک یا لینک بیلدینگ به ویژه برای وب سایت های جدید بسیار مهم است. 

برای آموزش لینک بیلدینگ به صورت کامل و اصولی روی آن کلیک کنید.

9- زمان بارگذاری صفحه

اگر سایتی دارید که صفحات آن بسیار آهسته بارگذاری می‌شوند و مشکل آنها برطرف نشده گوگل رتبه شما را کاهش داده و حتی ممکن است از فهرست جستجوی موتور خود آن را خارج کند. به طور کلی، صفحه به سادگی رتبه آن پایین می‌آید اما به بدی آن نیست که اصلا ایندکس نشود. 

برای بررسی زمان بارگذاری صفحه می‌توانید از ابزار Google’s Page Speed Insights یا ابزار GTMetrix استفاده کنید. در تصویر زیر نمونه‌ای از گزارش که توسط ابزار گوگل ارائه شده نشان داده شده است:

10- صفحات یتیم (Orphaned)

گوگل، وبسایت شما (و نقشه سایت XML) را برای یافتن لینک‌هایی به مطالب شما، بروز رسانی ایندکس خود کراول می‌کند و رتبه‌بندی‌های سایت شما در نتایج جستجوی خود (از جمله عوامل دیگر) تحت تأثیر قرار می‌دهد. اگر گوگل نتواند لینکی را به مطالب شما یا بر روی سایت شما یا یک سایت خارجی پیدا کند، در نتیجه برای گوگل وجود ندارد و آن ایندکس نخواهد شد. صفحات بدون لینک‌های داخلی به عنوان صفحات یتیم نامیده می‌شوند و آنها می‌توانند دلیل کاهش ایندکس در گوگل باشند. برای تعیین اینکه صفحه یا صفحات شما قابل یافتن هستند، پیشنهاد می‌شود برای کراول شدن سایت خود از ابزاری مانند Screaming Frog استفاده کنید و سپس برای URLهای خاص در سؤال جستجو کنید. در اینجا مثالی از آنچه که می‌بینید آورده شده است:

یک روش قوی‌تر برای بررسی صفحات یتیم این است که URLها را از Screaming Frog crawl فرستاده و یک صفحه گسترده‌ای تهیه کنید که URLها با نقشه سایت XML همگام سازی شوند. این امر به شما اجازه خواهد داد فوری همه URLهایی که در نقشه سایت XML شما وجود دارند را شناسایی کنید اما در طی کراول کشف نمی شوند. به یاد داشته باشید که تنظیمات کراول شما می‌تواند امر کند که URLها کراول شوند.

دلایل دیر ایندکس شدن سایت 

1- طراحی نامناسب سایت

اگر ساختار و طراحی سایت به گونه‌ای باشد که گوگل نتواند لینک‌های مورد استفاده شما را در سایت پیدا کند و همچنین برای یافتن محتوای سایت شما دچار مشکل شود، بنابراین ایندکس شدن سایت شما با مشکل روبرو خواهد شد. بسیاری از تکنولوژی های مرتبط با وب نیز ممکن است چنین اختلالی را در سایت شما ایجاد کنند، این موضوع باید توسط برنامه نویس سایت مورد بررسی قرار گیرد و رعایت شود.

2- نبود لینک‌های داخلی و خارجی مناسب در سایت

صفحات وبسایت شما باید حداقل به یکی دیگر از صفحات موجود در وبسایت یا وبسایت‌های دیگر لینک شوند. موتورهای جستجوگر در نتایج خود، صفحاتی را که به صفحه‌ای داخلی همان سایت یا صفحه‌ای خارجی (سایت دیگر) لینک نمی‌شوند را ایندکس نخواهند کرد. به این دلیل که گوگل به راحتی آن صفحه را پیدا نمی‌کند و نمی‌تواند تغییرات آن را دنبال کند. 

3- سرعت بارگذاری سایت

در صورتی که سرعت لود صفحات سایت شما کند باشد، گوگل به جای ایندکس کردن سایت شما به سراغ سایت‌های دیگری می‌رود که سریع بارگذاری می‌شوند و محتوای آنان را ایندکس می‌کند. از این رو برای اینکه سرعت وبسایت خود را بهبود بخشید می‌توانید راهکارهای ارائه شده در مقاله " زمان بارگذاری سایت چیست و چگونه می‌توان به آن سرعت بخشید " را دنبال کنید.

4- استفاده نکردن از نقشه سایت گوگل

با توجه به اینکه روزانه میلیون‌ها مطلب، ویدئو، تصویر و غیره به اینترنت اضافه شده، برای نمایش بهتر آنها در نتایج موتور جستجو باید توسط خزنده‌های موتور جستجو مورد بررسی قرار گیرند، از این رو داشتن نقشه سایت امری ضروری است. بنابراین در صورت نداشتن نقشه سایت، گوگل خودش تصمیم می‌گیرد که با چه سرعتی صفحات سایت شما را کاوش کند و اگر تناوب بروزرسانی سایت شما کم باشد، در صورت تعریف نکردن نقشه سایت، باعث دیر ایندکس شدن مطالب سایت می‌شود. لازم به ذکر است که سایت‌های خیلی بزرگ که مطالب زیادی دارند برخی مواقع توصیه می‌شود به جای استفاده از نقشه سایت اجازه دهند تا گوگل خودش مطالب را ایندکس کند.

5- استفاده نادرست از نقشه سایت گوگل 

نقشه سایت یا Sitemap یکی از قسمت‌های بسیار مهم برای ایندکس شدن صفحات وبسایت است، با کمک نقشه سایت می‌توانید صفحات وبسایت خود را به منظور اطلاع رسانی به گوگل و دیگر موتورهای جستجو، فهرست کنید تا ربات‌های گوگل وبسایت شما را با دقت بیشتری بررسی کنند. همچنین هر زمان که محتوای یک صفحه تغییر می‌کند باید نقشه سایت هم تغییر کند، اما بسیاری از مدیران سایت‌ها به جای نقشه سایت پویا، یک فایل استاتیک و ثابت را به عنوان Sitemap خود به گوگل معرفی می‌کنند و این همان دلیلی است که صفحات شما یا دیر ایندکس می‌شوند و یا ایندکس نخواهند شد. 

6- سرعت بروزرسانی اطلاعات سایت

اگر وبسایت خود را به طور مکرر با محتوای باکیفیت بروزرسانی کنید، موتورهای جستجو به سایت شما علاقه مند خواهند شد. به طور کلی موتورهای جستجو بروزرسانی منظم را دوست دارند و توجه ویژه‌ای به محتوای سایت دارند. موتور جستجوی گوگل سرعت خزنده خود را با سرعت بروزرسانی اطلاعات سایت شما وفق می‌دهد؛ بدین صورت که اگر روزی یک مطلب در سایت خود بگذارید خزنده گوگل هم روزی یکبار به سایت شما سر خواهد زد و اگر روزی 10 مطلب در سایت خود بگذارید خزنده گوگل هم سرعت خود را افزایش می‌دهد تا بتواند مطالب سایت‌تان را ایندکس کند. بنابراین تناوب ایندکس شدن مطالب سایت، به تناوب بروزرسانی سایت شما بستگی دارد.

7- قطعی یا مشکل سرور در سایت

ممکن است برای شما پیش آمده است که به دلیل ایجاد مشکلاتی در سرور و یا اختلال‌هایی در تنظیمات DNS دامنه پیامی مبنی بر عدم دسترسی ربات گوگل به سایت در پنل مدیریت کنسول جستجوی گوگل دیده باشید. این قبیل مشکلات حتما بر روی ایندکس شدن صفحات سایت تأثیر خواهند گذاشت. اما اگر در مدت زمان کوتاهی و سریع این مشکلات را برطرف کنید دسترسی ربات‌های گوگل به صفحات سایت شما ممکن شده و با بازخوانی مجدد، ایندکس مطالب را انجام خواهند داد. لازم به ذکر است در صورت رفع نکردن مشکل، گوگل سایت شما را از نتایج خود حذف می‌کند تا زمانی که سایت دوباره به عالت عادی برگردد که در اینصورت ممکن است مدت زمانی طول بکشد تا سرعت ایندکس شدن صفحات به حالت قبل برگردد.

نتیجه‌گیری

همیشه در ذهن داشته باشید که سایت شما باید ایندکس شود تا بتواند رتبه‌بندی شود. اگر موتورهای جستجو نتوانند محتوای شما را پیدا کنند یا بخوانند، چگونه آن را می‌توان ارزیابی و رتبه‌بندی کرد؟ بنابراین در ابتدا ببینید سایت شما ایندکس شده و سپس بررسی عملکرد سئو را انجام دهید.  در ادامه مقالات مرتبط را در وب 24 مطالعه نمایید.