یکی از بزرگ ترین مشکلاتی که مدیران وب‌سایت ها از نظر سئوی وب سایتشان با آن دست و پنجه نرم می‌کنند، محتوای تکراری یا Duplicate Content است که بعضاً در اثر ناآگاهی مدیران سایت‌ها با الگوبرداری از سایت‌های مشابه ایجاد می‌شود و در بیشتر اوقات به صورت ناخواسته و حتی بدون اطلاع مدیران وب‌سایت ها در سایتشان محتوای تکراری وجود دارد. از کجا متوجه شویم در سایت ما هم محتوای تکراری وجود دارد و چگونه آن را برطرف کنیم؟ SEO یا بهینه سازی موتورهای جستجو، یکی از جنبه های اغلب درحال تغییر و درک نشده در طراحی وب سایت است. در توضیح سرعت تغییر در رتبه بندی موتورهای جستجو و اینکه چه چیزی در بالا بردن این رتبه موثر است و چه چیزی مضر، اطلاعات گیج کننده و بعضا نادرستی وجود دارد. یکی از این موضوعات مبهم، محتوای تکراری در سئو است. گوگل در یک ویدئو تلاش کرده است یکی از دلایل پیچیدگی محتوای تکراری را توضیح دهد. در این ویدئو شخصی، توضیح می دهد که محتوای تکراری چیست و گوگل با آن چه برخوردی دارد ؛ اما بخش مبهم آن چیزی است که در ابتدای فیلم بیان می شود:
" اولین و مهمترین چیزی که می خواهم روشن کنم این افسانه است که آنچه 'محتوای تکراری' نامیده می شود، مجازات در پی دارد. مردم نگران هستند که گوگل به علت وجود محتوای تکراری، وب سایت آنها را جریمه کند ... تحقیقات مستند ما تصدیق می کند که جریمه ای در کار نیست"
در وبلاگ اصلی او ، در توضیح این بخش از ویدئو قید کرده اند:
"چیزی به نام مجازات محتوای تکراری وجود ندارد"
این اظهارات باعث شده است که بسیاری از تولیدکنندگان محتوا، ایجاد محتوای تکراری را جدی نگیرند که این درست نیست ! ممکن است که "جریمه محتوای تکراری" وجود نداشته باشد اما همچنان محتوای تکراری برای رتبه بندی وب سایت مضر است. در اینجا نگاهی خواهیم داشت به علت وجود محتوای تکراری، آسیب های آن و آنچه در برابر آن می توان انجام داد.
محتوای تکراری یا Duplicate Content چیست؟
در ابتدا بیایید منظورمان از "محتوای تکراری" را روشن کنیم. در یک تعریف ساده، محتوای تکراری به این معناست که محتوای وب سایت شما، منحصر به فرد نیست. به محتوایی یکسانی که در دو صفحه مختلف با دو URL متفاوت ظاهر می‌شوند، محتوای تکراری یا Duplicate Content می‌گویند. ممکن است محتوایی باشد که در بخش دیگری از وب سایت خودتان از آن استفاده کرده اید، ممکن است محتوایی باشد که شما از وب سایت دیگری گرفته و در سایت خود منتشر کرده اید و یا برعکس، سایت دیگری محتوای سایت شما را منتشر کرده است! محتوای تکراری مشمول پنالتی گوگل نمی‌شود، اما از آنجا که موتورهای جستجو در نشان دادن نتایج دچار سردرگمی شده و نمی‌دانند هنگام جستجوی کلیدواژه، کدام صفحه را باید نمایش دهند باعث افت رتبه سایت خواهد شد.
محتوای تکراری چگونه به وجود می آید؟
گذشته از تولیدکنندگان محتوایی که با بی‌دقتی مطلبی از سایت‌های دیگر را کپی می‌کنند؛ گاهی یک وب‌سایت برای تبلیغ مطالب خود، بخشی از محتوای موجود در سایت را در فروم‌ها و وبلاگ‌های دیگر بدون تغییربازنشر می دهد که باعث ایجاد Duplicate Content خواهد شد. اما در بسیاری از مواقع افراد نمی‌خواهند محتوای تکراری تولید کنند و به طور کاملاً ناخواسته محتوای تکراری به وجود می‌آید. موارد زیر علل عمده تولید محتوای تکراری است:
- اگر چندین نشانی متفاوت برای یک سایت وجود داشته باشد محتوای تکراری پدید می‌آید. معمولاً صاحبان کسب و کار برای اینکه کسی دامین آنها را صاحب نشود چندین دامنه خریداری می‌کنند. مثلاً دامنه‌های .ir یا .com و .org
- محتوای یکسان با پارامترهای مختلف URL لینک است. مثلاً محصولات یک فروشگاه آنلاین توسط پارامترهای مختلف تقسیم‌بندی شود ولی در نهایت همه آنها نتیجه‌ای یکسان را نمایش دهد.
- محتوای یک سایت با www و بدون آن در جستجوی گوگل قابل دسترس باشد.
- یک وب‌سایت هم‌زمان با HTTP و HTTPS در دسترس باشد.
- پیج صفحه اصلی با «index.html» و بدون آن در یو آر آل قابل دسترسی باشد.
- Session ID های موجود در یو آر آل که برای ردیابی رفتار کاربر استفاده می‌شوند.
- تغییر دامین و استفاده از محتوای دامین قبلی در دامین جدید
- ورژن های مختلف زبان برای یک وب‌سایت واحد
- ورژن سازگار با موبایل و تبلت یک وب‌سایت با محتوایی یکسان
چه زمانی محتوای تکراری مخرب است؟
یکی از ساده ترین راه های تشخیص این که آیا محتوای تکراری به سایت شما صدمه میزند یا خیر، این است که از خود بپرسید چرا این محتوا را کپی می کنید؟ اگر دلیل شما نیاز های شخصی است و نفعی برای بازدیدکنندگان سایت ندارد ( به عنوان مثال نیاز به دیده شدن بیشتر ، نیاز به بالابردن سایت در موتورهای جستجو و یا دستکاری نتایج جستجو)، نباید این کار را انجام دهید.
گوگل در مقاله خود درباره "محتوای تکراری" به طور مشخص می گوید:
"وجود محتوای تکراری در یک سایت، زمینه ای برای اقدام علیه آن سایت نیست مگر اینکه تشخیص داده شود هدف از این تکرار، فریب و دستکاری نتایج موتور جستجو است"
اگر گوگل احساس کند که شما تلاش می کنید نتایج جستجو را دستکاری کنید، علیه سایت شما اقدام می کند و تا حذف کامل وب سایت شما از نتایج جستجو پیش می رود. این عمل اغلب به نام " لیست سیاه " شناخته می شود و می تواند تمام اقداماتی را که جهت بهینه سازی موتورهای جستجو در سایت انجام داده اید، خنثی کند. محتوای تکراری اساسا به عنوان اسپم (هرزنامه ) در نظر گرفته می شود و این اسپم ها دلیلی برای حذف وب سایت شما هستند . حتی اگر قصدی برای دستکاری نتایج جستجو نداشته باشید، باز هم محتوای تکراری می تواند مضر باشد و باعث کاهش کارآیی وب سایت شما شود. ارائه دهندگان موتورهای جستجو می خواهند به کاربران خود دسته بندی های متنوعی از نتایج را ارائه دهند، نه ده یا صد صفحه با محتوای دقیقا یکسان! برای مقابله با این مسئله، بسیاری از موتورهای جستجو چیزی شبیه به متن زیر در نتایج جستجو می نویسند:
"به منظور نشان دادن نتایج مناسب، نتایجی که بسیار شبیه هم هستند حذف شده اند"
این نتایج اضافی به صورت یک پیوند فرعی نشان داده می شوند که تعداد کمی از کاربران، روی آن کلیک می کنند. این مسئله به این معنا است که محتوای شما از بینندگان پنهان می شود و امتیازی که امیدوار بودید با این روش به دست آورید، از بین می رود. اگر یک مقاله بنویسد و آن را در یک وب سایت قرار دهید و سپس ماه بعد تصمیم بگیرید که آن را در یک سایت دیگر قرار دهید، سایت دوم ممکن است در جستجو به عنوان نتیجه فرعی نشان داده شود. در یک توضیح دقیق تر، این مجازات نیست بلکه تنها قدردانی گوگل از سایتی است که برای اولین بار یک مقاله یا محتوا را منتشر می کند، گوگل این سایت را به عنوان مالک محتوا در نظر می گیرد. اگر کسی جستجویی انجام می دهد، تمایل یا نیازی ندارد که یک مطلب را دوبار بخواند. فرستادن او به سایت اصلی کافی است و به این صورت سایت های دیگر، پنهان می شوند!
چه زمانی استفاده از محتوای تکراری مجاز است؟
البته باید توجه داشت که همیشه هم محتوای تکراری ممنوع نیست و گاهی استفاده از آن اجتناب‌ناپذیر است. در این راستا توجه شما را به مثال‌های زیر جلب می‌کنم:
نسخه های مختلف یک سایت
شایع ترین نوع محتوای تکراری ناشی از پیوند های اضافی (لینک ها) در یک وب سایت است. به عنوان مثال سه لینک زیر دقیقا به یک صفحه مشخص از یک سایت درباره موضوع طراحی سایت اشاره دارند.
http://web24.ir
http://www.web24.ir
http://web24.ir/default.aspx
موتورجستجو می تواند هر سه آدرس را به صورت جداگانه فهرست کند و در نتیجه سه صفحه با محتوای تکراری در فهرست خود داشته باشد، اما از دیدگاه موتور جستجو این یک صفحه با سه راه دسترسی است! بنابراین اغلب موتورهای جستجو این نوع تکرار را تصادفی در نظر می گیرند و بهترین آدرس را به عنوان نتیجه جستجو نشان می دهند. شکل دیگر محتوای تکراری هنگامی است که شما طرح زیربنایی و یا یک نسخه خاص از سایت خود ایجاد می کنید. به عنوان مثال از وب سایت اصلی خود، یک نسخه مناسب موبایل طراحی می کنید. این نوع محتوای تکراری، یک هدف مشخص برای بازدید کننده را دنبال می کند درنتیجه هیچ مشکل و مجازاتی در موتورهای جستجو به دنبال نخواهد داشت. این صفحات ممکن است در بخش " نتایج فرعی " نمایش داده شوند، اما اگر یک کاربر در جستجوی خود کلمه موبایل را اضافه کند، این صفحات به جای صفحه استاندارد نشان داده خواهد شد. این یکی از دلایلی است که طراحی وب پاسخگو و داشتن یک وب سایت پویا که طیف وسیعی از دستگاه ها و سایزهای مختلف صفحه نمایش را پوشش می دهد، به عنوان بهترین گزینه پذیرفته شده است.
سایت های چندزبانه
اگر بخواهید یک نسخه از سایت خود را به زبان دیگری طراحی کنید و گوگل متوجه شود که این نسخه از وب‌سایت شما برای کشورهای دیگر طراحی شده است به عنوان مثال بر اساس ویژگی hreflang آن را تنظیم کنید، محتوای شما از نظر گوگل تکراری محسوب نمی‌شود، بلکه ترجمه‌ای برای مردم دیگر کشورهاست.
توضیح قوانین
وقتی بخواهید قوانین را در یک محتوا توضیح دهید، نمی‌توانید آنها را تغییر دهید. بنابراین مجبورید قوانین را به همان صورت که هستند بدون تغییر ذکر کنید. قوانین در سایت‌های مختلف با همان جملات و کلمات یکسان بیان می‌شوند و محتوای تکراری ایجاد خواهد شد.
تاثیر محتوای تکراری بر سئو سایت
محتوای منحصر به فرد و جدید برای گوگل از اهمیت ویژه ای برخوردار است و محتوای تکراری و کپی شده، از نظر گوگل بی ارزش و فاقد اهمیت است و نقش موثری در سئو سایت ایفا نمی کند. گوگل، زمانی علیه سایتی که محتوای تکراری تولید کرده است، اقدام می کند که آن سایت با هدف فریبکاری و دست بردن در نتایج جستجو، اقدام به تکرار محتوا کرده باشد. اگر گوگل متوجه شود یک وب سایت قصد فریب او را دارد، آن سایت را در لیست سیاه قرار می دهد و از نتایج جستجو حذف می کند. این کار باعث از بین رفتن تمام اقداماتی که در راستای بهبود سئو سایت انجام شده است، می شود. استفاده از محتوای تکراری موجب سردرگمی موتور جستجوی گوگل و ربات های جستجوگر می شود. به همین دلیل، اعتبار سایت مذکور نزد کاربران اینترنتی کاهش می یابد و رتبه دامنه سایت نیز افت می کند. وجود محتوای تکراری در سایت مخالف با قوانین سئو است و همان طور که پیش‌تر نیز اشاره شد، باعث افت رتبه سایت می‌شود. داشتن محتوای غیرتکراری و با کیفیت یکی از موارد مهم برای سئو از دید گوگل است.
کدام صفحه باید رتبه بگیرد؟
اگر خزنده‌های گوگل صفحات مختلف با محتوایی همسان ببینند نمی‌دانند که کدام یک از صفحات یکسان را باید به عنوان نتیجه جستجو نشان دهند. نتیجه این خواهد شد که رتبه بین صفحات متعدد تقسیم خواهد شد یا گوگل صفحه‌ای را در نتایج جستجو نمایش می‌دهد که برای استراتژی سئوی شما مخرب باشد (مورد نظر شما نباشد).
امتیاز بک لینک ها بین صفحات مختلف مشابه پخش می شود
قضیه تنها به همین‌جا ختم نمی‌شود. محتوای تکراری در رابطه با بک لینک‌ها نیز مسئله‌ساز می‌شود. وقتی سایت‌های دیگر بخواهند به محتوای سایت شما بک لینک بدهند، نمی‌دانند کدام URL اصلی است. به این ترتیب به جای اینکه امتیاز بک لینک‌ها همه به یک URL خاص برسد و رتبه آن صفحه را بالا ببرد، بین آدرس‌های مختلف پخش خواهد شد.
چگونه می‌توان مشکل محتوای تکراری را برطرف کرد؟
برای تمام مواردی که در بخش پیشین گفته شد، راه حلی وجود دارد که با کمی دقت می‌توان جلوی بروز محتوای تکراری در سایت را گرفت. در ادامه با برخی از آنها آشنا خواهید شد. اینکه استفاده از کدام روش بر دیگری برتری دارد باید در موارد خاص تصمیم‌گیری شود.
1- انجام ریدایرکت ۳۰۱ (۳۰۱ redirect) یا ریدایرکت دائم
ریدایرکت 301 پیامی حاوی «محتوای این صفحه برای همیشه منتقل شده است به صفحه ...» به موتورهای جستجو ارسال می‌کند و در نتیجه خزنده‌های گوگل و سایر موتورهای جستجو وقتی به صفحه‌ای با ریدایرکت 301 می‌رسند متوجه می‌شوند که به جای این صفحه باید صفحه مقصد را بخزند و آن را ایندکس نمایند.
2- استفاده از تگ "Rel=Canonical"
راه دیگر برای حل مشکل محتوای تکراری، استفاده از تگ "Rel=Canonical" است. این تگی است که برای مراجعه به منبع اصلی محتوای صفحه در سورس کد یک وب‌سایت درج می‌شود. به این ترتیب، شما به موتورهای جستجو مانند Google می‌گویید که کدام URL ترجیح داده شده است و باید در نتایج جستجو ظاهر شود.
3- استفاده از کد noindex, follow
با استفاده از این کد شما به خزنده‌های گوگل می‌گویید که وب‌سایت شما نباید ایندکس شود. ربات‌های گوگل می‌توانند صفحه وب‌سایت شما را بخزند اما آن را ایندکس نمی‌کنند؛ به عبارت دیگر آن را در صفحه نتایج جستجو نمایش نمی‌دهند.
امیدواریم که با مطالعه این مقاله بتوانید مشکلات خود را در زمینه محتوای تکراری برطرف نمایید. ما در تیم محتوای وب24 مشتاق دریافت نظرات سازنده شما عزیزان هستیم.
پست بعدی
