شرکت گوگل، به عنوان یکی از بزرگترین و پیشرو ترین موتورهای جستجو، سه راهکار عملی را برای تسهیل فرآیند تشخیص و رفع مشکلات فنی مربوط به اندیکس سازی و رتبه بندی صفحات وب توسط موتورهای جستجو ارائه کرده است.
بر اساس توصیه های گوگل، کاربران می توانند با استفاده از ابزار مدیریت سایت گوگل یا گوگل سرچ کنسول (Google Search Console)، مشکلات فنی که ممکن است باعث مشکلات اندیکس سازی یا رتبه بندی شوند را شناسایی و رفع نمایند.
سه توصیه گوگل در خصوص عیب یابی و رفع مشکلات فنی سئو:
- بررسی وضعیت اندیکس سازی صفحات
- کنترل و بررسی وجود صفحات تکراری یا محتوای مشابه
- بازبینی HTML صفحات و کد منبع نهایی صفحات و شناسایی و رفع مشکلات پیش آمده در زمینه رتبه بندی
۱. آیا URL قابل نمایه سازی یا ایندکس شدن است؟
یکی از مسائل مهم که اغلب نادیده گرفته می شود، اما در خدمات سئو سایت نقش کلیدی دارد، بررسی قابلیت نمایه سازی یا ایندکس شدن یک آدرس اینترنتی یا URL است. ابزار بررسی URL در گوگل سرچ کنسول، امکان تشخیص اینکه آیا یک صفحه وب توسط موتور جستجوی گوگل ایندکس شده است یا نه را فراهم می کند.
این ابزار کاربردی، علاوه بر نمایش وضعیت ایندکس شدن یک صفحه، می تواند قابلیت ایندکس سازی آن را نیز بررسی کند. در صورتی که یک صفحه قابلیت ایندکس شدن نداشته باشد، این ابزار دلایل احتمالی عدم توانایی موتور جستجو در ایندکس کردن آن را ارائه می نماید.
علاوه بر اطلاعات مربوط به وضعیت ایندکس سازی، ابزار بررسی URL در گوگل سرچ کنسول، داده های دیگری را نیز در اختیار کاربران قرار می دهد. یکی از این داده ها، تاریخ آخرین بازدید یا کراول کردن بات موتور جستجوی گوگل از صفحه مورد نظر است که می تواند نشان دهنده میزان اهمیت و علاقه گوگل به آن صفحه باشد. با این حال، لازم به ذکر است که در صورتی که محتوای یک صفحه به ندرت تغییر کند، موتور جستجوی گوگل ممکن است تصمیم بگیرد آن را با فواصل زمانی بیشتری بازدید کند که این امر از منظر صرفه جویی در منابع محاسباتی گوگل و همچنین کاهش بار سرور وب میزبان، کاملاً منطقی و قابل درک است.
در نهایت، ابزار بررسی URL این امکان را به کاربران می دهد تا در صورت لزوم، درخواست بازدید مجدد از یک صفحه خاص را به گوگل ارسال کنند که می تواند در موارد خاص، مانند به روزرسانی محتوا یا رفع مشکلات احتمالی، مفید واقع شود.
۲. بررسی شود که آیا ایندکس نشدن یک صفحه به دلیل تکراری بودن صفحه (duplicate) است یا صفحه دیگری به عنوان صفحه اصلی (canonical) در نظر گرفته شده است؟
یکی دیگر از توصیه های گوگل برای تشخیص دلایل احتمالی مشکلات ایندکس شدن یک صفحه وب، بررسی این موضوع است که آیا این صفحه یک نسخه تکراری (duplicate) از صفحه دیگری است یا اینکه صفحه دیگری به عنوان صفحه اصلی و متعارف (canonical) برای آن در نظر گرفته شده است.
در حالت دوم، موتور جستجو تصمیم می گیرد که صفحه اصلی را ایندکس کند و صفحه های تکراری را نادیده بگیرد. با این حال، باید توجه داشت که این امر معمولاً مشکلی ایجاد نمی کند، زیرا هدف اصلی، جلوگیری از ایندکس شدن و نمایش محتوای تکراری در نتایج جستجو است.
بنابراین، در چنین مواردی، بهتر است تمرکز را بر بهینه سازی محتوای صفحه اصلی و ارتقای کیفیت آن قرار داد تا احتمال رتبه بندی بالاتر آن در صفحه نتایج جستجو افزایش یابد.
پس از بررسی وضعیت بازدید یک صفحه توسط موتور جستجو، یکی دیگر از مواردی که باید مورد توجه قرار گیرد، این است که آیا این صفحه به عنوان یک نسخه تکراری از صفحه دیگری شناسایی شده است و در نتیجه، صفحه دیگری به جای آن به عنوان صفحه اصلی انتخاب شده است یا خیر.
اگرچه ممکن است صفحه ای که به عنوان صفحه اصلی انتخاب شده است، با آنچه که انتظار می رفت متفاوت باشد، اما در اغلب موارد، این مسئله مشکل چندانی به وجود نمی آورد. زیرا هدف اصلی موتورهای جستجو، جلوگیری از ایندکس شدن و نمایش محتوای تکراری در نتایج جستجو است و از آنجایی که محتوای صفحه انتخاب شده به عنوان صفحه اصلی، ایندکس شده است، قادر خواهد بود تا در نتایج جستجوی مرتبط نمایش داده شود.
در نتیجه، می توان گفت که این رویکرد موتورهای جستجو در انتخاب صفحه اصلی، از منظر بهینه سازی نتایج جستجو و ارائه تجربه کاربری بهتر، کاملاً قابل قبول و منطقی است.
علاوه بر توصیه های اصلی، گوگل یک نکته مهم دیگر را نیز متذکر شده است و آن عدم استفاده از حالت cache یا عملگر site برای تشخیص هرگونه مشکل فنی مرتبط با ایندکس شدن صفحات است. دلیل این هشدار این است که ممکن است یک صفحه در موتور جستجو اندیکس سازی شده باشد، اما در جستجوی site: که مربوط به همان سایت است، نمایش داده نشود.
این مسئله از آنجا ناشی می شود که عملگر site: همانند تمامی عملگرهای دیگر مربوط به سایت، کاملاً از شاخص اصلی جستجو جدا و مستقل است. این رویکرد همواره از سوی موتورهای جستجو مانند گوگل دنبال شده است، حتی در زمانی که عملگر site: برای نمایش بک لینک ها (backlink) به یک سایت نیز وجود داشته است.
با توجه به این واقعیت، نمی توان صرفاً بر اساس نتایج جستجوی site: در مورد وضعیت ایندکس شدن یک صفحه قضاوت کرد و باید از ابزارها و روش های مناسب تر و دقیق تری برای این منظور استفاده نمود.
گوگل توصیه می کند که:
کاربران از استفاده از ویژگی ها و ابزارهایی مانند حالت cache یا عملگر جستجوی site: برای تشخیص و رفع مشکلات فنی مرتبط با ایندکس شدن صفحات اجتناب کنند. دلیل این توصیه این است که این ابزارها اساساً برای اهداف رفع اشکال و شناسایی مشکلات فنی طراحی نشده اند و استفاده از آنها برای چنین مقاصدی می تواند منجر به دریافت نتایج گمراه کننده و غیرقابل اتکا شود.
۳. بررسی کد HTML رندر شده
توصیه نهایی گوگل در زمینه تشخیص و رفع مشکلات فنی مرتبط با ایندکس سازی صفحات وب، بررسی کد HTML رندر شده (rendered) است. این توصیه از آن جهت اهمیت دارد که صرفاً بررسی کد منبع HTML یک صفحه، لزوماً نشان دهنده آنچه که در نهایت توسط مرورگرها و موتورهای جستجو برای نمایش صفحه مشاهده می شود، نیست.
کد HTML رندر شده، کدی است که پس از پردازش کد منبع توسط مرورگر یا موتور جستجو تولید می شود تا صفحه وب به درستی نمایش داده شود. بنابراین، در صورتی که قصد شناسایی مشکلات احتمالی در کد HTML یک صفحه را دارید، بررسی HTML رندر شده می تواند اطلاعات دقیق تر و قابل اتکاتری را در اختیار شما قرار دهد، زیرا این کد، دقیقاً همان چیزی است که مرورگرها و موتورهای جستجو مانند گوگل در سطح کد آن را مشاهده می کنند. در نتیجه، با بررسی دقیق این کد، امکان شناسایی و رفع مشکلات احتمالی به میزان قابل توجهی افزایش می یابد.
برای درک بهتر تفاوت بین کد منبع HTML و نسخه رندر شده آن، باید به این نکته توجه داشت که کد HTML رندر شده، نمایشگر نهایی آن چیزی است که پس از پردازش و اجرای تمامی کدهای جاوااسکریپت موجود در صفحه، حاصل می شود.
به عبارت دیگر، در حالی که کد منبع HTML صرفاً ساختار اولیه صفحه را تعریف می کند، کد HTML رندر شده نشان دهنده نحوه نمایش واقعی صفحه پس از اعمال تمامی تغییرات و پردازش های انجام شده توسط کدهای جاوااسکریپت و سایر اسکریپت های موجود است.
از این رو، در صورتی که مشکل یا نقصی در صفحه وجود داشته باشد که مرتبط با اجرای کدهای جاوا اسکریپت یا سایر عوامل پویا باشد، احتمال شناسایی آن با بررسی کد منبع HTML بسیار کمتر خواهد بود. بنابراین، برای تشخیص دقیق تر چنین مشکلاتی، بررسی کد HTML رندر شده که نمایانگر صفحه نهایی پس از اعمال تمامی تغییرات است، راهکار مناسب تری به شمار می رود.
برای درک بهتر تفاوت بین کد منبع HTML و نسخه رندر شده آن، باید به این نکته توجه داشت که کد HTML رندر شده، نمایشگر نهایی آن چیزی است که پس از پردازش و اجرای تمامی کدهای جاوااسکریپت موجود در صفحه، حاصل می شود.
به عبارت دیگر، در حالی که کد منبع HTML صرفاً ساختار اولیه صفحه را تعریف می کند، کد HTML رندر شده نشان دهنده نحوه نمایش واقعی صفحه پس از اعمال تمامی تغییرات و پردازش های انجام شده توسط کدهای جاوااسکریپت و سایر اسکریپت های موجود است.
از این رو، در صورتی که مشکل یا نقصی در صفحه وجود داشته باشد که مرتبط با اجرای کدهای جاوا اسکریپت یا سایر عوامل پویا باشد، احتمال شناسایی آن با بررسی کد منبع HTML بسیار کمتر خواهد بود. بنابراین، برای تشخیص دقیق تر چنین مشکلاتی، بررسی کد HTML رندر شده که نمایانگر صفحه نهایی پس از اعمال تمامی تغییرات است، راهکار مناسب تری به شمار می رود.
گوگل توصیه می کند که:
برای تشخیص دقیق تر مشکلات احتمالی در فرآیند ایندکس سازی و نمایش صحیح صفحات وب، علاوه بر بررسی کد HTML رندر شده، پاسخ HTTP ارسال شده از سرور نیز باید مورد بازبینی قرار گیرد. دلیل این توصیه این است که گاهی اوقات ممکن است در محتوای ارائه شده یا پاسخ ارسالی از سرور، موارد غیرمنتظره ای وجود داشته باشد که می تواند ناشی از مشکلات فنی در سرور، کد برنامه نویسی، یا سایر عوامل باشد. این موارد می توانند شامل پیغام های خطای غیرمنتظره، از دست رفتن بخش هایی از محتوا، یا هرگونه ناهنجاری دیگری باشد که ممکن است در کد HTML رندر شده یا پاسخ HTTP مشاهده شوند.
بررسی همزمان این دو عامل می تواند اطلاعات ارزشمندی را در اختیار ما قرار دهد و امکان شناسایی دقیق تر ریشه مشکلات احتمالی را فراهم آورد. این روش، کمک شایانی به بهبود فرآیند بهینه سازی صفحات وب و ارتقای تجربه کاربری خواهد کرد.
مشاهده کد HTML رندر شده در گوگل سرچ کنسول
برای تسهیل فرآیند بررسی و تشخیص مشکلات احتمالی در کد HTML رندر شده صفحات وب، گوگل در ابزار گوگل سرچ کنسول، امکانات و راهنمایی های مفیدی را در اختیار کاربران قرار داده است. بر اساس دستورالعمل های ارائه شده در بخش پشتیبانی این ابزار، کاربران می توانند با دو روش، کد HTML رندر شده یک صفحه خاص را مشاهده کنند:
روش اول، وارد کردن مستقیم آدرس اینترنتی (URL) مورد نظر در ابزار بررسی آدرس است؛ و روش دوم، کلیک بر روی لینک بررسی که در کنار آدرس های نمایش داده شده در اکثر گزارش های سرچ کنسول وجود دارد.
پس از انجام یکی از این دو روش، ابزار مذکور، تاریخ آخرین بازدید گوگل بات از آن صفحه، و همچنین کد HTML رندر شده فعلی آن را به نمایش می گذارد. در صورتی که مشکل خاصی وجود نداشته باشد، کد HTML رندر شده نمایش داده شده، دقیقاً همان چیزی است که موتور جستجوی گوگل از آن صفحه مشاهده می کند.
با این حال، اگر در کد HTML رندر شده، موارد غیرمنتظره یا ناهنجاری مشاهده شود، می تواند نشانگر وجود یک مشکل فنی باشد که از بازدید و ایندکس شدن صحیح آن صفحه توسط موتور جستجو جلوگیری می کند.
روی Test live URL > مشاهده صفحه آزمایش شده (View tested page) کلیک کنید.
تب HTML، کد HTML ارائه شده برای صفحه را نشان می دهد.
مشاهده کد HTML رندر شده یک صفحه وب با استفاده از ابزار توسعه دهنده (DevTools) در مرورگر گوگل کروم
علاوه بر استفاده از ابزار گوگل سرچ کنسول، کاربران می توانند از ابزار توسعه دهنده موجود در مرورگر گوگل کروم (DevTools) نیز برای مشاهده کد HTML رندر شده صفحات وب بهره بگیرند. این امکان از طریق مراحل زیر در دسترس است:
- ابتدا باید ابزار DevTools را از طریق منوی کشویی (منوی سه نقطه عمودی) مرورگر گوگل کروم باز کنید.
- سپس، از منوی باز شده، گزینه “More tools > Developer tools” را انتخاب نمایید.
- در این مرحله، برای دسترسی به منوی فرمان (Command Menu)، در سیستم عامل macOS باید کلیدهای Command+Shift+P و در سیستم عامل های ویندوز، لینوکس یا کروم اواس باید کلیدهای Ctrl+Shift+P را همزمان فشار دهید.
- پس از باز شدن منوی فرمان، عبارت “Rendering” را در آن تایپ کنید و از میان گزینه های نمایش داده شده، گزینه “Show Rendering” را انتخاب نمایید.
با انجام این مراحل، قادر خواهید بود کد HTML رندر شده صفحه وب مورد نظر را در ابزار DevTools مشاهده کنید. این ابزار قدرتمند، امکانات متنوعی را برای بررسی، تحلیل و اشکال زدایی صفحات وب در اختیار توسعه دهندگان و متخصصان فنی قرار می دهد و می تواند در شناسایی و رفع مشکلات احتمالی مرتبط با ایندکس کردن و نمایش صحیح صفحات، کمک شایانی به کاربران ارائه دهد.
سه توصیه گوگل برای اشکال زدایی و رفع مشکلات فنی
در حوزه سئو سایت مشکلات فنی متعددی می تواند مانع از ایندکس شدن و رتبه بندی صفحات وب توسط موتورهای جستجو شود. این مشکلات می توانند ناشی از عوامل گوناگونی مانند خطاهای برنامه نویسی، مسائل مرتبط با سرور، یا سایر موارد فنی باشند. خوشبختانه، گوگل به عنوان یکی از پیشگامان این حوزه، ابزارها و راهکارهای مناسبی برای تسهیل فرآیند شناسایی و رفع این مشکلات در اختیار کاربران قرار داده است. از جمله این ابزارها می توان به گوگل سرچ کنسول و ابزار توسعه دهنده مرورگر گوگل کروم (Chrome DevTools) اشاره کرد.
با استفاده از امکانات متنوع و قدرتمند این ابزارها، کاربران قادر خواهند بود مشکلات احتمالی در سطوح مختلف را شناسایی و اقدامات لازم برای رفع آنها را انجام دهند. این امر، نه تنها به بهبود فرآیند ایندکس شدن و رتبه بندی صحیح صفحات کمک می کند، بلکه می تواند منجر به ارتقای کیفیت و تجربه کاربری نیز شود. بنابراین، آشنایی و بهره گیری از این ابزارها، یکی از ضروریات برای متخصصان حوزه سئو محسوب می شود.
برای آشنایی بیشتر با این موضوع و بهره مندی از توصیه های ارائه شده توسط گوگل، ویدیوی منتشر شده توسط گوگل سرچ سنترال (Google Search Central) را ببینید که در آن ۳ نکته و توصیه مفید برای شناسایی و رفع مشکلات فنی در گوگل سرچ ارائه شده است:
آژانس خلاقیت کوانتا