قصه “صفحات پنهان” noindex در قلمرو گوگل سرچ کنسول
تصور کنید سایت شما یک کتابخانه بزرگ است و گوگل، یک کتابدار بسیار دقیق و باهوش. شما میخواهید کتابهای خاصی (صفحات) در فهرست اصلی کتابخانه (نتایج جستجو) قرار بگیرند تا همه به راحتی به آنها دسترسی پیدا کنند. اما گاهی اوقات، برخی از کتابها را به دلایلی نمیخواهید در فهرست اصلی باشند و به آنها برچسب “noindex” (عدم فهرستبندی) میزنید. حالا چگونه میتوانید مطمئن شوید که کدام کتابها این برچسب را دارند و آیا این برچسب به درستی اعمال شده است؟
اینجاست که “گوگل سرچ کنسول” به کمک شما میآید، ابزاری قدرتمند که به شما دید کاملی از وضعیت کتابخانه (سایت) شما در چشم کتابدار (گوگل) میدهد.
گامهای کشف صفحات Noindex در سرچ کنسول:
- ورود به قلمرو Pages (صفحات):
- ابتدا وارد حساب کاربری خود در گوگل سرچ کنسول شوید.
- در منوی سمت چپ، گزینهای به نام “Pages” (صفحات) را پیدا کنید و روی آن کلیک کنید. این بخش، قلب گزارشهای مربوط به ایندکسینگ سایت شماست.
- جستجو در “Not Indexed” (ایندکس نشده):
- در بخش “Pages”، شما گزارشهای مختلفی را مشاهده خواهید کرد که وضعیت ایندکس شدن صفحاتتان را نشان میدهند. به دنبال قسمتی با عنوان “Not Indexed” (ایندکس نشده) بگردید.
- در این بخش، دستهبندیهای مختلفی برای صفحاتی که ایندکس نشدهاند وجود دارد. موردی که به دنبال آن هستید، معمولاً با عنوان “Excluded by ‘noindex’ tag” (مستثنی شده توسط تگ ‘noindex’) نمایش داده میشود.
- روی این عنوان کلیک کنید تا لیستی از تمام صفحاتی که گوگل به دلیل وجود تگ noindex در آنها، ایندکس نکرده است، مشاهده کنید.
چرا این صفحات اینجا ظاهر میشوند؟ (و چرا باید بررسیشان کنید)
حالا که لیست صفحات noindex را دارید، این سوال پیش میآید که “چرا این صفحات اینجا هستند؟” ممکن است این اتفاقات افتاده باشد:
- شما خودتان عمداً آنها را noindex کردهاید: این صفحات شامل صفحاتی مانند صفحات لاگین، صفحات نتایج جستجوی داخلی سایت، صفحات تشکر پس از تکمیل فرم، یا صفحات با محتوای تکراری و کمارزش باشند که عمداً نمیخواستید در نتایج جستجو ظاهر شوند. در این صورت، “موفق باشید!” شما کاری را که میخواستید انجام دادهاید.
- اشتباهاً noindex شدهاند: اینجاست که داستان کمی پیچیدهتر میشود. گاهی اوقات ممکن است به دلیل:
- تنظیمات افزونههای سئو: اگر از وردپرس و افزونههایی مانند یوآست سئو (Yoast SEO) یا رنک مث (Rank Math) استفاده میکنید، ممکن است به اشتباه تنظیمات ایندکسینگ یک صفحه را روی “noindex” قرار داده باشید.
- کدهای اضافی در هدر صفحه: شاید تگ
<meta name="robots" content="noindex">به اشتباه در کد HTML صفحه شما قرار گرفته باشد. برای بررسی این مورد، میتوانید آدرس صفحه را در مرورگر باز کرده و با کلیک راست و انتخاب “View Page Source” (یا فشردن Ctrl+U)، سپس جستجوی کلمه “noindex” در کد منبع، از وجود این تگ مطمئن شوید. - X-Robots-Tag در HTTP Header: گاهی اوقات، این دستورالعمل در سطح سرور و در فایلهایی مانند
.htaccessیاhttpd.confبه صورتX-Robots-Tag: noindexتنظیم میشود. این مورد کمی فنیتر است و نیاز به بررسی فایلهای هاست شما دارد. - تنظیمات کلی وردپرس: در وردپرس، در بخش “تنظیمات” > “خواندن” (Settings > Reading)، گزینهای با عنوان “نمایش به موتورهای جستجو” (Discourage search engines from indexing this site) وجود دارد. اگر این گزینه فعال باشد، کل سایت شما noindex میشود. حتماً مطمئن شوید که این گزینه فعال نیست (نشان میدهد که میخواهید گوگل سایت شما را ایندکس کند!).
گام بعدی برای قهرمان داستان (یعنی شما!):
اگر صفحهای را در لیست “Excluded by ‘noindex’ tag” پیدا کردید که میخواستید ایندکس شود، باید دست به کار شوید:
- حذف تگ noindex: بسته به جایی که این تگ اعمال شده است (افزونه سئو، کد HTML، یا تنظیمات سرور)، آن را حذف کنید.
- اعتبارسنجی مجدد در سرچ کنسول: پس از حذف تگ noindex، به سرچ کنسول برگردید. روی آدرس آن صفحه در لیست کلیک کنید و سپس از ابزار “URL Inspection” (بازرسی URL) برای آن صفحه استفاده کنید. پس از بررسی، گزینه “Validate Fix” (اعتبارسنجی اصلاح) را بزنید تا گوگل دوباره آن صفحه را بررسی کندو به مرور زمان آن را ایندکس کند (اگر مشکل دیگری وجود نداشته باشد).
noindex سرچ کنسول