چرا سایت شما از نتایج گوگل حذف شده است و چه باید کرد ؟

چرا سایت شما از نتایج گوگل حذف شده است و دی ایندکس شده است؟

دلایل مختلفی اعم از اشتباهات فنی ممکن است موجب بروز این مشکل شود. پیدا کردن علت ایندکس شدن، گام نهایی برای بازگرداندن وب سایت شما به جایگاه ابتدایی خود است. برای یافتن ریشه های حذف از فهرست جستجو باید آنالیز دقیق و تخصصی از این مشکل داشته باشید. عمده دلایلی که سبب دی ایندکس شدن یک وب سایت می شوند، موارد زیر است:

دستورالعمل نو ایندکس سرکش

در صورتیکه صفحه شما دارای تگ Meta name= robbts یا content=noindex است، گوگل بعد از خزیدن آنها را از فهرست خود کنار می گذارد. این اتفاق زمانی رخ خواهد داد که یک توسعه دهنده نو ایندکس را برای کل سایت به جای بخشی از سایت به اشتباه اعمال کرده باشد. دستورالعمل نو ایندکس در مراحل مختلف ممکن است مشکلاتی را بوجود بیاورد. همچنین ایرادات مرتبط با پلاگین های CMS در تنظیم نو ایندکس در بخش قابل توجهی از محتوا، موجب بروز این مشکل می شود.

عدم خزیدن از سوی Robots.txt

در بررسی اینکه چرا سایت شما از نتایج گوگل حذف شده است به این نتیجه می رسیم که یک علت بروز این مشکل، عدم خزیدن از سوی Robots.txt می باشد. robotd.txt به Googlebot اعلام می کند که کدام زیر پوشه ها باید مورد بررسی قرار بگیرد.

در صورتیکه قسمت های مهم وب سایت مثل بلاگ یا صفحات محصولات مسدود شوند، گوگل قادر نخواهد بود به محتوای آن دسترسی داشته باشد و آن را فهرست بندی کند. این مسئله سبب نمایه زدایی نمی شود ولی ممکن است سبب بروز مشکلات دیگری شود. به طور مثال ممکن است مشکل عدم دسترسی به صفحات بوجود بیاید و یا اینکه راهکاری برای گوگل وجود نداشته باشد که اعلام کند دستورالعمل نو ایندکس تغییر کرده است. اگر صفحات شما غیر قابل دسترس باشند، کم کم از دید کاربران خارج می شود.

چرا سایت شما از نتایج گوگل حذف شده است : مشکلات سرور

علت دیگر که موجب دی ایندکس شدن سایت می شود، مشکلات سرور است. زمانی که ربات گوگل در حال خزیدن وب سایت شما است ممکن است خطای سرور مثل 5xx نمایان شود که به معنای در دسترس نبودن سرور است. در صورتیکه گوگل شاهد باگ های مختلف سرور در وب سایت شما باشد، تغییراتی در استراتژی خزیدن خود ایجاد می کند. اگر در وب سایت خود دارای صفحاتی هستید که از دسترس خارج شده است آن را موقتاً از فهرست کنار بگذارید. دقت داشته باشید که در صورتیکه سرور شما برای پاسخگویی به درخواست ها و ترافیک معمول کاربران دچار مشکل باشد، احتمال کاهش نرخ خزیدن از سوی ربات گوگل وجود دارد. این مسئله قطعاً منجر به کندی دیده شدن و آنالیز محتواهای جدید و به روزرسانی شده، می شود.

مشکلات فایروال برنامه های کاربردی وب

در ادامه بررسی اینکه چرا سایت شما از نتایج گوگل حذف شده است به یک علت دیگر بروز این مشکل اشاره می کنیم. مواردی از قبیل فایروال ها، سیستم های حفاظتی DDoS و یا قوانین امنیتی سرور ممکن است به صورت تصادفی سبب مسدود شدن Googlebot شوند. با توجه به اینکه CDN ها به افزایش فعالیت های خزیدن پلتفرم های هوش مصنوعی ری اکشن نشان می دهند، احتمال بروز این مشکل افزایش پیدا می کند. تمایل به مسدود شدن Google Gemini سبب مسدود شدن تصادفی در Googlebot می شود. باید اطمینان حاصل کنید که هر خزنده موتور جستجو که قادر به روانه کردن ترافیک زیادی برای وب سایت شما است، از سوی شما مجاز اعلام شده باشد.

چرا سایت شما از نتایج گوگل حذف شده است : مشکلات DNS

زمانیکه ربات گوگل در حال خزیدن وب سایت شما است، نخست نام دامنه شما را توسط DNS به آدرس IP تبدیل می کند. در صورتیکه سرور DNS پیکربندی نادرست داشته باشد، کند می شود و یا اینکه در دسترس نخواهد بود و در چنین شرایطی ربات گوگل نمی تواند شما را پیدا کند. در صورتیکه دامنه شما بیانگر سرور وب سایت شما نباشد، رباب گوگل ممکن است سرور دیگری را به اشتباه بخزد و یا با یک باگ مثل باگ 404/5xx مواجه شود.

مشکلات رندر جاوا اسکریپت

در بررسی اینکه چرا سایت شما از نتایج گوگل حذف شده است متوجه می شویم که یک علت بروز این مشکل، مشکلات مربوط به رندر جاوا اسکریپت می باشد. در صورتیکه وب سایت شما با چارچوب های جاوا اسکریپت مثل React ساخته شده باشد، احتمالاً موتورهای جستجو در رندر کردن آن با مشکل مواجه می شوند. زمانی این مشکل رخ می دهد که گوگل قصد خزیدن سایت شما را دارد اما محتوایی را پیدا می کند که در این حالت ایندکس کاهش پیدا می کند. عمدتاً وب سایت های تجارت الکترونیک در کنسول جستجوی گوگل نمایش داده می شوند. چرا که گوگل به ملغا کردن استانداردها اقدام نموده و به صفحه محصول تصادفی اشاره می کند.