Robots.txt و سئو آنچه در سال 1404 باید بدانید

Robots.txt و سئو ، موضوعی است که در ارتباط با آن صحبت می کنیم و توضیحات مفیدی را درباره ارتباط آنها بیان می کنیم.

Robots.txt، نقش مهمی در سئو دارد و باید با نحوه استفاده از آن آشنایی داشت. این پروتکل از سال 1994 یک استاندارد وب به شمار می آید و امروزه، ابزاری برای بهینه سازی وب سایت ها می باشد و در راستای سئو سایت مورد استفاده قرار می گیرد. این پروتکل در واقع سبب تعامل بهتر موتورهای جستجو و دیگر ربات ها با یک وب سایت می شود.

ارتباط میان Robots.txt و سئو

استفاده درست از این موارد، به پیشرفت وب سایت ها کمک زیادی می کنند. robots.txt، مجموعه ای از دستورالعمل ها برای خزنده ها می باشند که به آنها یادآوری می کند باید چه اقداماتی را در وب سایت انجام دهند و چه اقداماتی را در وب سایت انجام ندهند. در واقع این پروتکل کمک می کند که بخش های خاصی از وب سایت خود را به صورت خصوصی نگهداری کنید و یا از صفحات خزنده که فاقد اهمیت هستند، امتناع کنید. در نتیجه شما می توانید به کمک این پروتکل، وب سایت خود را همواره در حال فعالیت نگه دارید.

تنظیم پرونده robots.txt خود

در بررسی Robots.txt و سئو با تنظیمات فایل robots.txt آشنا می شویم. برای تشکیل یک فایل robots، کار دشواری پیش رو ندارید. از دستورات ساده برای آموزش خزنده درباره چگونگی تعامل با وب سایت خود بهره بگیرید. فاکتورهای مهم در اینجا شامل موارد زیر است:

کاربر عامل که ربات مورد نظر شما را تعیین می کند.
مجازات که تعیین می کند ربات به کجا نرود.

با دو مثال نشان می دهیم که این فایل چطور به کنترل دسترسی خزنده می پردازد.

مثال اول به همه ربات ها اجازه می دهد تا کل وب سایت را خزنده کنند:

کاربر- عامل:*

مجازات:

مثال دوم از ربات ها برای خزیدن کل سایت به جز پوشه “نگه داشتن” استفاده می کند:

کاربر- عامل: *

مجازات: (نگه داشتن)

به علاوه می توان خزنده های خاصی را برای ماندن تعیین نمود:

عامل کاربر: GoogleBot

مجازات: /

در این مثال به گوگل بات فرمان داده می شود که هیچ بخش از وب سایت را خزنده نکند. این مورد توصیه نمی شود ولی شما ممکن است از این ایده استفاده کنید.

معماری سایت چیست؟

مشاهده کنید

استفاده از Wildcards

در بررسی Robots.txt و سئو متوجه می شویم که Wildcards برای ایجاد پرونده های انعطاف پذیر روبات ها سودمند می باشد. این ابزار به شما اجازه می دهد که بدون لیست هر یک از ربات ها یا صفحات، شمار زیادی از آنها را اعمال کنید.

چنانچه به جای مسدود نمودن یک دایرکتوری، تنها صفحات خاصی را مسدود کنید، قادر خواهید بود پرونده های خاصی را مسدود کنید. در نتیجه انعطاف پذیری و دقت بیشتری خواهید داشت. یک مثال در این زمینه بیان می کنیم:

کاربر – عامل: keep-out/file1.html/

مجازات: keep-out/file2-html

تنها صفحات مورد نظر محدوده شده اند و صفحات مهم شما قابل مشاهده می باشند.

ترکیب دستورات

با درک Robots.txt و سئو می توان اقدامات مهمی را برای درنظر گرفته شدن وب سایت از سوی موتور جستجو انجام داد. در گذشته، دستورالعمل MILALLE به صورت موردی بود و گوگل مایل بود محدودترین بخشنامه را برای پرونده درنظر بگیرد.

اخیراً دستورالعمل Allow معرفی شده است که به وب مسترها، اجازه کنترل گرانول های بیشتری را در ارتباط با نحوه خزش وب سایت ارائه می دهد. به طور مثال شما قادرید به ربات فرمان بدهید که تنها توسط پوشه “مهم” بخزند و به سایر بخش ها کار نداشته باشند.

کاربر- عامل: *

مجازات:/

مجاز:/مهم/

ایضاً می توان دستورات پیچیده را ادغام نمود. شما می توانید از دستورالعمل های مجاز به همراه DISLALLE به منظور دسترسی دقیق تر استفاده کنید. در بررسی Robots.txt و سئو به مثال زیر توجه کنید:

کاربر – عامل: *

مجازات: /خصوصی/

مجاز: private/public-file.html/

با این دستور می توان از سایر موارد محافظت نمود و پرونده های خاص را در دسترس قرار داد.

با توجه به اینکه پیش فرض robots.txt به همه اجازه لازم را می دهد، ضرورتی برای ترکیب مجازات و اجازه دادن در دستورالعمل ها نمی باشد. ساده نگه داشتن آن، همواره بهترین اقدام است. البته مواردی وجود دارند که نیازمند تنظیمات پیشرفته تر می باشند. چنانچه وب سایتی را مدیریت کنید از فاکتورهای URL در پیوندهای منو برای ردیابی کلیک توسط سایت استفاده کند و امکان پیاده سازی برچسب های Canonical وجود ندارد، قادر خواهید بود از دستورالعمل Robots.txt استفاده کنید تا از بروز مشکل محتواهای تکراری جلوگیری کنید و یا اینکه حداقل این مشکل را کاهش دهید. تا به اینجا تاحدودی با ارتباط میان Robots.txt و سئو آشنا شدیم. به مثال زیر توجه کنید:

کاربر – عامل: *

مجازات:/ *؟*

سناریوی دیگری که در آن شاید یک پیکربندی پیشرفته نیاز باشد، در شرایطی که پیکربندی نادرست سبب می شود URL های با کیفیت پایین تصادفی در پوشه های تصادفی نمایان شود، این است که از دستورالعمل robots.txt به منظور غیر فعال نمودن تمامی فایل ها به جز مواردی که دارای محتوای با ارزش هستند، بهره بگیرید. به مثال زیر دقت کنید:

کاربر – عامل: *

مجازات: /

مجاز: / محتوای ضروری/

اجازه: / ارزشمند- محتوا- 1/

مجاز: / ارزشمند – محتوا- 2/

9 مرحله برای ایندکس شدن محتوا توسط گوگل

مشاهده کنید

Comments

با راهکارهای مختلفی می توان از Robots.txt و سئو در راستای رشد یک وب سایت استفاده نمود. Comments، راهکار مفیدی برای ویرایش اطلاعات می باشد. Comments با علامند پوند (#) کنترل می شود.

در پرونده هایی که به صورت دستی آپدیت شده اند، تاریخ ایجاد یا به روزرسانی پرونده باید اضافه شوند. چنانچه نسخه قدیمی به صورت تصادفی از نسخه پشتیبان ایجاد شود، در عیب یابی اثرگذار و کاربردی است. به مثال زیر توجه کنید:

# پرونده Robots.txt برای www.example-site.com به روز شده 2025/22/3

کاربر – عامل: *

# محتوای کم ارزش

مجازات: /bogus-folder/

مدیریت نرخ خزیدن با Robots.txt و سئو

به منظور بهره گیری درست از این فایل ها باید با نحوه مدیریت نرخ خزیدن آشنایی داشته باشید. مدیریت نرخ خزیدن به منظور نگه داشتن بار سرور شما در آنالیز و حصول اطمینان از ایندکس شدن ایده آل، اهمیت زیادی دارد. دستور Crawl- Delay موجب می شود تا تأخیر میان تقاضاهای ربات را مشخص کنید. به مثال زیر توجه کنید:

کاربر – عامل: *

Crawl-Delay:10

در این مثال از ربات ها خواسته می شود 10 ثانیه میان تقاضاها مکث کند و از اضافه بار ممانعت به عمل بیاورد و همه چیز را در حالت فعلی نگه دارد. ربات های پیشرفته قادرند زمان اضافه بار سرور را متوجه شوند. دستورالعمل خزنده خزنده در گذشته آنچنان مورد توجه نبوده است.