GEO

خزنده های هوش مصنوعی و robots.txt: به کدام ربات ها اجازه بدهید

خزنده های هوش مصنوعی دو نوع اند. ربات های پاسخ صفحه های شما را می خوانند تا در جوابشان از شما نقل کنند. ربات های آموزش متن را برای آموزش مدل های آینده برمی دارند. اگر می خواهید در جواب های هوش مصنوعی باشید به ربات های پاسخ اجازه بدهید، درباره ربات های آموزش هر طور خودتان می خواهید تصمیم بگیرید و هیچ وقت Googlebot را اشتباهی نبندید.

جدول خزنده های هوش مصنوعی در MonoRanks
در این صفحه

ربات های پاسخ و ربات های آموزش

نوع چه کاری می کند اگر ببندیدش
ربات پاسخ وقتی کسی از یک دستیار هوش مصنوعی سؤال می پرسد صفحه را می خواند تا بتواند از شما نقل کند از جواب های آن دستیار حذف می شوید
ربات آموزش متن را برای آموزش مدل های هوش مصنوعی آینده برمی دارد متن شما وارد مدل های آینده نمی شود و جواب ها همچنان کار می کنند

ربات ها، یکی یکی

خزنده صاحب کاربرد
OAI-SearchBot OpenAI نتایج جستجوی ChatGPT و نقل از منبع ها (پاسخ)
ChatGPT-User OpenAI صفحه هایی که کاربر ChatGPT درباره شان می پرسد، همان لحظه خوانده می شوند (پاسخ)
GPTBot OpenAI داده آموزشی (آموزش)
Claude-SearchBot Anthropic کیفیت نتیجه های جستجوی Claude را بهتر می کند (پاسخ)
Claude-User Anthropic صفحه هایی که کاربر Claude درباره شان می پرسد، همان لحظه خوانده می شوند (پاسخ)
ClaudeBot Anthropic داده آموزشی (آموزش)
PerplexityBot Perplexity ایندکس Perplexity و نقل از منبع ها (پاسخ)
Perplexity-User Perplexity صفحه هایی که کاربر Perplexity درباره شان می پرسد، همان لحظه خوانده می شوند (پاسخ). Perplexity می گوید معمولاً robots.txt را نادیده می گیرد
CCBot Common Crawl یک آرشیو باز از وب، از یک سازمان غیرانتفاعی. Common Crawl می گوید CCBot از robots.txt پیروی می کند (آرشیو)
Bytespider ByteDance داده آموزشی (آموزش). ByteDance برای آن صفحه رسمی منتشر نکرده است
meta-externalagent Meta آموزش مدل های هوش مصنوعی و بهتر کردن محصولات Meta (آموزش)
Amazonbot Amazon محصولات Amazon را بهتر می کند و ممکن است برای آموزش مدل های هوش مصنوعی اش به کار رود (آموزش)
Google-Extended گوگل آموزش Gemini و پشتوانه جواب هایش (grounding)، نه جستجوی گوگل (آموزش)
Applebot-Extended Apple آموزش Apple Intelligence (آموزش)

خط هایی که می توانید در robots.txt کپی کنید

برای اینکه به ربات های پاسخ اجازه بدهید و ربات های آموزش را ببندید:

User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /

برای اینکه به همه اجازه بدهید، به هیچ چیزی نیاز ندارید: robots.txt ای که برای این ربات ها قانونی ندارد، از قبل به آن ها اجازه ورود می دهد.

یک نمونه واقعی: بسته شده بدون اینکه بدانیم

در اکتبر ۲۰۲۶ مونورنکس سایت خودش را بررسی کرد و دید ۱۰ تا از ۱۲ خزنده هوش مصنوعی بسته شده اند، از جمله ChatGPT-User و Claude-User. robots.txt ما می گفت “خوش آمدید”. این بستن ها از یک تنظیم امنیتی در CDN ما (robots.txt مدیریت شده Cloudflare) می آمد که قانون های خودش را بالای قانون های ما اضافه کرده بود.

آن تنظیم را خاموش کردیم و بررسی بعدی نشان داد هر ۱۲ خزنده اجازه دارند. (این عددها وقتی اندازه گرفته شد که بررسی ۱۲ ربات را پوشش می داد. حالا ۱۳ ربات را پوشش می دهد.) درسش این است: robots.txt ای را بخوانید که روی سایت زنده است، نه آن که در فایل های شماست.

چطور سایتتان را بررسی کنید

  1. آدرس https://yoursite.com/robots.txt را باز کنید و کل فایل را بخوانید.
  2. دنبال دسته خط هایی بگردید که خودتان ننوشته اید و اغلب هاست، CDN یا یک افزونه امنیتی اضافه کرده است.
  3. بررسی رایگان خزنده های هوش مصنوعی را اجرا کنید: robots.txt زنده شما را می خواند و ربات به ربات نشان می دهد چه کسی اجازه دارد صفحه هایتان را بخواند و آیا فایل llms.txt دارید یا نه.

مونورنکس این بررسی را هر هفته برای ۱۳ ربات هوش مصنوعی انجام می دهد، نشان می دهد امروز به هر ربات چه گفته می شود و خط های دقیق را بر اساس انتخاب شما می دهد. در وردپرس می تواند بعد از تأیید شما آن ها را خودش برایتان بنویسد:

جدول خزنده های هوش مصنوعی در مونورنکس با هر ۱۳ خزنده، از GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot و Claude-User تا Amazonbot، هر کدام با کاربردش، چیزی که robots.txt امروز به آن می گوید، و انتخاب بین دست نزدن، اجازه دادن یا بستن

برای تصویر بزرگ تر، GEO چیست را ببینید.

منابع

سؤال های رایج

بستن GPTBot به رتبه من در گوگل ضرر می زند؟

نه. GPTBot خزنده آموزش OpenAI است. جستجوی گوگل از Googlebot استفاده می کند و این قانون ها کاری به آن ندارند.

Google-Extended چیست؟

تنظیمی که مشخص می کند گوگل اجازه دارد از صفحه های شما برای آموزش Gemini و پشتوانه جواب هایش (grounding) استفاده کند یا نه. روی جستجوی گوگل و AI Overviews اثری ندارد.

اگر ربات های آموزش را ببندم، ChatGPT دیگر از من نقل نمی کند؟

اگر به ربات های پاسخ اجازه بدهید، نه. جستجوی ChatGPT از OAI-SearchBot و ChatGPT-User استفاده می کند که از GPTBot جدا هستند.

همه ربات ها از robots.txt پیروی می کنند؟

خزنده ها پیروی می کنند: GPTBot، OAI-SearchBot، ClaudeBot، Claude-SearchBot و PerplexityBot. ربات هایی که چون کاربر خواسته اجرا می شوند، مثل ChatGPT-User و Perplexity-User، شاید پیروی نکنند. OpenAI می گوید قانون های robots.txt «ممکن است اعمال نشوند» برای ChatGPT-User، و Perplexity می گوید Perplexity-User معمولاً آن ها را نادیده می گیرد. Anthropic می گوید Claude-User از robots.txt پیروی می کند. اسکرپرهای ناشناس هم شاید نه. جلوی آن ها را باید با فایروال گرفت، نه با robots.txt.

ممکن است هاست یا CDN من بدون اینکه بدانم ربات های هوش مصنوعی را ببندد؟

بله. بعضی تنظیمات امنیتی ربات های هوش مصنوعی را خودشان به robots.txt اضافه می کنند. آدرس yoursite.com/robots.txt را باز کنید و کل فایل را بخوانید، از جمله خط هایی که خودتان ننوشته اید.

حدوداً ماهی یک ایمیل

تغییرات جست وجو و پاسخ های هوش مصنوعی، از چیزهایی که در بررسی سایت ها می بینیم. بدون کارت بانکی، بدون تبلیغ، لغو با یک کلیک.