خزنده‌های هوش مصنوعی و robots.txt: به کدام‌ها اجازه بدهید؟
خزنده‌های هوش مصنوعی دو نوع‌اند. رباتهای پاسخ صفحه‌ها را می‌خوانند تا در جوابشان به آنها ارجاع بدهند؛ رباتهای آموزش متن را برای آموزش مدل‌ها برمی‌دارند. برای هر نوع جداگانه تصمیم بگیرید و هیچ‌کدام را با Googlebot اشتباه نگیرید.
جواب کوتاه
اگر می‌خواهید در جواب‌های هوش مصنوعی دیده شوید، به رباتهای پاسخ اجازه دسترسی بدهید. درباره رباتهای آموزش، خودتان و بر اساس شرایط خودتان تصمیم بگیرید؛ اگر آنها را ببندید، متن شما وارد مدل‌های بعدی نمی‌شود، ولی از جواب‌ها هم حذف نمی‌شوید. به Googlebot دست نزنید.
رباتها و کاری که انجام می‌دهند
| خزنده | سازنده | کاربرد |
|---|---|---|
OAI-SearchBot |
OpenAI | نتایج جست‌وجو و منبع‌های ChatGPT (پاسخ) |
ChatGPT-User |
OpenAI | خواندن لحظه‌ای صفحه‌ای که کاربر ChatGPT درباره‌اش می‌پرسد (پاسخ) |
GPTBot |
OpenAI | داده آموزشی (آموزش) |
Claude-User |
Anthropic | خواندن لحظه‌ای صفحه‌ای که کاربر Claude درباره‌اش می‌پرسد (پاسخ) |
ClaudeBot |
Anthropic | داده آموزشی و جواب‌های وب Claude (آموزش + پاسخ) |
PerplexityBot |
Perplexity | ایندکس و منبع‌های Perplexity (پاسخ) |
Google-Extended |
آموزش Gemini و پشتوانه جوابهایش، نه جستوجوی Google (آموزش) | |
Applebot-Extended |
Apple | آموزش Apple Intelligence (آموزش) |
خط‌هایی که باید بنویسید
برای اینکه به رباتهای پاسخ اجازه بدهید و رباتهای آموزش را ببندید:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /ClaudeBot کمی دردسر دارد: هم برای آموزش استفاده می‌شود و هم برای جواب‌های وب Claude. پس اگر آن را ببندید، از آن جواب‌ها هم حذف می‌شوید.
قبل از هر تغییری بررسی کنید
اول فایل robots.txt فعلی‌تان را بخوانید. قانون User-agent: * از قبل روی همه ربات‌هایی که اسمشان را نیاورده‌اید اعمال می‌شود. اگر سایتتان با یک قانون جامانده از نسخه تست (staging) همه چیز را بسته باشد، رباتهای پاسخ هم بسته می‌شوند و Search Console هم هیچ هشداری به شما نمی‌دهد.
MonoRanks فایل را می‌خواند، اثرش را روی هر ربات جداگانه نشان می‌دهد و خط‌های دقیق را بر اساس انتخاب شما می‌دهد؛ در WordPress می‌تواند خودش آنها را برایتان بنویسد. صفحه آمادگی GEO را ببینید.
منابع
سؤال‌های رایج
بستن GPTBot به رتبه سایتم در Google ضربه میزند؟
نه. GPTBot خزندهای است که OpenAI برای آموزش مدلهایش استفاده میکند. جستوجوی Google با Googlebot کار میکند و این قوانین کاری به آن ندارند.
Google-Extended چیست؟
تنظیمی است که مشخص میکند Google اجازه دارد از صفحههای شما برای آموزش Gemini و پشتوانه جوابهایش (grounding) استفاده کند یا نه. روی جستوجوی Google و AI Overviews اثری ندارد.
همه رباتها از robots.txt پیروی میکنند؟
رباتهای شناختهشده OpenAI، Anthropic، Google، Apple و Perplexity میگویند پیروی میکنند. اسکرپرهای ناشناس شاید نه؛ ولی جلوی آنها را باید با فایروال گرفت، نه با robots.txt.
حدوداً ماهی یک ایمیل
تغییرات جست‌وجو و پاسخ‌های هوش مصنوعی، از چیزهایی که در بررسی سایت‌ها می‌بینیم. بدون کارت بانکی، بدون تبلیغ، لغو با یک کلیک.