در این صفحه
ربات های پاسخ و ربات های آموزش
| نوع | چه کاری می کند | اگر ببندیدش |
|---|---|---|
| ربات پاسخ | وقتی کسی از یک دستیار هوش مصنوعی سؤال می پرسد صفحه را می خواند تا بتواند از شما نقل کند | از جواب های آن دستیار حذف می شوید |
| ربات آموزش | متن را برای آموزش مدل های هوش مصنوعی آینده برمی دارد | متن شما وارد مدل های آینده نمی شود و جواب ها همچنان کار می کنند |
ربات ها، یکی یکی
| خزنده | صاحب | کاربرد |
|---|---|---|
OAI-SearchBot |
OpenAI | نتایج جستجوی ChatGPT و نقل از منبع ها (پاسخ) |
ChatGPT-User |
OpenAI | صفحه هایی که کاربر ChatGPT درباره شان می پرسد، همان لحظه خوانده می شوند (پاسخ) |
GPTBot |
OpenAI | داده آموزشی (آموزش) |
Claude-SearchBot |
Anthropic | کیفیت نتیجه های جستجوی Claude را بهتر می کند (پاسخ) |
Claude-User |
Anthropic | صفحه هایی که کاربر Claude درباره شان می پرسد، همان لحظه خوانده می شوند (پاسخ) |
ClaudeBot |
Anthropic | داده آموزشی (آموزش) |
PerplexityBot |
Perplexity | ایندکس Perplexity و نقل از منبع ها (پاسخ) |
Perplexity-User |
Perplexity | صفحه هایی که کاربر Perplexity درباره شان می پرسد، همان لحظه خوانده می شوند (پاسخ). Perplexity می گوید معمولاً robots.txt را نادیده می گیرد |
CCBot |
Common Crawl | یک آرشیو باز از وب، از یک سازمان غیرانتفاعی. Common Crawl می گوید CCBot از robots.txt پیروی می کند (آرشیو) |
Bytespider |
ByteDance | داده آموزشی (آموزش). ByteDance برای آن صفحه رسمی منتشر نکرده است |
meta-externalagent |
Meta | آموزش مدل های هوش مصنوعی و بهتر کردن محصولات Meta (آموزش) |
Amazonbot |
Amazon | محصولات Amazon را بهتر می کند و ممکن است برای آموزش مدل های هوش مصنوعی اش به کار رود (آموزش) |
Google-Extended |
گوگل | آموزش Gemini و پشتوانه جواب هایش (grounding)، نه جستجوی گوگل (آموزش) |
Applebot-Extended |
Apple | آموزش Apple Intelligence (آموزش) |
خط هایی که می توانید در robots.txt کپی کنید
برای اینکه به ربات های پاسخ اجازه بدهید و ربات های آموزش را ببندید:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /
برای اینکه به همه اجازه بدهید، به هیچ چیزی نیاز ندارید: robots.txt ای که برای این ربات ها قانونی ندارد، از قبل به آن ها اجازه ورود می دهد.
یک نمونه واقعی: بسته شده بدون اینکه بدانیم
در اکتبر ۲۰۲۶ مونورنکس سایت خودش را بررسی کرد و دید ۱۰ تا از ۱۲ خزنده هوش مصنوعی بسته شده اند، از جمله ChatGPT-User و Claude-User. robots.txt ما می گفت “خوش آمدید”. این بستن ها از یک تنظیم امنیتی در CDN ما (robots.txt مدیریت شده Cloudflare) می آمد که قانون های خودش را بالای قانون های ما اضافه کرده بود.
آن تنظیم را خاموش کردیم و بررسی بعدی نشان داد هر ۱۲ خزنده اجازه دارند. (این عددها وقتی اندازه گرفته شد که بررسی ۱۲ ربات را پوشش می داد. حالا ۱۳ ربات را پوشش می دهد.) درسش این است: robots.txt ای را بخوانید که روی سایت زنده است، نه آن که در فایل های شماست.
چطور سایتتان را بررسی کنید
- آدرس
https://yoursite.com/robots.txtرا باز کنید و کل فایل را بخوانید. - دنبال دسته خط هایی بگردید که خودتان ننوشته اید و اغلب هاست، CDN یا یک افزونه امنیتی اضافه کرده است.
- بررسی رایگان خزنده های هوش مصنوعی را اجرا کنید: robots.txt زنده شما را می خواند و ربات به ربات نشان می دهد چه کسی اجازه دارد صفحه هایتان را بخواند و آیا فایل llms.txt دارید یا نه.
مونورنکس این بررسی را هر هفته برای ۱۳ ربات هوش مصنوعی انجام می دهد، نشان می دهد امروز به هر ربات چه گفته می شود و خط های دقیق را بر اساس انتخاب شما می دهد. در وردپرس می تواند بعد از تأیید شما آن ها را خودش برایتان بنویسد:

برای تصویر بزرگ تر، GEO چیست را ببینید.








