✔️کمپانی OpenAI داکیومنتهای خودشو آپدیت کرده و گفته که توی وب فقط با crawler خودش به اسم GPTBot سایتهارو نگاه میکنه
✔️که خب میتونید با یه تنظیمات ساده در فایل robots.txt سایت خودتون جلوش رو بگیرید
کافیه داخل این فایل بنویسید
User-agent: GPTBot
Disallow: /