robots.txt: block only AI training crawlers, let AI search in slowly
AI search engines and chat fetchers (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot, ...) may now read the public pages, with Crawl-delay: 10, so they can cite the site. Training crawlers stay disallowed. Docs: the matching Cloudflare AI policy settings, and the referral note no longer mentions localStorage. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_012vLHzh5qUhFtmJhzkcTbXL
This commit is contained in:
@@ -77,6 +77,7 @@ A Docker által kinyitott portokat az ufw magától nem szűri, ezért a 80-as
|
||||
- SSL/TLS mód: **Full (strict)**.
|
||||
- **Always Use HTTPS: ki.** A Let's Encrypt a Cloudflare-en át, sima HTTP-n ellenőrzi a domaint, a tanúsítvány megújításakor is. A HTTP→HTTPS átirányítást a Caddy maga végzi.
|
||||
- A Caddy a Cloudflare címtartományaiban megbízik, ezért a naplókban és a backendnél a látogató valódi IP-címe látszik (`CF-Connecting-IP`).
|
||||
- AI-robotok: Security → Settings → Bot traffic → *AI Crawler and Agent access policies*: **Training: Block**, **Search: Allow**, **Agents: Allow** (a részletek: `docs/megosztas.md`, Robotok). Bot Fight Mode: ki, mert a link-előnézeteket is elrontja.
|
||||
|
||||
A Google OAuth kliensnél a `https://sorsfonalak.hu` címet fel kell venni az engedélyezett JavaScript-források közé.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user