robots.txt: block only AI training crawlers, let AI search in slowly
CI / test (push) Successful in 1m44s
CI / build (push) Successful in 5m55s
CI / deploy (push) Skipped

AI search engines and chat fetchers (OAI-SearchBot, ChatGPT-User,
Claude-SearchBot, PerplexityBot, ...) may now read the public pages,
with Crawl-delay: 10, so they can cite the site. Training crawlers stay
disallowed. Docs: the matching Cloudflare AI policy settings, and the
referral note no longer mentions localStorage.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_012vLHzh5qUhFtmJhzkcTbXL
This commit is contained in:
feco
2026-11-22 05:56:41 +00:00
co-authored by Claude Opus 5.5
parent 116e4747c2
commit a6ddfc6924
3 changed files with 42 additions and 20 deletions
+1
View File
@@ -77,6 +77,7 @@ A Docker által kinyitott portokat az ufw magától nem szűri, ezért a 80-as
- SSL/TLS mód: **Full (strict)**.
- **Always Use HTTPS: ki.** A Let's Encrypt a Cloudflare-en át, sima HTTP-n ellenőrzi a domaint, a tanúsítvány megújításakor is. A HTTP→HTTPS átirányítást a Caddy maga végzi.
- A Caddy a Cloudflare címtartományaiban megbízik, ezért a naplókban és a backendnél a látogató valódi IP-címe látszik (`CF-Connecting-IP`).
- AI-robotok: Security → Settings → Bot traffic → *AI Crawler and Agent access policies*: **Training: Block**, **Search: Allow**, **Agents: Allow** (a részletek: `docs/megosztas.md`, Robotok). Bot Fight Mode: ki, mert a link-előnézeteket is elrontja.
A Google OAuth kliensnél a `https://sorsfonalak.hu` címet fel kell venni az engedélyezett JavaScript-források közé.