robots.txt: block only AI training crawlers, let AI search in slowly
CI / test (push) Successful in 1m44s
CI / build (push) Successful in 5m55s
CI / deploy (push) Skipped

AI search engines and chat fetchers (OAI-SearchBot, ChatGPT-User,
Claude-SearchBot, PerplexityBot, ...) may now read the public pages,
with Crawl-delay: 10, so they can cite the site. Training crawlers stay
disallowed. Docs: the matching Cloudflare AI policy settings, and the
referral note no longer mentions localStorage.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_012vLHzh5qUhFtmJhzkcTbXL
This commit is contained in:
feco
2026-11-22 05:56:41 +00:00
co-authored by Claude Opus 5.5
parent 116e4747c2
commit a6ddfc6924
3 changed files with 42 additions and 20 deletions
+7 -3
View File
@@ -25,7 +25,7 @@ Egy kattintás önmagában semmit nem bizonyít, ezért kétféle jutalom van:
**Új felhasználó:**
- **Megjegyzés:** a megosztott oldal a böngészőben megjegyzi a link kódját (`localStorage` `sf_ref`). A Google-regisztráció elküldi (`referral`), és a backend a `referrals` táblába írja, hogy kit ki hozott. Saját link, visszavont link vagy kikapcsolt jutalom esetén nem írja be.
- **Megjegyzés:** a megosztott oldal belépés linkje viszi a link kódját (`/belepes?ref=<slug>`), a böngészőben semmi nem tárolódik. A regisztráció (Google, Apple, e-mail) elküldi (`referral`), és a backend a `referrals` táblába írja, hogy kit ki hozott. Saját link, visszavont link vagy kikapcsolt jutalom esetén nem írja be.
- **Jutalom:** amikor az új felhasználó elkészíti a saját képletét, a megosztó +1 képletelemzést kap (`referral_reward`), ha még nem érte el a hármat. Új felhasználónként egyszer.
- **`/v1/me`:** a `share_reward_granted` és a `referral_rewards` (`{earned, limit}`) mezők mutatják az állapotot.
@@ -33,8 +33,12 @@ Egy kattintás önmagában semmit nem bizonyít, ezért kétféle jutalom van:
- **Az olvasás nem ír.** A megosztott tartalom lekérése (`GET /v1/public/shares/{slug}`) semmit nem ír az adatbázisba.
- **Gyorsítótár:** a frontend 5 percig tartja (`fetch` `revalidate: 300`, `shares` tag), így a sűrűn visszatérő robotok el sem jutnak a backendig. Visszavonáskor az `/api/v1` proxy azonnal törli a taget.
- **robots.txt** (`src/app/robots.ts`): kitiltja az ismert AI-robotokat (GPTBot, ClaudeBot, CCBot, PerplexityBot, Bytespider, meta-externalagent stb.). Az előnézet-robotok (facebookexternalhit, Slackbot, WhatsApp, Twitterbot, LinkedInBot) engedélyezve maradnak.
- **Cloudflare:** a robots.txt-t be nem tartó robotokra a Cloudflare „Block AI bots” beállítása való (Security → Bots). Ez az előnézet-robotokat nem tiltja le. A „Bot Fight Mode” viszont az előnézeteket is elronthatja, azt ne kapcsoljuk be.
- **robots.txt** (`src/app/robots.ts`), három csoport:
- **Tanító robotok: kitiltva.** Amelyek AI-modell tanításához gyűjtenek, vagy tanítóadatnak adják el a tartalmat (GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Bytespider, meta-externalagent stb.), plusz a nehéz és itt haszontalan PetalBot és Scrapy. A Google-Extended csak a Gemini-tanítást tiltja, a Google-keresést és az AI-áttekintést nem érinti.
- **AI-keresők és -ügynökök: jöhetnek, legfeljebb 10 másodpercenként egy oldal** (`Crawl-delay: 10`, amelyik betartja). OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, DuckAssistBot stb. Ezek idézhetik az oldalt, és látogatót hozhatnak.
- **Mindenki más** (Googlebot, Bingbot, az előnézet-robotok: facebookexternalhit, Slackbot, WhatsApp, Twitterbot, LinkedInBot): jöhet, a belépés mögötti útvonalak kivételével.
- **Kis terhelés:** belépési süti nélkül a nyilvános oldalak nem hívják a backendet, a horoszkópszámítást pedig csak a böngészőben futó szkript indítja (IP-címenként óránként 30). Egy robotlátogatás így csak egy HTML-oldal előállítása.
- **Cloudflare:** a robots.txt-t be nem tartó robotokra a Security → Settings → Bot traffic → *AI Crawler and Agent access policies* való: **Training: Block**, **Search: Allow**, **Agents: Allow**. Ez az előnézet-robotokat nem érinti. A „Bot Fight Mode” viszont az előnézeteket is elronthatja, azt ne kapcsoljuk be.
## Előnézet (Facebook, Messenger, WhatsApp, LinkedIn, X)