From a6ddfc692461b157040f1cd7dc44854adf3eeab3 Mon Sep 17 00:00:00 2001 From: feco Date: Sun, 22 Nov 2026 05:56:41 +0000 Subject: [PATCH] robots.txt: block only AI training crawlers, let AI search in slowly AI search engines and chat fetchers (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot, ...) may now read the public pages, with Crawl-delay: 10, so they can cite the site. Training crawlers stay disallowed. Docs: the matching Cloudflare AI policy settings, and the referral note no longer mentions localStorage. Co-Authored-By: Claude Opus 5.5 Claude-Session: https://claude.ai/code/session_012vLHzh5qUhFtmJhzkcTbXL --- deploy/README.md | 1 + docs/megosztas.md | 10 ++++-- services/frontend/src/app/robots.ts | 51 +++++++++++++++++++---------- 3 files changed, 42 insertions(+), 20 deletions(-) diff --git a/deploy/README.md b/deploy/README.md index ba0a4f5..7e26fa4 100644 --- a/deploy/README.md +++ b/deploy/README.md @@ -77,6 +77,7 @@ A Docker által kinyitott portokat az ufw magától nem szűri, ezért a 80-as - SSL/TLS mód: **Full (strict)**. - **Always Use HTTPS: ki.** A Let's Encrypt a Cloudflare-en át, sima HTTP-n ellenőrzi a domaint, a tanúsítvány megújításakor is. A HTTP→HTTPS átirányítást a Caddy maga végzi. - A Caddy a Cloudflare címtartományaiban megbízik, ezért a naplókban és a backendnél a látogató valódi IP-címe látszik (`CF-Connecting-IP`). +- AI-robotok: Security → Settings → Bot traffic → *AI Crawler and Agent access policies*: **Training: Block**, **Search: Allow**, **Agents: Allow** (a részletek: `docs/megosztas.md`, Robotok). Bot Fight Mode: ki, mert a link-előnézeteket is elrontja. A Google OAuth kliensnél a `https://sorsfonalak.hu` címet fel kell venni az engedélyezett JavaScript-források közé. diff --git a/docs/megosztas.md b/docs/megosztas.md index ce3150e..0407dee 100644 --- a/docs/megosztas.md +++ b/docs/megosztas.md @@ -25,7 +25,7 @@ Egy kattintás önmagában semmit nem bizonyít, ezért kétféle jutalom van: **Új felhasználó:** -- **Megjegyzés:** a megosztott oldal a böngészőben megjegyzi a link kódját (`localStorage` `sf_ref`). A Google-regisztráció elküldi (`referral`), és a backend a `referrals` táblába írja, hogy kit ki hozott. Saját link, visszavont link vagy kikapcsolt jutalom esetén nem írja be. +- **Megjegyzés:** a megosztott oldal belépés linkje viszi a link kódját (`/belepes?ref=`), a böngészőben semmi nem tárolódik. A regisztráció (Google, Apple, e-mail) elküldi (`referral`), és a backend a `referrals` táblába írja, hogy kit ki hozott. Saját link, visszavont link vagy kikapcsolt jutalom esetén nem írja be. - **Jutalom:** amikor az új felhasználó elkészíti a saját képletét, a megosztó +1 képletelemzést kap (`referral_reward`), ha még nem érte el a hármat. Új felhasználónként egyszer. - **`/v1/me`:** a `share_reward_granted` és a `referral_rewards` (`{earned, limit}`) mezők mutatják az állapotot. @@ -33,8 +33,12 @@ Egy kattintás önmagában semmit nem bizonyít, ezért kétféle jutalom van: - **Az olvasás nem ír.** A megosztott tartalom lekérése (`GET /v1/public/shares/{slug}`) semmit nem ír az adatbázisba. - **Gyorsítótár:** a frontend 5 percig tartja (`fetch` `revalidate: 300`, `shares` tag), így a sűrűn visszatérő robotok el sem jutnak a backendig. Visszavonáskor az `/api/v1` proxy azonnal törli a taget. -- **robots.txt** (`src/app/robots.ts`): kitiltja az ismert AI-robotokat (GPTBot, ClaudeBot, CCBot, PerplexityBot, Bytespider, meta-externalagent stb.). Az előnézet-robotok (facebookexternalhit, Slackbot, WhatsApp, Twitterbot, LinkedInBot) engedélyezve maradnak. -- **Cloudflare:** a robots.txt-t be nem tartó robotokra a Cloudflare „Block AI bots” beállítása való (Security → Bots). Ez az előnézet-robotokat nem tiltja le. A „Bot Fight Mode” viszont az előnézeteket is elronthatja, azt ne kapcsoljuk be. +- **robots.txt** (`src/app/robots.ts`), három csoport: + - **Tanító robotok: kitiltva.** Amelyek AI-modell tanításához gyűjtenek, vagy tanítóadatnak adják el a tartalmat (GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Bytespider, meta-externalagent stb.), plusz a nehéz és itt haszontalan PetalBot és Scrapy. A Google-Extended csak a Gemini-tanítást tiltja, a Google-keresést és az AI-áttekintést nem érinti. + - **AI-keresők és -ügynökök: jöhetnek, legfeljebb 10 másodpercenként egy oldal** (`Crawl-delay: 10`, amelyik betartja). OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, DuckAssistBot stb. Ezek idézhetik az oldalt, és látogatót hozhatnak. + - **Mindenki más** (Googlebot, Bingbot, az előnézet-robotok: facebookexternalhit, Slackbot, WhatsApp, Twitterbot, LinkedInBot): jöhet, a belépés mögötti útvonalak kivételével. +- **Kis terhelés:** belépési süti nélkül a nyilvános oldalak nem hívják a backendet, a horoszkópszámítást pedig csak a böngészőben futó szkript indítja (IP-címenként óránként 30). Egy robotlátogatás így csak egy HTML-oldal előállítása. +- **Cloudflare:** a robots.txt-t be nem tartó robotokra a Security → Settings → Bot traffic → *AI Crawler and Agent access policies* való: **Training: Block**, **Search: Allow**, **Agents: Allow**. Ez az előnézet-robotokat nem érinti. A „Bot Fight Mode” viszont az előnézeteket is elronthatja, azt ne kapcsoljuk be. ## Előnézet (Facebook, Messenger, WhatsApp, LinkedIn, X) diff --git a/services/frontend/src/app/robots.ts b/services/frontend/src/app/robots.ts index c8348ac..17be8cc 100644 --- a/services/frontend/src/app/robots.ts +++ b/services/frontend/src/app/robots.ts @@ -2,27 +2,21 @@ import type { MetadataRoute } from "next"; import { siteUrl } from "@/lib/share"; -// AI crawlers that train models or answer from the site: they load pages -// far more often than visitors do. Link preview robots (Facebook, Messenger, -// Slack, WhatsApp, X, LinkedIn) stay allowed, they make the shared links work. -const AI_CRAWLERS = [ +// Crawlers that collect content to train AI models, or to sell it as +// training data. They bring no visitors back, so they are shut out. +// Google-Extended and Applebot-Extended only opt out of training: Google +// Search (AI Overviews included) and Siri keep reading the site. +const TRAINING_CRAWLERS = [ "GPTBot", - "ChatGPT-User", - "OAI-SearchBot", "ClaudeBot", - "Claude-User", - "Claude-SearchBot", "anthropic-ai", "CCBot", "Google-Extended", "GoogleOther", "Applebot-Extended", - "PerplexityBot", - "Perplexity-User", "Bytespider", "Amazonbot", "meta-externalagent", - "meta-externalfetcher", "FacebookBot", "cohere-ai", "cohere-training-data-crawler", @@ -30,23 +24,46 @@ const AI_CRAWLERS = [ "ImagesiftBot", "Omgilibot", "Omgili", - "YouBot", + "Webzio-Extended", "Timpibot", "AI2Bot", "Ai2Bot-Dolma", - "DuckAssistBot", - "MistralAI-User", + "PanguBot", + "Kangaroo Bot", + "img2dataset", + // Not training, but heavy and of no use here: Huawei's Petal search and + // Scrapy's default user agent. "PetalBot", "Scrapy", ]; +// AI search engines and the fetchers that read a page when someone asks a +// chatbot about it. These can cite the site and send visitors, so they may +// come, but at most one page every few seconds (for those that honour it). +const AI_SEARCH = [ + "OAI-SearchBot", + "ChatGPT-User", + "Claude-SearchBot", + "Claude-User", + "PerplexityBot", + "Perplexity-User", + "DuckAssistBot", + "MistralAI-User", + "meta-externalfetcher", + "YouBot", +]; + +// Logged-in pages redirect anyway; shared links carry noindex. +const PRIVATE = ["/api/", "/admin", "/profil", "/kepletek", "/osszevetesek", "/szemelyek", "/szamlak"]; + export default async function robots(): Promise { return { sitemap: `${await siteUrl()}/sitemap.xml`, rules: [ - { userAgent: AI_CRAWLERS, disallow: "/" }, - // Logged-in pages redirect anyway; shared links carry noindex. - { userAgent: "*", allow: "/", disallow: ["/api/", "/admin", "/profil", "/kepletek", "/osszevetesek", "/szemelyek", "/szamlak"] }, + { userAgent: TRAINING_CRAWLERS, disallow: "/" }, + // A crawler reads only its own group, so the private paths are repeated. + { userAgent: AI_SEARCH, allow: "/", disallow: PRIVATE, crawlDelay: 10 }, + { userAgent: "*", allow: "/", disallow: PRIVATE }, ], }; }