robots.txt: block only AI training crawlers, let AI search in slowly
AI search engines and chat fetchers (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot, ...) may now read the public pages, with Crawl-delay: 10, so they can cite the site. Training crawlers stay disallowed. Docs: the matching Cloudflare AI policy settings, and the referral note no longer mentions localStorage. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_012vLHzh5qUhFtmJhzkcTbXL
This commit is contained in:
@@ -77,6 +77,7 @@ A Docker által kinyitott portokat az ufw magától nem szűri, ezért a 80-as
|
|||||||
- SSL/TLS mód: **Full (strict)**.
|
- SSL/TLS mód: **Full (strict)**.
|
||||||
- **Always Use HTTPS: ki.** A Let's Encrypt a Cloudflare-en át, sima HTTP-n ellenőrzi a domaint, a tanúsítvány megújításakor is. A HTTP→HTTPS átirányítást a Caddy maga végzi.
|
- **Always Use HTTPS: ki.** A Let's Encrypt a Cloudflare-en át, sima HTTP-n ellenőrzi a domaint, a tanúsítvány megújításakor is. A HTTP→HTTPS átirányítást a Caddy maga végzi.
|
||||||
- A Caddy a Cloudflare címtartományaiban megbízik, ezért a naplókban és a backendnél a látogató valódi IP-címe látszik (`CF-Connecting-IP`).
|
- A Caddy a Cloudflare címtartományaiban megbízik, ezért a naplókban és a backendnél a látogató valódi IP-címe látszik (`CF-Connecting-IP`).
|
||||||
|
- AI-robotok: Security → Settings → Bot traffic → *AI Crawler and Agent access policies*: **Training: Block**, **Search: Allow**, **Agents: Allow** (a részletek: `docs/megosztas.md`, Robotok). Bot Fight Mode: ki, mert a link-előnézeteket is elrontja.
|
||||||
|
|
||||||
A Google OAuth kliensnél a `https://sorsfonalak.hu` címet fel kell venni az engedélyezett JavaScript-források közé.
|
A Google OAuth kliensnél a `https://sorsfonalak.hu` címet fel kell venni az engedélyezett JavaScript-források közé.
|
||||||
|
|
||||||
|
|||||||
+7
-3
@@ -25,7 +25,7 @@ Egy kattintás önmagában semmit nem bizonyít, ezért kétféle jutalom van:
|
|||||||
|
|
||||||
**Új felhasználó:**
|
**Új felhasználó:**
|
||||||
|
|
||||||
- **Megjegyzés:** a megosztott oldal a böngészőben megjegyzi a link kódját (`localStorage` `sf_ref`). A Google-regisztráció elküldi (`referral`), és a backend a `referrals` táblába írja, hogy kit ki hozott. Saját link, visszavont link vagy kikapcsolt jutalom esetén nem írja be.
|
- **Megjegyzés:** a megosztott oldal belépés linkje viszi a link kódját (`/belepes?ref=<slug>`), a böngészőben semmi nem tárolódik. A regisztráció (Google, Apple, e-mail) elküldi (`referral`), és a backend a `referrals` táblába írja, hogy kit ki hozott. Saját link, visszavont link vagy kikapcsolt jutalom esetén nem írja be.
|
||||||
- **Jutalom:** amikor az új felhasználó elkészíti a saját képletét, a megosztó +1 képletelemzést kap (`referral_reward`), ha még nem érte el a hármat. Új felhasználónként egyszer.
|
- **Jutalom:** amikor az új felhasználó elkészíti a saját képletét, a megosztó +1 képletelemzést kap (`referral_reward`), ha még nem érte el a hármat. Új felhasználónként egyszer.
|
||||||
- **`/v1/me`:** a `share_reward_granted` és a `referral_rewards` (`{earned, limit}`) mezők mutatják az állapotot.
|
- **`/v1/me`:** a `share_reward_granted` és a `referral_rewards` (`{earned, limit}`) mezők mutatják az állapotot.
|
||||||
|
|
||||||
@@ -33,8 +33,12 @@ Egy kattintás önmagában semmit nem bizonyít, ezért kétféle jutalom van:
|
|||||||
|
|
||||||
- **Az olvasás nem ír.** A megosztott tartalom lekérése (`GET /v1/public/shares/{slug}`) semmit nem ír az adatbázisba.
|
- **Az olvasás nem ír.** A megosztott tartalom lekérése (`GET /v1/public/shares/{slug}`) semmit nem ír az adatbázisba.
|
||||||
- **Gyorsítótár:** a frontend 5 percig tartja (`fetch` `revalidate: 300`, `shares` tag), így a sűrűn visszatérő robotok el sem jutnak a backendig. Visszavonáskor az `/api/v1` proxy azonnal törli a taget.
|
- **Gyorsítótár:** a frontend 5 percig tartja (`fetch` `revalidate: 300`, `shares` tag), így a sűrűn visszatérő robotok el sem jutnak a backendig. Visszavonáskor az `/api/v1` proxy azonnal törli a taget.
|
||||||
- **robots.txt** (`src/app/robots.ts`): kitiltja az ismert AI-robotokat (GPTBot, ClaudeBot, CCBot, PerplexityBot, Bytespider, meta-externalagent stb.). Az előnézet-robotok (facebookexternalhit, Slackbot, WhatsApp, Twitterbot, LinkedInBot) engedélyezve maradnak.
|
- **robots.txt** (`src/app/robots.ts`), három csoport:
|
||||||
- **Cloudflare:** a robots.txt-t be nem tartó robotokra a Cloudflare „Block AI bots” beállítása való (Security → Bots). Ez az előnézet-robotokat nem tiltja le. A „Bot Fight Mode” viszont az előnézeteket is elronthatja, azt ne kapcsoljuk be.
|
- **Tanító robotok: kitiltva.** Amelyek AI-modell tanításához gyűjtenek, vagy tanítóadatnak adják el a tartalmat (GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Bytespider, meta-externalagent stb.), plusz a nehéz és itt haszontalan PetalBot és Scrapy. A Google-Extended csak a Gemini-tanítást tiltja, a Google-keresést és az AI-áttekintést nem érinti.
|
||||||
|
- **AI-keresők és -ügynökök: jöhetnek, legfeljebb 10 másodpercenként egy oldal** (`Crawl-delay: 10`, amelyik betartja). OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, DuckAssistBot stb. Ezek idézhetik az oldalt, és látogatót hozhatnak.
|
||||||
|
- **Mindenki más** (Googlebot, Bingbot, az előnézet-robotok: facebookexternalhit, Slackbot, WhatsApp, Twitterbot, LinkedInBot): jöhet, a belépés mögötti útvonalak kivételével.
|
||||||
|
- **Kis terhelés:** belépési süti nélkül a nyilvános oldalak nem hívják a backendet, a horoszkópszámítást pedig csak a böngészőben futó szkript indítja (IP-címenként óránként 30). Egy robotlátogatás így csak egy HTML-oldal előállítása.
|
||||||
|
- **Cloudflare:** a robots.txt-t be nem tartó robotokra a Security → Settings → Bot traffic → *AI Crawler and Agent access policies* való: **Training: Block**, **Search: Allow**, **Agents: Allow**. Ez az előnézet-robotokat nem érinti. A „Bot Fight Mode” viszont az előnézeteket is elronthatja, azt ne kapcsoljuk be.
|
||||||
|
|
||||||
## Előnézet (Facebook, Messenger, WhatsApp, LinkedIn, X)
|
## Előnézet (Facebook, Messenger, WhatsApp, LinkedIn, X)
|
||||||
|
|
||||||
|
|||||||
@@ -2,27 +2,21 @@ import type { MetadataRoute } from "next";
|
|||||||
|
|
||||||
import { siteUrl } from "@/lib/share";
|
import { siteUrl } from "@/lib/share";
|
||||||
|
|
||||||
// AI crawlers that train models or answer from the site: they load pages
|
// Crawlers that collect content to train AI models, or to sell it as
|
||||||
// far more often than visitors do. Link preview robots (Facebook, Messenger,
|
// training data. They bring no visitors back, so they are shut out.
|
||||||
// Slack, WhatsApp, X, LinkedIn) stay allowed, they make the shared links work.
|
// Google-Extended and Applebot-Extended only opt out of training: Google
|
||||||
const AI_CRAWLERS = [
|
// Search (AI Overviews included) and Siri keep reading the site.
|
||||||
|
const TRAINING_CRAWLERS = [
|
||||||
"GPTBot",
|
"GPTBot",
|
||||||
"ChatGPT-User",
|
|
||||||
"OAI-SearchBot",
|
|
||||||
"ClaudeBot",
|
"ClaudeBot",
|
||||||
"Claude-User",
|
|
||||||
"Claude-SearchBot",
|
|
||||||
"anthropic-ai",
|
"anthropic-ai",
|
||||||
"CCBot",
|
"CCBot",
|
||||||
"Google-Extended",
|
"Google-Extended",
|
||||||
"GoogleOther",
|
"GoogleOther",
|
||||||
"Applebot-Extended",
|
"Applebot-Extended",
|
||||||
"PerplexityBot",
|
|
||||||
"Perplexity-User",
|
|
||||||
"Bytespider",
|
"Bytespider",
|
||||||
"Amazonbot",
|
"Amazonbot",
|
||||||
"meta-externalagent",
|
"meta-externalagent",
|
||||||
"meta-externalfetcher",
|
|
||||||
"FacebookBot",
|
"FacebookBot",
|
||||||
"cohere-ai",
|
"cohere-ai",
|
||||||
"cohere-training-data-crawler",
|
"cohere-training-data-crawler",
|
||||||
@@ -30,23 +24,46 @@ const AI_CRAWLERS = [
|
|||||||
"ImagesiftBot",
|
"ImagesiftBot",
|
||||||
"Omgilibot",
|
"Omgilibot",
|
||||||
"Omgili",
|
"Omgili",
|
||||||
"YouBot",
|
"Webzio-Extended",
|
||||||
"Timpibot",
|
"Timpibot",
|
||||||
"AI2Bot",
|
"AI2Bot",
|
||||||
"Ai2Bot-Dolma",
|
"Ai2Bot-Dolma",
|
||||||
"DuckAssistBot",
|
"PanguBot",
|
||||||
"MistralAI-User",
|
"Kangaroo Bot",
|
||||||
|
"img2dataset",
|
||||||
|
// Not training, but heavy and of no use here: Huawei's Petal search and
|
||||||
|
// Scrapy's default user agent.
|
||||||
"PetalBot",
|
"PetalBot",
|
||||||
"Scrapy",
|
"Scrapy",
|
||||||
];
|
];
|
||||||
|
|
||||||
|
// AI search engines and the fetchers that read a page when someone asks a
|
||||||
|
// chatbot about it. These can cite the site and send visitors, so they may
|
||||||
|
// come, but at most one page every few seconds (for those that honour it).
|
||||||
|
const AI_SEARCH = [
|
||||||
|
"OAI-SearchBot",
|
||||||
|
"ChatGPT-User",
|
||||||
|
"Claude-SearchBot",
|
||||||
|
"Claude-User",
|
||||||
|
"PerplexityBot",
|
||||||
|
"Perplexity-User",
|
||||||
|
"DuckAssistBot",
|
||||||
|
"MistralAI-User",
|
||||||
|
"meta-externalfetcher",
|
||||||
|
"YouBot",
|
||||||
|
];
|
||||||
|
|
||||||
|
// Logged-in pages redirect anyway; shared links carry noindex.
|
||||||
|
const PRIVATE = ["/api/", "/admin", "/profil", "/kepletek", "/osszevetesek", "/szemelyek", "/szamlak"];
|
||||||
|
|
||||||
export default async function robots(): Promise<MetadataRoute.Robots> {
|
export default async function robots(): Promise<MetadataRoute.Robots> {
|
||||||
return {
|
return {
|
||||||
sitemap: `${await siteUrl()}/sitemap.xml`,
|
sitemap: `${await siteUrl()}/sitemap.xml`,
|
||||||
rules: [
|
rules: [
|
||||||
{ userAgent: AI_CRAWLERS, disallow: "/" },
|
{ userAgent: TRAINING_CRAWLERS, disallow: "/" },
|
||||||
// Logged-in pages redirect anyway; shared links carry noindex.
|
// A crawler reads only its own group, so the private paths are repeated.
|
||||||
{ userAgent: "*", allow: "/", disallow: ["/api/", "/admin", "/profil", "/kepletek", "/osszevetesek", "/szemelyek", "/szamlak"] },
|
{ userAgent: AI_SEARCH, allow: "/", disallow: PRIVATE, crawlDelay: 10 },
|
||||||
|
{ userAgent: "*", allow: "/", disallow: PRIVATE },
|
||||||
],
|
],
|
||||||
};
|
};
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user