Robots.txt Validator

A Robots.txt Validator egy ingyenes SEO eszköz, amely ellenőrzi a robots.txt fájlod szintaxisát és segít megelőzni a crawling hibákat.

🎯 Mire Jó Ez Az Eszköz?#

A robots.txt fájl megmondja a keresőmotor bot-oknak (Googlebot, Bingbot), mely oldalakat crawlolhatják, és melyeket nem.

Egy hibás robots.txt végzetes lehet:

• ❌ Véletlen blokkolás: Fontos oldal nem indexelődik
• ❌ Szintaxis hiba: Google figyelmen kívül hagyja
• ❌ Rossz direktívák: Nem működik ahogy gondolod
• ❌ Bizonytalanság: Nem látod előre, hogy működik-e

Megoldás ezzel az eszközzel:

• ✅ Valós idejű validáció: Azonnal látod a hibákat
• ✅ Direktíva ellenőrzés: User-agent, Disallow, Allow, Sitemap, Crawl-delay
• ✅ Hiba detektálás: Sor számozással, pontos hibajelzés
• ✅ Statisztikák: Hány user-agent, direktíva, sitemap van
• ✅ Példa betöltés: Working example egy kattintással

🚀 Hogyan Használd?#

1. Illeszd Be a Robots.txt Tartalmat#

Másold be a robots.txt fájl teljes tartalmát a textarea-ba.

Honnan kapd meg?

• Saját robots.txt: https://sajatoldal.hu/robots.txt
• Másold ki a tartalmát és illessz be

Vagy használd a “Példa betöltése” gombot egy working example-ért.

2. Kattints a “Validálás” Gombra#

Az eszköz azonnal ellenőrzi a szintaxist.

3. Nézd a Validációs Eredményt#

Ha nincs hiba:

✓ Érvényes robots.txt
Minden rendben! A robots.txt fájl szintaktikailag helyes.

Ha van hiba:

❌ 2 hiba, 1 figyelmeztetés

Sor 5: Hiba
Érvénytelen szintaxis: 'Dissallow: /admin/' (hiányzik a ':')

Sor 12: Figyelmeztetés
Útvonal nem '/'-vel kezdődik: 'admin/'

4. Ellenőrizd a Statisztikákat#

3 fő statisztika:

• User-agent: Hány bot van definiálva (pl. 3)
• Direktívák: Hány Disallow/Allow direktíva (pl. 15)
• Sitemap: Hány sitemap van megadva (pl. 2)

📊 Validációs Szabályok#

1. User-agent Direktíva#

Szabály:

• Kötelező legalább 1 user-agent
• Nem lehet üres érték

Rossz példa:

User-agent:

❌ Hiba: User-agent értéke üres!

Jó példa:

User-agent: *
User-agent: Googlebot

2. Disallow / Allow Direktívák#

Szabályok:

• Útvonalnak /-vel kell kezdődnie
• User-agent után kell jönnie
• Lehet üres (azt jelenti: minden engedélyezett)

Rossz példa:

Disallow: admin/

⚠️ Figyelmeztetés: Útvonal nem ’/’-vel kezdődik

Jó példa:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/

3. Sitemap Direktíva#

Szabályok:

• Teljes URL kell (http:// vagy https://)
• Relatív URL nem működik

Rossz példa:

Sitemap: /sitemap.xml

❌ Hiba: Sitemap URL nem teljes

Jó példa:

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-images.xml

4. Crawl-delay Direktíva#

Szabályok:

• Értéknek számnak kell lennie
• Nem lehet negatív

Rossz példa:

Crawl-delay: abc

❌ Hiba: Érvénytelen crawl-delay érték

Jó példa:

User-agent: Bingbot
Crawl-delay: 1

5. Általános Szintaxis#

Szabályok:

• Minden sor formátuma: Direktíva: Érték
• Kell : karakter
• Üres sorok és # kommentek megengedettek

Rossz példa:

Disallow /admin/

❌ Hiba: Érvénytelen szintaxis (hiányzik a ’:’)

Jó példa:

# Ez egy komment
Disallow: /admin/

# Üres sor felette OK
Allow: /public/

💡 Gyakori Hibák és Javítások#

❌ 1. Hiányzó User-agent#

Probléma:

Disallow: /admin/

Hiba:

'Disallow' direktíva User-agent nélkül!

Javítás:

User-agent: *
Disallow: /admin/

❌ 2. Rossz Direktíva Név#

Probléma:

Dissallow: /admin/

Hiba:

Ismeretlen direktíva: 'Dissallow'

Javítás:

Disallow: /admin/

❌ 3. Relatív Sitemap URL#

Probléma:

Sitemap: /sitemap.xml

Hiba:

Sitemap URL nem teljes: '/sitemap.xml'

Javítás:

Sitemap: https://example.com/sitemap.xml

❌ 4. Hiányzó ’/’ Útvonalban#

Probléma:

Disallow: admin

Figyelmeztetés:

Útvonal nem '/'-vel kezdődik: 'admin'

Javítás:

Disallow: /admin/

❌ 5. Negatív Crawl-delay#

Probléma:

Crawl-delay: -1

Hiba:

Érvénytelen crawl-delay érték: '-1'

Javítás:

Crawl-delay: 1

🎨 Funkciók Részletesen#

1. Példa Robots.txt Betöltés#

Egy kattintással betölt egy working example-t:

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Crawl-delay: 0
Disallow: /search

User-agent: Bingbot
Crawl-delay: 1

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-images.xml

Használd:

• Tanuláshoz (nézd meg a struktúrát)
• Teszteléshez (módosítsd és validáld)
• Kiindulási alapnak (saját robots.txt-hez)

2. Sor Számláló#

Mutatja hány sor van a robots.txt-ben:

12 sor

Real-time frissül ahogy gépelesz.

3. Visual Status Feedback#

Zöld státusz (nincs hiba):

✓ Érvényes robots.txt
Minden rendben!

Sárga státusz (van figyelmeztetés):

⚠️ 0 hiba, 2 figyelmeztetés

Piros státusz (van hiba):

❌ 3 hiba, 1 figyelmeztetés

4. Részletes Hiba Lista#

Minden hiba külön kártyán:

┌─────────────────────────────────────┐
│ ❌ Sor 5: Hiba                      │
│                                     │
│ Érvénytelen szintaxis:              │
│ 'Dissallow: /admin/'                │
│ (hiányzik a ':')                    │
└─────────────────────────────────────┘

Figyelmeztetések:

┌─────────────────────────────────────┐
│ ⚠️ Sor 12: Figyelmeztetés           │
│                                     │
│ Útvonal nem '/'-vel kezdődik:       │
│ 'admin/'                            │
└─────────────────────────────────────┘

5. Statisztika Dashboard#

3 metrika:

┌──────────────┬──────────────┬──────────────┐
│ User-agent   │ Direktívák   │ Sitemap      │
│      3       │      15      │      2       │
└──────────────┴──────────────┴──────────────┘

🎓 Robots.txt Best Practices#

DO (Csináld):#

• ✅ Kezdd User-agent-tel
• ✅ Mindig / az útvonal elején
• ✅ Teljes URL a Sitemap-nek
• ✅ Kommentek a tisztaságért (#)
• ✅ Egyszerű struktúra (ne bonyolítsd)
• ✅ Tesztelj (használd ezt az eszközt!)

DON’T (Ne csináld):#

• ❌ Szenzitív adatok (jelszavak, API key-k)
• ❌ Túl komplex szabályok
• ❌ Relatív URL-ek
• ❌ Felesleges direktívák

🔧 Robots.txt Gyors Útmutató#

Alapvető Struktúra#

# Komment
User-agent: [bot neve]
Disallow: [tiltott útvonal]
Allow: [engedélyezett útvonal]

Sitemap: [teljes sitemap URL]

Gyakori Használati Esetek#

1. Minden bot minden oldalt crawlolhat:

User-agent: *
Disallow:

2. Adminisztrátor oldal tiltása:

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

3. Kereső oldal tiltása:

User-agent: *
Disallow: /search
Disallow: /?s=

4. URL paraméterek tiltása:

User-agent: *
Disallow: /*?*

5. Specifikus bot kezelés:

User-agent: Googlebot
Disallow: /private/

User-agent: Bingbot
Crawl-delay: 1
Disallow: /temp/

6. Sitemap megadás:

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-images.xml
Sitemap: https://example.com/sitemap-videos.xml

📱 Responsive Design#

Layout:

• Mobil (< 768px): Stacked textarea + results
• Tablet (768-1024px): Wide textarea
• Desktop (1024px+): Side-by-side optional

Dark mode:

• Purple/pink neon gradients
• Animated grid background
• High contrast text

🔗 Kapcsolódó Eszközök#

Használd együtt:

• XML Sitemap Generator - Sitemap készítés
• Schema Generator - Strukturált adatok
• Internal Link Analyzer - Crawlability check

🎓 További Tanulás#

Olvasd el:

• Robots.txt Konfiguráció - Teljes Útmutató
• XML Sitemap Létrehozás
• Google Search Console Setup

❓ Gyakori Kérdések#

Hol kell lennie a robots.txt fájlnak? A domain gyökerében: https://example.com/robots.txt (NEM /docs/robots.txt!)

Kell minden website-nek robots.txt? Nem kötelező, de ajánlott. Ha nincs, minden oldal crawlolható (ami általában jó).

Mi a különbség a Disallow és Allow között? Disallow: tiltja az útvonalat, Allow: engedélyezi (felülírhatja a Disallow-t).

Hogyan tiltom az összes bot-ot?

User-agent: *
Disallow: /

(DE vigyázz! Ez tiltja a Google-t is!)

*Mit jelent a ’User-agent: ’? Minden bot-ra vonatkozik (wildcard). Specifikus bot: User-agent: Googlebot

Használhatok regex-et? Részben. * = bármi, $ = sor vége. De regex nem teljes mértékben támogatott.