robots.txt von PS generiert? OK oder weiter anpassen

[Pippo3000]

Hi, meine generierte robots.txt ist schon recht lang, aber nur der PS standard.

Sah nun einizig Madlens hinweis auf

User-agent: EmailCollector
Disallow: /

User-agent: GagaRobot
Disallow: /

kann ich das einfach einfügen wenn dort später

Code:

User-agent: *

kommt? Ich meine, hebt der asterix die völlige beschränkung für emailcollector und gagarobat dann wieder auf?

ausserdem, müssen unter

Code:

# Directories
Disallow: /classes/
Disallow: /config/

nicht alle verzeichnisse, also auch /js/, /docs/ oder /css/? oder ist das bewusst ausgenommen?

best
phil