# robots.txt 
# URL:http://www.be-lufthansa.com

# Alle Roboter spidern die Domain
User-agent: *
Disallow:

# Verzeichnis /typo3 soll nicht von * gespidert werden
User-agent: *
Disallow: /typo3