# robots.txt zu http://www.funkaholics.info/

#User-agent: UniservalRobot/1.0
#User-agent: mein-Robot
#Disallow: /quellen/dtd/
#Allow: /quellen/dtd/index.html

# erstmal alles verbieten
User-agent: *
Disallow: / 

# und jetzt Artikelverzeichnis erlauben
Allow: /Articles/Index.html





# muss noch in's html-Template

# <meta name="robots" content="noindex">
# verbietet Suchprogramm, Inhalte aus HTML-Datei an Suchdatenbank zu übermitteln
#
# <meta name="robots" content="index">
#erlaubt Suchprogramm, Inhalte aus aktueller HTML-Datei an Suchdatenbank zu übermitteln.
#
# <meta name="robots" content="nofollow">
#erlaubt Suchprogramm, Inhalte aus aktueller HTML-Datei an Suchdatenbank zu übermitteln
#verbietet dem Suchprogramm jedoch, untergeordnete Dateien Ihres Projekts zu besuchen.
#
# <meta name="robots" content="follow">
#erlaubt Suchprogramm, Inhalte aus aktueller HTML-Datei und untergeordneten Dateien zu indizieren.