####################################
#   robots.txt für kitnetwork.de   #
#
#
# Aufbau einer robots.txt
#
# # Kommentar (optional)
# User-Agent: <Spider/Crawlername>
# Disallow: <Verzeichnisse/Dateien>
#
# Ein / ohne jegliches Verzeichnis
# sperrt den Spider/Crawler aus!
#
# Das frei lassen sorgt dafür,
# dass sie freien Zugriff haben.
#
#
#   robots.txt für kitnetwork.de   #
####################################


##################################################
##### Folgenden wurde eine Erlaubnis erteilt #####

##################
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:

#############
# Googlebot
User-agent: Googlebot
Disallow:


#############################################################
##### Folgenden wurde der Zugang zu Testzwecken erlaubt #####

################
# Yahoo! Slurp
User-agent: Slurp
Disallow:

##########
# MSNBot
User-agent: msnbot
Disallow:

#########
# Lycos
User-agent: lycos
Disallow:


###############################################
##### Folgenden wurde der Zugang verwehrt #####


######################
# Google Bildersuche
User-Agent: Googlebot-Image
Disallow: /

##############
# JetBot/1.0
User-agent: JetBot
Disallow: /

########
# Wget
User-agent: wget
Disallow: /

###############
# e-collector
User-agent: e-collector
Disallow: /

####################
# W3C Link checker
User-agent: W3C-checklink
Disallow: /

#########
# Rover
User-agent: Roverbot
Disallow: /

###############
# TurnitinBot
User-agent: TurnitinBot
Disallow: /


#############################################################
##### Auf folgende Verzeichnisse darf niemand zugreifen #####

###############
# Alle Robots
User-agent: *
Disallow: /cgi-bin/
Disallow: /usage/
Disallow: /admin/