sideLord 23.07.2006, 03:04
nereye açacağıma karar veremedim. kusura bakmayın.
Peki yigini, elimdeki robots.txt içeriği bu. şimdi burdaki yazılanlar root taki klasörler mi? Yani bu kodlara göre diyorki örnegin, search klasörünün icindekilerin hepsini indexle öyle mi?
[syntax="php"]Kod:
User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalog_list
Disallow: /news
Disallow: /pagead/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?[/syntax]