最近有朋友询问:用谷歌site你的站发现google没收录你的tag页,我的怎么?有还大部分是 ?倡萌认为,很多新手估计都不明其中的道理,加上自己想说说 倡萌的自留地 的现状,索性就写篇文章吧。
标签: Robots.txt
Sitemap和Robots.txt SEO优化技巧
在做网站优化的时候,我们不仅要进行网站内容,外链,内链的优化,还需要从sitemap.xml和robots.txt这些细节之处着手。sitemap和robots.txt是一个网站针对搜索引擎设置的两个极其重要的文件。一般的站长都知道,建好网站后需要建立网站的sitemap.xml,还有特殊情况的话需要进行robots.txt文件的设置。
Robots.txt 是什么/有什么用/怎么写
1. Robots.txt是什么? 我们都知道txt后缀的文件是纯文本文档,robots是机器人的意思,所以顾名思义,robots.txt文件也就是给搜索引擎蜘蛛这个机器人看的纯文本文件。robots.txt是搜索引擎公…