禁止搜索引擎收录维客网站(MediaWiki平台)的讨论(Talk)页面
来自Jamesqi
--James Qi 2009年12月26日 (六) 11:34 (CST)
近一阵子网监、广电都给我们一把刀人工搜索网站打招呼,我们自己也重新检视了网站内容,将菜单、推荐内容“改邪归正”,将一些“低俗”专题删除,还在网站顶部写出了举报邮箱的公告,完全配合相关部门“整治互联网低俗之风”。
除了我们自己编辑的内容以外,确实还有一些网友留言不合时宜,还有一些人有意跑来编辑发布宣传网址,以前我们都管得不是很严,现在为了防止这些内容给我们网站引起麻烦也需要严格审查了。
以前在MediaWiki设置中,我们将Talk页面中的外部链接都加了“nofollow”特性,也就是对搜索引擎优化不起作用,在提交的Sitemap中将Talk页面的权重也设置为普通页面的一半。不过我们的Talk页面多是附加在普通页面底部中的,这些设置效果一般。
进过同事的提议,我们干脆将所有维客网站的Talk页面(MediaWiki 1.15中用的中文“讨论”页面)对搜索引擎进行了屏蔽,做了两个工作:
- 在robots.txt中禁止搜索引擎对“/Talk”和“/%E8%AE%A8%E8%AE%BA”开头的页面访问
- 在LocalSettings.php中设置Talk namespace的Meta Robot特性为'noindex,nofollow'
这样应该可以限制搜索引擎对新的讨论页面收录,以前收录的老讨论页面也会逐步删除。我们网站管理员也加强了人工检查留言的频度,让那些黑帽SEOer不能得逞,也是对我们网站自身安全的保护。
禁止收录讨论页面后,对邮编库等网站有些影响,这些网站以前一些用户留言咨询以及管理员的回复是直接完全在讨论页中进行的,这些内容以后不被收录了,于是我将留言咨询的方式进行了调整,改为在main namespace中进行,这样也更有利于适应大量用户的咨询。
标签:搜索引擎、收录、维客、网站、MediaWiki、Robots.txt。 |
相关内容:
|