站长技术网

首页 > 站长资讯 > 搜索优化 >

Google让蜘蛛自动填表提交 以抓取更多网页

据国外媒体报道:美国搜索巨头谷歌公司最近开始在网页抓取蜘蛛中实施一项新技术:他们可以让蜘蛛自动填写某些网页中的表格,并且自动提交到服务器上,对反馈页面进行抓取,从而获取更多有关这个网站的详细信息。

媒体分析认为,这将对网站的信息安全构成威胁。

一般来说,表格(Form)是网站方面用来收集用户信息的一种方式。比如用户申请成为注册会员,需要提交相关的身份资料。表格将会把这些数据提交到服务器上,服务器上的网页将会给出下一步提示。

在过去,谷歌公司的蜘蛛机器人并不会填写表格,因为也无法知道下一步的提示网页内容。

最近,谷歌公司对抓取系统进行了升级。机器人将会根据表格中各个项目的名字,自动填写数据提交给服务器,这样,服务器的反馈页面也将被机器人所抓取,谷歌将会获得这个网站的更多信息。

谷歌公司在一个博客中表示,他们会对这个功能采取谨慎态度。比如最开始,一些十分有用的网站才会采用自动填表的手段。另外,网站管理员可以在robots.txt文件中,对于是否允许谷歌提交表格作出规定,谷歌不会违反网站管理员的意愿。

有搜索行业专家表示,谷歌公司的这一功能,将会对企业网站的信息安全构成威胁。