您现在的位置是:网站首页>建站学院织梦CMS

织梦火车头采集文章列表地址列表错误URL没有协议头是//解决方法

2020-04-26来源: 织梦CMS 人已围观

简介 今天打开火车头采集器需要更新下织梦网站,可是点了开始后发现错误了重新修改了列表采集规则。没仔细看等抓完300多个连接导入数据库时发生错了,仔细一看该目标站的文章列表页将

今天打开火车头采集器需要更新下织梦网站,可是点了开始后发现错误了重新修改了列表采集规则。没仔细看等抓完300多个连接导入数据库时发生错了,仔细一看该目标站的文章列表页将文章url地址做了处理。OT6企业网站模板免费下载_网站建设_企业网站建设方案

织梦火车头采集文章列表地址列表错误URL没有协议头是//解决方法OT6企业网站模板免费下载_网站建设_企业网站建设方案

   表现:OT6企业网站模板免费下载_网站建设_企业网站建设方案

   常规的文章列表文章URL应该是  <a  href="https://www.dede58.com/URL.html">才对,而该站处理成了<a  href="//www.dede58.com/URL.html">,就是把协议头https或者http给取消了,这个 在一定程度上是可以防范很多采集程序,软件,爬虫的。采集后的地址列表会多一层网址,就成了https://www.dede58.com/www.dede58.com/URL.html,这样的话就无法正确采集内容了。OT6企业网站模板免费下载_网站建设_企业网站建设方案

   OT6企业网站模板免费下载_网站建设_企业网站建设方案

解决方法:

   在网址获取选项里点选“手动填写链接地址规则”,OT6企业网站模板免费下载_网站建设_企业网站建设方案

   右侧脚本规则填写【a class="item" href="[参数]" title="(*)" target="_blank">】这里的参数就是原始目前的不带协议头的网址。OT6企业网站模板免费下载_网站建设_企业网站建设方案

    实际连接:填写【http:[参数1]】如果该网站是https的这里就填写【https:[参数1]】OT6企业网站模板免费下载_网站建设_企业网站建设方案

   结果:OT6企业网站模板免费下载_网站建设_企业网站建设方案

   以上操作后点获取网址测试正确,从采集,入库等都OK了。OT6企业网站模板免费下载_网站建设_企业网站建设方案

    PS:OT6企业网站模板免费下载_网站建设_企业网站建设方案

    这个网址问题以前看到过,用DEDECMS织梦采集就是网址错误,今天在火车头上总算是解决了。OT6企业网站模板免费下载_网站建设_企业网站建设方案

很赞哦! ()

猜您喜欢

付费说明

    1、安装cms后台,费用是200,基础费用200包括后台调试以及部分页面模板修改.

    2、请加我个人微信 634626966,或者扫一扫微信二维码。备注“网站”

    3、系统安装只限定于帝国cms,并且支持php,虚拟主机,请选择linux系统

    4、【收费说明】制作企业网站,我是这么收费的!

文章评论

阿里云代金券 100 云产品通用

有效期30天 首购用户

立即领取
阿里云代金券 100 云产品通用

有效期30天 复购+升级

立即领取

站点信息

l