WordPress 采集插件 WP-JPost

之前我们在网上看到有wp-autopost插件,是自动采集的。但是需要付费。 下面我们这边发布一个开源的版本。如果觉得好,大家可以赞助我们哦~ 本插件使用需要一定的html、css 基础. 本插件开发纯属兴趣~~~插件已发布到wordpress官方插件中心 开源采集插件 wp-jpost 使用问题,请加QQ群下载:665443669 不会写采集规则?请博主帮写一个~亲,插件免费,规则有价,详情请联系QQ:366609877 (注明:wp-jpost 规则)

主要功能

  1. 定向采集目标网站内容,并直接发布。
  2. 可以设置对应入库的分类。
  3. 可以自定义文章的标签。
  4. 可以自定义替换标题、文章内容。
  5. 自动另存为图片到本地。
  6. 自动删除内容中的所有链接。
  7. 加入百度翻译,可以将内容翻译成英文。
  8. 脚本定时自动增量功能。

插件截图如下


如何安装WordPress采集插件WP-JPost?

方法一:在后台插件中直接搜索“wp-jpost”

方法二:在WordPress插件官网下载,然后上传安装

WP-JPOST

如何添加采集任务?

任务名

命名请使用英文字母数字组合. 例:douban。

抓取目标网站域名(网址以/结束)

这里填写目标网站首页的地址,以/结束。 例:https://www.douban.com

抓取目标网站列表页

列表页一般都是二级页面,是栏目的具体展示页,一般是用页内跳转的链接。 例如:https://www.douban.com/group/meituikong/

入库目标分类ID

WordPress 后台 — 文章 — 分类目录 — 编译你想入库到的分类 — 查看浏览器地址栏的地址。 例:/wp-admin/term.php?taxonomy=category&tag_ID=38… 这里的tag_ID=38,这个38就是我们需要填写的值。

标签

WordPress 入库时,写入文章的标签值。多个标签请使用,分割(英文状态的逗号分隔) 例:WordPress,LaoJi,wp-jpost。

目标网站a链接元素

列表页中到二级目录的链接地址,同jQuery选择器方法。

分页格式

列表页中第二页区别列表页的地方。例: 列表页地址:https://www.douban.com/group/meituikong/ 翻页后变成:https://www.douban.com/group/meituikong/discussion?start=8850 那么这里就填写:discussion?start={page} 这里的 {page} 就是翻页变化的地方。

分页最大值

这里填写翻页后最后的page值。例: http://147hub.com/page/2052 这里翻页的最大值,即填写:2052

获取单页标题、目标单页获取元素 :title

内容页中标题、内容的标签值。同jQuery选择器方法。下面我们具体得讲述一下怎么选择元素。首先我们需要使用chrome、firefox之类的浏览器。这些浏览器都具有调试等功能。我们这里以Firefox为例。 首先分析代码,以下元素标签可以是div , h3 ,title ,span , p 等。 例:<元素标签 class=”classname”>…</元素标签>,那么我们应该则填入:元素标签.classname。 例:<元素标签 id=”classname”>…</元素标签>,那么我们应该则填入:元素标签#classname。 学习更多CSS选择器可以参考:http://www.w3schools.com/cssref/css_selectors.asp

步骤:

1、网页空白处右击 — 查看元素 。 下面会弹出一个调试器出来。

内容搜索值 、内容替换值(可以批量多个替换)

比如标题正文中带有一些原来的字符串,我想替换成我的,或者不要了。 注意:这里如想替换成一样的值,可以直接写一个。如每个替换成不同的则需要对应填。例: 搜索值:- 摔角资料, – 赛事新闻 – 摔角网, – 赛事战报, – 摔角网 替换值: 搜索值:搜索1,搜索2,搜索3 替换值:替换1,替换2,替换3 注意这里要一一对应。例如搜索2去要替换成空则替换值也需要留空(替换1,,替换2),否则就不能对应替换了。

curl设置

我们在采集时,会遇到一些网站带有https,或者做了防采集。这时我们就需要curl来帮忙。具体方法请移步:WordPress 采集插件 WP-JPost 在Windows/Linux 系统环境下安装curl 采集 带ssl的https网站 图文教程  
如有任何意见、建议,请在这里留言! WordPress 采集插件 wp-jpost 任务列表 已知规则 WordPress 采集插件 wp-jpost 问答总结 QQ群:665443669

搬瓦工,年付$49.99CN2高速线路,1024MB内存/1000GB流量/1GB带宽,电信联通优化KVM,延迟低,速度快,建站稳定,搬瓦工BandwagonHost VPS优惠码BWH26FXH3HIQ,支持<支付宝> 【点击购买】!

Vultr月付$3.5日本节点,512M内存/500G流量/1G带宽,电信联通优化,延迟低,速度快【点击购买】!

60 Replies to “WordPress 采集插件 WP-JPost”

  1. 谢谢作者的劳动,这个插件真的很不错
    能请教一下,可否加个分类列表指定在哪个页码范围内的才采集呢?方便有时候采集中断以后重新开始采集。或者只想要指定范围内的文章的时候方便些。

  2. 先校验文章是否重复,还是先保存远程图片?会不会多次采集同一片文章,虽然没有重复入库,但是图片重复保存了?

  3. 二次开发的,能配合采集?
    我看就只能采集图片阿,内容阿,

    内容编辑框下面还有很多二次开发的一堆自定义东西。无法配合采集阿。

  4. 可以采集https页面吗? 试了几个站都不行,提示获取网页内容失败

  5. 🙂 🙂
    还有一点关键的忘提了,这个处理能否让系统处理,而非浏览器端,现在关掉处理页面,就会停掉了

  6. 使用了感觉还不错,给出以下建议:
    采集内容格式化文章,例如去除文章内的样式标签,只保留文字和图片
    本地化远程图片和去文章内外联能否内置到插件里?
    是否可以支持伪原创(第三方也可以)
    支持随机加入段落(支持HTML),而非随机关键字

    1. 1、直接用删除标签功能可以去除文章内的样式标签。
      2、本地化图片:可以在我们群里下载Auto save image插件。此插件由他人开发所以暂时不会内置。
      3、随机插入可以插入HTML。直接写入即可。

  7. :redface: 😥 :mrgreen: 为什么调试和采集按钮点开全是404错误???网站目录都是最高权限了,网站本身是没有问题的……

    1. 1、检查网站是否启用了WordPress的rewrite规则,如果没有,请启用。【请注意:暂时无法兼容WordPress固定链接的 朴素 格式】

      2、打开面板,对应的网站网站,设置 — 配置文件,将404的错误注释或者删除掉(从web服务移交给WordPress) :

  8. 让一些匹配方式允许正则表达式就好了。例如替换(用以替换和删除内容),因为 HTML 注释标签无法被选择器选中就造成了注释无法操作,同时例如 p 标签中只有一个 br 换行这种杂乱情况,CSS 有 :empty 可以选中空内容标签,但是无法组合或逆向的选中只有一个 br 的 p。这些情况都可以正则解决。(对于注释内容可以给个开关,直接清除注释也可以)。

  9. 我有几个很重要的点!
    1.支持字母通配符
    2.支持数字通配符

  10. 1、抓取采集网站固定内容并保存到Wordpress中。
    2、自动去除文章中的内链(需要Auto save image 插件)。
    3、自动保存目标站的图片(需要Auto save image 插件)。

    Auto save image 插件现在是否还要安装?

  11. 为什么无法保存任务信息,所有打*的信息都填写了信息,最后保存只有任务名称,其他信息都保存不了

  12. 照着教程和实例琢磨了半天,终于搞懂了,已经能够成功采集了,非常感谢免费提供这个优秀插件。
    现阶段可定制的地方稍少了点,希望继续增加。
    例如:
    1、发布时间增加一个随机数,这样就不会一堆文章的发布时间集中在一起。
    2、任务增加指定时间自动后台执行或者访问页面触发执行。
    3、简繁转换

  13. 用不了,规则任务弄好了,开始采集,跳转到http://xxx.com/jpost//?jtask=mm
    404了

发表评论

电子邮件地址不会被公开。 必填项已用*标注