Crawlomatic 网站抓取和帖子生成器自动博客插件
你能用这个插件做什么?
Crawlomatic 网站抓取和帖子生成器自动博客插件 是一个前沿的网站抓取和抓取, 帖子生成器自动博客插件, 它使用网站抓取和抓取将您的网站变成自动博客甚至赚钱机器!
从几乎任何网页获取内容! 您不再需要需要注册并提供有限访问权限的 API, 您也可以从不提供 API 的网站检索数据. 安排一次, 让它像大师一样全天候 7/24 为您自动管理您的帖子!
它是如何工作的？
Crawlomatic 网站抓取和帖子生成器自动博客插件 将抓取您提供的种子 URL（抓取意味着它将搜索网页包含的所有链接）, 并将访问并从每个抓取的 URL 中提取内容. 抓取过程是可定制的: 您可以设置抓取深度, 抓取速率, 最大抓取文章数, 仅抓取具有特定类或 ID 的链接以及更多自定义项. 您也可以在这里下载 WooCommerce 产品表插件
Crawlomatic v2.0更新
在 v2.0 更新中, 一个新的实时爬虫简码被添加到插件中: [crawlomatic-scraper]. 这个新功能使这个插件成为一个易于实现的 WordPress 网络数据提取器. 因此, 它可用于将来自任何网站的实时数据直接显示到您的帖子, 页面或侧边栏中. 它还会临时缓存抓取的内容, 因此您的网站不会过度使用资源. 您可以使用此插件来包含实时股票报价, 板球或足球比分或来自公共领域的任何其他通用内容!
此更新中包含的新功能:
- 抓取的输出可以通过自定义模板标签, 页面中的短代码, 帖子和侧边栏（通过文本小部件）显示.
- 抓取数据的可配置缓存. 可以为每个抓取的数据定义缓存超时（以分钟为单位）.
- 可以为每次抓取设置可配置的用户代理.
- 可配置的默认设置, 如启用, 用户代理, 超时, 缓存, 错误处理.
- 查询内容的多种方式——CSS 选择器, XPath 或正则表达式, 自动检测.
- 解析内容的广泛参数.
- 将帖子参数传递给要抓取的 URL 的选项.
- 将抓取的内容动态转换为指定的字符编码, 以使用不同的字符集从站点抓取数据.
- 使用动态生成的 URL 动态创建抓取的页面, 以根据页面的获取或发布参数抓取或发布参数.
- 用于高级解析已抓取数据的回调函数.
查看v2 更新的官方文档, 浏览示例并查看 FAQ 以制作完美优化的网络抓取工具.
有关插件的更多信息
您几乎可以从在浏览器中打开的每个网站中抓取内容. 如果内容是使用 JavaScript 加载的, 该插件可以与 PhantomJS 结合使用以抓取 JavaScript 生成的内容.
此外，您还可以自动生成无限数量的自定义网站抓取和抓取.
其他插件功能:
- v2.5.5 更新：如果源站点发生更改，则自动更新已抓取的帖子/页面/产品 + 如果已抓取的 URL 在源站点上不再可用，则取消发布（设置为草稿）帖子/页面/产品（可选功能，可以启用/禁用）
- v2.5.1 更新：从其他 WooCommerce/Shopify 商店抓取 WooCommerce 产品变体
- v2.5.0 更新：从 Google 或 Bing 中为您的自定义关键字搜索抓取搜索引擎结果。查看此新功能的教程视频。
- v2.4.1 更新：为 WooCommerce 产品抓取产品图片库（对于非产品帖子类型，将从抓取的图片创建帖子附件）
- v2.3.5 更新：在抓取的 HTML 上执行自己的 JavaScript 代码并抓取结果——此功能仅在使用无头浏览器抓取（Puppeteer/Tor/PhantomJS）或 HeadlessBrowserAPI 时可用
- v2.2.1 更新：抓取 RSS 源中列出的链接和抓取文章
- v2.2.0 更新：使用HeadlessBrowserAPI从互联网上的任何网站抓取 JavaScript 生成的 HTML 内容，无需在您的服务器上安装任何东西（除了这个插件）——教程视频
- v2.1.0 更新：使用 Tor 浏览器和 Puppeteer 从暗网上抓取 .onion 网站！–教程视频
- v2.0.0 更新：添加了 Live Scraper 简码，以获得更多的爬行控制和抓取能力：[crawlomatic-scraper]
- v1.7.1更新：支持站点地图抓取-视频教程
- v1.6.5 更新：添加视觉内容选择器支持——视频教程
- v1.6.0 更新：添加了对抓取页面进行截图并在生成的帖子内容中使用它们的功能 -视频教程
- v1.5.2 更新：使用Shorte.st链接缩短服务缩短传出（发布源）链接（并将其货币化）的能力 -缩短链接示例
- v1.4.8 update:添加了对爬取页面的 JavaScript 执行支持 – 需要在服务器上安装 PhantomJS –如何安装 PhantomJs？–视频教程
- v1.4.4更新：新增设置多个代理抓取页面的功能。该插件将在每次访问页面时随机选择一个
- v1.4.0更新：增加分页爬取功能（爬取文章会在种子页的下一页继续）。
- v1.4.0更新：新增爬取商品导入商品价格功能（兼容WooCommerce）+dropshipping价格自动修改-视频教程
- v1.4.0 更新：添加了将进口产品价格增加固定数字或乘以预定义数字的功能（对于直销很有价值！）
- v1.2.8 更新：添加了分页帖子导入支持（到单个爬网帖子中）检查：视频。
- v1.2.4更新：增加了爬取页面设置代理的功能
- v1.2.3更新：增加直接抓取失败时从谷歌缓存中抓取页面的选项（屏蔽）
- 谷歌翻译支持——选择您要发布文章的语言
- Text Spinner 支持——自动修改生成的文本，用它们的同义词改变单词——内置，最好的 Spinner、SpinRewriter、WordAI、TurkceSpin 和其他——伟大的 SEO 价值！
- 可自定义生成的帖子状态（已发布、草稿、待定、私人、垃圾）
- 列出此插件生成的所有帖子的简码：[crawlomatic-list-posts type => 'any', order => 'ASC', 'orderby' => 'date', 'posts' => 50, 'category' = > '', 'ruleid' => '']
- 可以设置抓取和抓取以尊重网站的 robots.txt 文件和抓取页面的机器人 HTML 标头
- 从市场项目自动生成帖子类别或标签
- 手动向项目添加帖子类别或标签
- 如果已经发布，请选择是否要更新帖子
- 将带有请求的自定义 cookie 发送到已抓取的网页（身份验证）
- 生成帖子或页面或任何自定义帖子类型
- 使用网站抓取和抓取嵌入来自 YouTube、Vimeo、Flickr、IGN、Ustream.tv 和 DailyMotion 的视频
- 定义发布限制：不要发布没有图片的帖子、带有短/长标题/内容的帖子
- 自动为帖子生成特色图片
- 为生成的帖子启用/禁用评论、pingbacks 或 trackbacks
- 自定义帖子标题和内容（包括各种相关的帖子简码）
- 'Keyword Replacer Tool' – 其目的是定义可自动替换为您的附属链接的关键字，无论它们出现在您网站内容中的任何位置。例如，您可以定义一个关键字“codecanyon”，并在它出现在您网站内容中的任何位置时将其替换为指向http://www.codecanyon.net/?ref=user_name的链接。
- “随机句子生成器工具”（相关句子——如您所定义）
- 一段时间后自动删除生成的帖子的选项
- 详细的插件活动记录
- 预定规则运行
- 对生成的帖子的自定义字段支持
- 对生成的帖子的自定义分类法支持
- unlimited crawled variable importing（爬取页面的无限导入部分）
- 在本地复制或不复制图像的选项
- 使用 Regex 解析 JSON 数据的能力
- 将规范元标记添加到生成的帖子的选项
- 最大/最小标题长度发布限制
- 最大/最小内容长度发布限制
- 仅当在标题/内容中找到预定义的必需关键字时才添加帖子
- 仅当在标题/内容中找不到预定义的禁用关键字时才添加帖子
- 从文件中保存和恢复插件规则列表
测试这个插件
- 您可以使用“测试站点生成器”测试 插件的功能. 在这里您可以尝试插件的全部功能. 请注意, 生成的测试博客将在 24 小时后自动删除.
插件要求
- PHP DOM -> 如何安装（如果你没有，但你可能已经有）： http: //php.net/manual/en/dom.setup.php
- PHP 5.0 或更高版本
- dom、mbstring、iconv 和 json 扩展（默认启用）
