Automa是一款开源的图形化&低代码爬虫工具,让用户在不懂代码的情况下,通过拖拽方式做一些实用的爬虫。例如爬取微博信息、批量搜索百度、解除某些网站不可复制限制、下载抖音视频、免费看VIP视频等等。
本系列教程将先介绍它的基本使用,然后基于它做一些有趣的项目实践(包括但不限于上述所举的例子)。前面文章我们介绍了制作天气预报爬虫、微博爬虫。本文是该系列的第五篇文章,用Automa解除某些网站不可复制的限制。
一、问题导入
有时候想要复制网页上的文字,但是网站要求你做各种操作后(比如说登录后、点赞或收藏后),才允许你复制。还有些网站压根就不让你复制。
比如说csdn技术网站,要求你登录后,才能复制对应文章代码。如图所示。
那有没有可能不登录,就直接复制对应代码呢?这就是本文需要解决的问题。
二、功能实现
先看一下破解网站禁止复制的工作流。这条工作流其实还是比较简单的,使用的组件在之前文章中都已经讲解过。(有不清楚的组件,可以去看前面几篇文章的介绍)
我们主要介绍下这条工作流的组件参数。
1、触发器
这里我们演示下如何使用触发器的参数。在触发器中添加一个URL变量,默认值填入上述csdn的网址。在后续的组件中通过{{variables.URL}}来调用它。运行时,会先弹出对话框,让用户填入想要打开的URL,再执行整个流。可以查看文末的演示DEMO。
2、新建标签页
新建标签页的参数如下。这里使用触发器里定义的参数URL。
3、JavaScript组件
破解网站禁止复制的核心就在于这个组件,参数如下。其中document.designMode = 'on'表示打开网页的设计模式。在该模式下,用户可以复制、编辑网页。
通过上述操作,我们就可以解除网站禁止复制的限制了。最后,我们来看下整个工作流的运行。
(如果需要完整例子的项目文件、或者对步骤还存在疑问的朋友,可以在评论区留言或者私信)
后面的文章会做一些更复杂、更有趣的例子,敬请期待~
如果你有什么想做的爬虫,也可以在评论区留言哦~
创业项目群,学习操作 18个小项目,添加 微信:790838556 备注:小项目!
如若转载,请注明出处:https://www.zoodoho.com/46431.html