一、背景与痛点
在激烈的市场竞争中,企业需要快速获取并分析数据,以指导业务决策。及时采集竞品数据、热点笔记、用户评论等至关重要。数据从采集器出来后,因为缺乏自动化的“清洗”和“搬运”能力,导致业务人员不得不做重复的手工劳动,且数据质量无法保证。
二、基本介绍
本场景中这三款软件形成了一个从数据采集到决策支持的完整闭环:八爪鱼采集器负责高效获取网页数据;八爪鱼RPA负责清洗、转换和自动化流转数据;飞书表格负责存储、分析和可视化呈现数据。
本教程主要以RPA流程搭建切入,完成采集器数据导入飞书表格的需求。
三、采集器数据获取
1、数据采集与数据源
所谓数据源就是指咱们需要将什么数据导入飞书中,该场景中采集动作主要还是依赖采集器。
此处我们直接以模板为例--“微信公众号文章采集-限云采集”

特别说明:a. 采集器采集优势:1)采集器结构较简单,采集更加稳定。2)采集器有云采集,其能自动去重并且不占用本地资源。b.模板需要填写相关参数,请根据使用模板详情介绍按照要求填写。
步骤一:填写参数

特别说明:a. 填写参数时一定要确保参数准确,同时步长建议设置成1。(步长实际是指云节点执行几个关键词/网址,设置成1能大大提升采集稳定性)
步骤二:启动任务
确保参数填写正确后,点击立即使用。
返回任务列表,找到目标任务

2、规则任务属性
等待其任务采集完,点击任务右侧--“更多”,确定其任务ID
特别说明:a. 确定任务ID主要是为下文配置RPA指令准备,同时任务ID主要是与云采集有关,所以后续配置数据源都来源于云采集呦,目前团队版以上支持云采集,升级请参考:https://www.bazhuayu.com/planb.此案例仅为展示,所以中途手动停止,特此解释。
四、飞书端配置
1、获取飞书凭证
1.1前提条件:
你需要拥有一个飞书企业管理员账号,或者拥有“企业自建应用”创建权限的账号。
1.2操作步骤:
①访问:飞书开放平台
使用你的飞书账号登录。
②进入应用创建页面
在控制台首页,找到并点击“创建应用”按钮。在创建向导中,选择“企业自建应用”(如果你是为企业内部开发应用,请务必选此项)。
③填写应用信息
应用名称:输入你的应用名称(例如:测试应用、内部管理系统)。
应用描述:简要描述应用的功能。
点击“创建”。
④获取凭证 (App ID & App Secret)
创建成功后,你会进入应用的详情页面。
在左侧导航栏中,点击 “凭证与基础信息”(通常在“基础信息”菜单下)。
在右侧的“应用凭证”区域,你将看到:
App ID:应用的唯一标识符。
App Secret:应用的密钥(为了安全,通常默认隐藏或需要点击“显示”图标,部分平台可能需要通过短信/扫码验证才能查看)。
特别说明:a. 具体请参考官方:获取访问凭证 - 服务端 API - 开发文档 - 飞书开放平台
⑤开启权限
特别说明:a. 视频中开启的全部权限,一般只需要开启下列权限,本案例开启前两个即可。b. 同时应用权限也可以人为设置审核,具体请关注:配置应用数据权限c. 开完权限后部分标红,因为此类权限还需要细节配置,本功能并不需求,可不必关注。
2、创建飞书表格
在飞书云文档空间中创建飞书表格,修改表格名称为“公众号数据”,同时确定将权限改为可编辑,并且记录表格链接。

确定首行表头字段名与模板中一致。

特别说明:a. 手动编写字段名是因为RPA中采集器指令只针对数据,不针对表头,所以需要提前编辑好。b. 可以自行调整表头格式,建议加粗字体、设置背景颜色并冻结首行。
五、RPA端配置
1、RPA环境准备
进入官网下载界面(八爪鱼RPA下载中心|机器人自动化工具)点击下载。

注册账号,登录。

点击应用,新建应用。

此时到达应用搭建界面。修改应用名称为:采集器数据导入飞书。后续梳理完需求后即可搭建应用。
特别说明:a. 目前RPA仅支持Windows版本。b. 上手前需要基本了解RPA原理以及基础概念,有助于下文搭建。RPA完整教程请关注:RPA课堂(图文)-八爪鱼RPA帮助中心,对于此需求请着重关注初相识与基本概念。
2、需求分析与流程图

此需求RPA主要做数据衔接。数据端与接收端的部署可以分开理解,设置不同子流程。
2.1采集器端部署:
①获取八爪鱼账号授权(需要输入账号密码)。
②确定具体任务ID,准确定位要采集的任务。
③获取数据。(获取到的格式是临时存储的数据表格)
2.2飞书端部署:
①获取飞书凭证。
②获取飞书表格。(绑定要导出到的飞书表格)
③将此前获取到的数据按行循环导入飞书表格中。
3、RPA应用搭建
3.1应用搭建流程
主流程:该需求分为两部分,主流程顺序调用子流程即可

子流程:采集器部署

子流程:飞书部署

3.2应用搭建分析
3.2.1子流程创建:
特别说明:a. 封装搭建是为了让流程更加模块化更加可控。具体可了解:第2节 给应用进行封装-八爪鱼RPA帮助中心
3.2.2采集器部署:
找到指令,拖拽至搭建框。
特别说明:a. 搭建时不仅可以拖拽,也可以点击新增,输入关键词搜索指令。后续所有指令搭建方式均如此,不做过多介绍。
搭建八爪鱼采集器账号授权指令

特别说明:a. 正常输入账号密码即可,生成的变量授权对象仅能在后续八爪鱼相关指令使用。b. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:八爪鱼账号授权。
在八爪鱼账号授权指令下方搭建获取采集任务数据,输入相关参数:
①授权对象即上一步指令【八爪鱼账号授权】获取的变量。
②任务ID:此前确定的采集器任务ID。
③获取:这里选择未导出数据。
④数据条数:指定获取数据的条数,我们需求是获取采集到的数据,这里直接填最大值1000.
⑤一定要选择:将获取到的数据标记为已导出状态。

特别说明:a. 勾选“将获取到的数据标记为已导出状态”是为了标记数据,由于我们选择获取未导出数据,所以此配置可以确保下次执行任务时只导入最新的数据,不会进行重复导入。b. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:获取采集任务数据。
此指令可以将采集器采集到的数据临时存储到数据表格中,后续导入飞书都是从此数据表格中提取。

3.2.3飞书部署:
①获取飞书凭证
特别说明:a. 输入上文获取到的参数。,生成的变量飞书凭证能在后续飞书相关指令使用。 b. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:获取飞书访问凭证
②在获取飞书凭证指令下方搭建获取飞书表格
配置好后,建议先尝试(点击运行当前流程),如果没报错说明连接正常。

特别说明:a. 如果报错,请按照报错提示执行即可。b. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:获取飞书表格
③循环数据表格“采集任务数据列表”
此前采集器部署已经获取到数据存入数据表格中,使用循环数据表格内容即可实现循环遍历操作。
特别说明:a. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:循环数据表格内容
④循环体中设置飞书写入行
由于我们确定字段是一一对其的,所以如下设置即可。
特别说明:a. 我们并没有修改过字段顺序,不需要额外调整。b. 视频中只做部分举例,实际配置完如下图。c. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:写入行至飞书表格
3.2.3主流程设置
【插入主流程部署】
特别说明:a. 由于飞书数据导入需要先获取采集器数据,所以流程放在采集器部署之后。c. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:调用子流程
六、效果展示与优化
1、真实运行情况
【RPA飞书自动传输数据效果展示】
特别说明:a. 也可以从应用列表启动。b. 导出后状态会变化。c. 由此可见数据已经传输完成,但是这个仍然需要我们人为点击操作,并未实现自动化,那该怎么实现自动化呢?见下文。
2、采集器定时任务-RPA触发器自动化执行
2.1链路分析
采集器先设置定时采集,采集新增数据,则常规任务10分钟内即可完成。保险起见,在采集器定时任务完成30分钟后开启RPA触发器。执行完任务即可上传至飞书。
各阶段执行操作分析:
①采集器端是云采集,设置定时任务即可。
②RPA端可设置触发器执行在云采集30分钟之后(一般要确保采集器正常采集完,同时RPA是本地操作,则电脑不能关机)。
③飞书本身是云文档,不需要设置。
特别说明:a. 采集器定时任务可参考:定时云采集b. RPA触发器配置可参考:本地触发任务
2.2执行自动化
采集器先设置定时任务。
特别说明:a. 为了体现效果,我们重新开新任务,设置新参数。
RPA设置本地定时触发器。
特别说明:a. 为了保障RPA执行导数据全面,设置触发器在定时任务之后20分钟执行。
定时效果自动化
特别说明:a. 视频加速处理。
作者:YfY