一、背景与痛点
在激烈的市场竞争中,企业需要快速获取并分析数据,以指导业务决策。及时采集竞品数据、热点笔记、用户评论等至关重要。数据从采集器出来后,因为缺乏自动化的“清洗”和“搬运”能力,导致业务人员不得不做重复的手工劳动,且数据质量无法保证。二、基本介绍
本场景中这三款软件形成了一个从数据采集到决策支持的完整闭环:八爪鱼采集器负责高效获取网页数据;八爪鱼RPA负责清洗、转换和自动化流转数据;飞书表格负责存储、分析和可视化呈现数据。 本教程主要以RPA流程搭建切入,完成采集器数据导入飞书表格的需求。三、采集器数据获取
1、数据采集与数据源
所谓数据源就是指咱们需要将什么数据导入飞书中,该场景中采集动作主要还是依赖采集器。 此处我们直接以模板为例—“微信公众号文章采集-限云采集”
特别说明: a. 采集器采集优势:1)采集器结构较简单,采集更加稳定。2)采集器有云采集,其能自动去重并且不占用本地资源。 b.模板需要填写相关参数,请根据使用模板详情介绍按照要求填写。
步骤一:填写参数

特别说明: a. 填写参数时一定要确保参数准确,同时步长建议设置成1。(步长实际是指云节点执行几个关键词/网址,设置成1能大大提升采集稳定性)
步骤二:启动任务
确保参数填写正确后,点击立即使用。 返回任务列表,找到目标任务
2、规则任务属性
等待其任务采集完,点击任务右侧—“更多”,确定其任务ID特别说明: a. 确定任务ID主要是为下文配置RPA指令准备,同时任务ID主要是与云采集有关,所以后续配置数据源都来源于云采集呦,目前团队版以上支持云采集,升级请参考:https://www.bazhuayu.com/plan b.此案例仅为展示,所以中途手动停止,特此解释。
四、飞书端配置
1、获取飞书凭证
1.1前提条件:
你需要拥有一个飞书企业管理员账号,或者拥有“企业自建应用”创建权限的账号。1.2操作步骤:
①访问:飞书开放平台 使用你的飞书账号登录。 ②进入应用创建页面 在控制台首页,找到并点击“创建应用”按钮。在创建向导中,选择“企业自建应用”(如果你是为企业内部开发应用,请务必选此项)。 ③填写应用信息 应用名称:输入你的应用名称(例如:测试应用、内部管理系统)。 应用描述:简要描述应用的功能。 点击“创建”。 ④获取凭证 (App ID & App Secret) 创建成功后,你会进入应用的详情页面。 在左侧导航栏中,点击 “凭证与基础信息”(通常在“基础信息”菜单下)。 在右侧的“应用凭证”区域,你将看到: App ID:应用的唯一标识符。 App Secret:应用的密钥(为了安全,通常默认隐藏或需要点击“显示”图标,部分平台可能需要通过短信/扫码验证才能查看)。特别说明: a. 具体请参考官方:获取访问凭证 - 服务端 API - 开发文档 - 飞书开放平台⑤开启权限
特别说明: a. 视频中开启的全部权限,一般只需要开启下列权限,本案例开启前两个即可。 ①查看知识库以及云空间权限 ②飞书表格调取权限 ③多维表格相关权限 b. 同时应用权限也可以人为设置审核,具体请关注:配置应用数据权限 c. 开完权限后部分标红,因为此类权限还需要细节配置,本功能并不需求,可不必关注。
2、创建飞书表格
在飞书云文档空间中创建飞书表格,修改表格名称为“公众号数据”,同时确定将权限改为可编辑,并且记录表格链接。

特别说明: a. 手动编写字段名是因为RPA中采集器指令只针对数据,不针对表头,所以需要提前编辑好。 b. 可以自行调整表头格式,建议加粗字体、设置背景颜色并冻结首行。
五、RPA端配置
1、RPA环境准备
进入官网下载界面(八爪鱼RPA下载中心|机器人自动化工具)点击下载。


特别说明: a. 目前RPA仅支持Windows版本。 b. 上手前需要基本了解RPA原理以及基础概念,有助于下文搭建。RPA完整教程请关注:RPA课堂(图文)-八爪鱼RPA帮助中心,对于此需求请着重关注初相识与基本概念。
2、需求分析与流程图

2.1采集器端部署:
①获取八爪鱼账号授权(需要输入账号密码)。 ②确定具体任务ID,准确定位要采集的任务。 ③获取数据。(获取到的格式是临时存储的数据表格)2.2飞书端部署:
①获取飞书凭证。 ②获取飞书表格。(绑定要导出到的飞书表格) ③将此前获取到的数据按行循环导入飞书表格中。3、RPA应用搭建
3.1应用搭建流程
主流程:该需求分为两部分,主流程顺序调用子流程即可


3.2应用搭建分析
3.2.1子流程创建:
特别说明: a. 封装搭建是为了让流程更加模块化更加可控。具体可了解:第2节 给应用进行封装-八爪鱼RPA帮助中心
3.2.2采集器部署:
找到指令,拖拽至搭建框。特别说明: a. 搭建时不仅可以拖拽,也可以点击新增,输入关键词搜索指令。后续所有指令搭建方式均如此,不做过多介绍。搭建八爪鱼采集器账号授权指令

特别说明: a. 正常输入账号密码即可,生成的变量授权对象仅能在后续八爪鱼相关指令使用。 b. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:八爪鱼账号授权。在八爪鱼账号授权指令下方搭建获取采集任务数据,输入相关参数: ①授权对象即上一步指令【八爪鱼账号授权】获取的变量。 ②任务ID:此前确定的采集器任务ID。 ③获取:这里选择未导出数据。 ④数据条数:指定获取数据的条数,我们需求是获取采集到的数据,这里直接填最大值1000. ⑤一定要选择:将获取到的数据标记为已导出状态。

特别说明: a. 勾选“将获取到的数据标记为已导出状态”是为了标记数据,由于我们选择获取未导出数据,所以此配置可以确保下次执行任务时只导入最新的数据,不会进行重复导入。 b. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:获取采集任务数据。此指令可以将采集器采集到的数据临时存储到数据表格中,后续导入飞书都是从此数据表格中提取。

3.2.3飞书部署:
①获取飞书凭证特别说明: a. 输入上文获取到的参数。,生成的变量飞书凭证能在后续飞书相关指令使用。 b. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:获取飞书访问凭证②在获取飞书凭证指令下方搭建获取飞书表格 配置好后,建议先尝试(点击运行当前流程),如果没报错说明连接正常。

特别说明: a. 如果报错,请按照报错提示执行即可。 b. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:获取飞书表格③循环数据表格“采集任务数据列表” 此前采集器部署已经获取到数据存入数据表格中,使用循环数据表格内容即可实现循环遍历操作。
特别说明: a. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:循环数据表格内容④循环体中设置飞书写入行 由于我们确定字段是一一对其的,所以如下设置即可。
特别说明: a. 我们并没有修改过字段顺序,不需要额外调整。 b. 视频中只做部分举例,实际配置完如下图。c. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:写入行至飞书表格
3.2.3主流程设置
【插入主流程部署】特别说明: a. 由于飞书数据导入需要先获取采集器数据,所以流程放在采集器部署之后。 c. 相关指令介绍可以点击右边蓝色指令说明查看,或者官网说明:调用子流程
六、效果展示与优化
1、真实运行情况
【RPA飞书自动传输数据效果展示】特别说明: a. 也可以从应用列表启动。b. 导出后状态会变化。 c. 由此可见数据已经传输完成,但是这个仍然需要我们人为点击操作,并未实现自动化,那该怎么实现自动化呢?见下文。
2、采集器定时任务-RPA触发器自动化执行
2.1链路分析
采集器先设置定时采集,采集新增数据,则常规任务10分钟内即可完成。保险起见,在采集器定时任务完成30分钟后开启RPA触发器。执行完任务即可上传至飞书。 各阶段执行操作分析: ①采集器端是云采集,设置定时任务即可。 ②RPA端可设置触发器执行在云采集30分钟之后(一般要确保采集器正常采集完,同时RPA是本地操作,则电脑不能关机)。 ③飞书本身是云文档,不需要设置。特别说明: a. 采集器定时任务可参考:定时云采集 b. RPA触发器配置可参考:本地触发任务
2.2执行自动化
采集器先设置定时任务。特别说明: a. 为了体现效果,我们重新开新任务,设置新参数。RPA设置本地定时触发器。
特别说明: a. 为了保障RPA执行导数据全面,设置触发器在定时任务之后20分钟执行。定时效果自动化
特别说明: a. 视频加速处理。作者:YfY




