菜单

【B站】UP主主页视频采集

采集场景

采集B站UP主主页的视频列表数据。

示例网址：

https://space.bilibili.com/33775467

https://space.bilibili.com/2282611

https://space.bilibili.com/21975459

采集字段

发布者、关注数、粉丝数、认证、UID、标题、视频连接、总播放数、发布时间、时长、视频封面链接

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：

教程说明

本篇制作时间：2024/3/22 八爪鱼版本：V8.6.7

如果因网页改版造成网址或步骤无效，无法收集到目标数据，请联系官方客服，我们将及时修正。

采集步骤

步骤一、打开网页

步骤二、提取数据

步骤三、点击查看更多视频

步骤四、创建【循环列表】，采集数据

步骤五、创建【循环翻页】，采集多页数据

步骤六、规则优化

步骤七、设置cookie

步骤八、启动采集

以下为具体步骤：

步骤一、打开网页

1、打开网页

首页左上角点击【新建】—【自定义任务】。网址输入界面默认的是【手动输入】，将复制好的一批同类网址，粘贴进网址输入框中，并点击【保存网址】，八爪鱼中内置的浏览器会自动打开网页。

同时可以看到，流程中已自动创建【循环-打开网页】步骤。

示例中输入的网址为：

https://space.bilibili.com/33775467

https://space.bilibili.com/2282611

https://space.bilibili.com/21975459

特别说明：

a. 手动输入的url数量不得大于1万个，如有超过1万url，请选择【从文件导入】，具体请查看教程网址输入升级

b. 打开网页后，如果开始开始【自动识别】，请点击【不再自动识别】或【取消识别】将其关掉。因为本文不适合使用【自动识别】。

c. 【自动识别】适用于自动识别网页上的列表、滚动和翻页，识别成功后直接启动采集即可获取数据。详情点击查看【自动识别】教程

步骤二、提取数据

1、采集字段

采集视频列表前所需的字段：发布者、关注数、粉丝数、认证、UID等。

这些都是文本型的字段，在网页中选中后，在操作提示框中点击【文本内容】即可。

2、编辑字段

在【当前页面数据预览】面板，依次修改所需字段的字段名称。

步骤三、点击查看更多视频

1、点击更多生成【点击元素】流程

首页直接展示的视频有限，需点击【更多】按钮以获取更多视频。

选中【更多】按钮，在操作提示框中点击【点击该链接】。

然后进入【点击元素】设置步骤，取消【在新标签页中打开】，设置【Ajax超时】5s，执行前等待5s，

勾选【页面加载后滚动向下滚动】，选择滚动方式为【滚动1屏】，滚动次数为5次，每次间隔1s。

特别说明：

a. 设置中的滚动次数和时间间隔，请根据采集需求和网页加载情况进行设置，并非是一成不变的，具体请点击查看处理滚动加载数据的网页教程

b. 评论中的翻页使用了Ajax技术，需设置Ajax超时。一般情况下，八爪鱼会自动判断并设置一定的【Ajax超时】。如果系统判断失误或者自动设置的【Ajax超时】过短，可根据采集需求和网页加载情况进行调整，详情点击查看 Ajax教程。

2、修改【点击元素】的XPath

本次放入的三个网址，在打开后会发现人民网的主页有代表作，另外两个up主的主页无代表作，页面结构存在不一样的地方，这会使得在人民网主页制作规则时自动生成的【点击元素】（即点击更多）XPath路径定位不到另外两个UP主的主页的【更多】视频，所以我们需要修改【点击元素】的Xpath，使得同一条Xpath可以定位三个UP主的【更多】视频。

将【点击元素】的XPath修改为： //a[contains(text(),"TA的视频")]/..//a[contains(text(),"更多")] ，这样我们就能定位到【循环网址】中的三个主页的【更多】了。