【哔哩哔哩】视频采集

采集场景

在B站首页（https://www.bilibili.com/），输入关键词搜索，得到相关视频列表页，然后点击视频链接进入其详情页，采集视频详情页中的详细信息。

示例在首页输入关键词【vlog】搜索，得到搜索结果列表页网址：https://search.bilibili.com/all?keyword=vlog 。

采集字段

视频标题、总播放数、总弹幕数、发布时间、视频时长、点赞数、硬币数、收藏数、视频介绍、页面网址等字段。

鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图

下文其他图片同理 

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：

教程说明

本篇更新时间：2022/6/28    八爪鱼版本：V8.5.4

如果因网页改版造成网址或步骤无效，无法收集到目标数据，请联系官方客服，我们将及时修正。

采集步骤

步骤一：打开网页

步骤二、建立【循环-点击元素】，进入每个视频的详情页

步骤三、提取详情页中的字段

步骤四、创建【循环翻页】，采集多页数据

步骤五、启动采集

以下为具体步骤：

步骤一、打开网页

在首页【输入框】中输入目标网址 https://search.bilibili.com/all?keyword=vlog，点击【开始采集】，八爪鱼自动打开网页。

步骤二、建立【循环-点击元素】，进入每个视频的详情页

通过以下几步，实现循环点击每个视频链接，进入视频详情页

① 选中页面上第1个视频标题

② 在黄色操作提示框中，点击【选中全部】，以选中全部视频链接

③ 点击【循环点击每个元素】，进入第1个视频的详情页

由于自动生成的循环点击步骤无法在每一页都正常定位正确的列表进行点击，所以需要修改循环列表的循环方式为不固定元素列表，同时修改xpath为：//div[@class="video-list row"]/div[not(@class="to_hide_xs to_hide_md to_hide_xl video-list-item col_3 col_xs_1_5 col_md_2 col_xl_1_7")]//div[@class="bili-video-card"]//h3

步骤：点击【循环列表】框，在下方设置里面，点击【循环方式】，修改为【不固定元素列表】，在下方xpath路径框，输入xpath：//div[@class="video-list row"]/div[not(@class="to_hide_xs to_hide_md to_hide_xl video-list-item col_3 col_xs_1_5 col_md_2 col_xl_1_7")]//div[@class="bili-video-card"]//h3

点击应用。

步骤三、提取详情页中的字段

进入详情页后，手动提取我们需要采集的字段。

选中页面中的文本，然后在操作提示框中点击【采集该元素文本】。

标题、发布时间、视频时长、总播放数、总弹幕数、硬币数、收藏数、视频介绍、视频标签、发布者等文本类型的字段，在【数据预览】面板，点击【添加字段】按钮，选择【添加当前网页信息】，点击【网址】，即可采集页面网址。

步骤四、创建【循环翻页】，采集多页数据

如果只是采集一页数据，可跳过此步骤。

如果需要翻页以采集多页数据：点击【循环列表】框，回到列表页面，选择页面中的【下一页】按钮，在操作提示上单击【循环点击下一页】，创建【循环翻页】。

步骤五、启动采集

1、点击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

2、采集完成后，选择合适的导出方式来导出数据。支持导出为Excel，CSV，HTML，数据库等。这里导出为Excel。示例数据：

作者：yangyang

编辑：Aisling