> ## Documentation Index
> Fetch the complete documentation index at: https://www.bazhuayu.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
# 【雪球】热帖评论采集
2022-06-10
**采集场景**
打开雪球网 [https://xueqiu.com/](https://xueqiu.com/)，页面显示雪球热帖列表，点击每一个帖子的标题可进入详情页，查看并采集详情页里面的数据内容。
**采集字段**
帖子作者、标题、文章内容、发布时间、评论数、评论者、评论内容、评论时间等。
\*点击查看高清大图，\**下文其他图片同理*
**采集结果**
采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：
**教程说明**
本篇制作时间：2022/6/10 八爪鱼版本：V8.5.2
如果因网页改版造成网址或步骤无效，无法收集到目标数据，请联系官方客服，我们将及时修正。
**采集步骤**
步骤一：打开网页
步骤二、设置页面滚动和【点击加载更多】
步骤三、创建【循环列表】
步骤四、采集详情页的文章标题、正文等字段
步骤五、创建评论部分的【循环列表】，采集全部评论内容、评论者等字段
步骤六、编辑字段
步骤七、设置执行前等待
步骤八、启动采集
**以下为具体步骤：**
## 步骤一、打开网页
在首页【输入框】中输入目标网址[https://xueqiu.com/](https://xueqiu.com/)，点击【开始采集】，八爪鱼自动打开网页。
特别说明：
* a. 打开网页后，如果开始开始【自动识别】，请点击【不再自动识别】或【取消识别】将其关掉。因为本文不适合使用【自动识别】。
* b. 【自动识别】适用于自动识别网页上的列表、滚动和翻页，识别成功后直接启动采集即可获取数据。详情点击查看 [【自动识别】教程](../tutorial8/81zdypz)
## 步骤二、设置页面滚动和【点击加载更多】
打开雪球网网页后，我们观察发现，页面默认只显示部分帖子，向下滚动页面到底部才能加载出更多帖子列表。
且滚动一定次数后（测试滚动10次左右，具体以大家操作时需要的滚动次数为准）出现【加载更多】按钮，随后需要点击【加载更多】按钮，继续加载新的帖子列表。
在八爪鱼中也需要进行相同的设置。
1、设置页面滚动
进入【打开网页】设置页面，点开【页面加载后】，设置【页面加载后向下滚动】，滚动方式为【向下滚动一屏】，【滚动次数】为20次，【每次间隔】2秒 并保存。
特别说明：
* a. 设置中的滚动次数和时间间隔，请根据采集需求和网页加载情况进行设置，并非是一成不变的，具体请点击查看 [处理滚动加载数据的网页教程](../tutorial8/81ymgd)
2、设置点击【加载更多】
① 手动向下滚动页面，直至【加载更多】按钮出现
② 点击【加载更多】按钮，在黄色操作提示框中，选择【循环点击单个链接】。
③ 进入【循环翻页】设置页面，点开【退出循环设置】，把循环执行次数设为4次（我们需要设置一个合适的次数，可根据需要采集的数据量灵活调整）。
④ 进入【点击翻页】设置页面，点开【页面加载后】，设置【页面加载后向下滚动】，滚动方式为【滚动到底部】，【滚动次数】为5次，【每次间隔】2秒 。
特别说明：
* a. 为什么通过【加载更多】进行翻页的网页，需设置一个合适的翻页次数？通过一定次数的【加载更多】翻页后，页面上展示出非常多的标题列表。这些列表同在一个页面，采集的时候都会被定位到。如果同时定位的列表过多，采集速度会变慢，影响数据的正常采集。设置一个合理的翻页次数，可以控制同时定位到的列表，保障数据采集正常进行。
* b. 设置中的滚动次数和时间间隔，请根据采集需求和网页加载情况进行设置，并非是一成不变的，具体请点击查看 [处理滚动加载数据的网页教程](../tutorial8/81ymgd)
## 步骤三、创建【循环列表】
1、创建【循环-点击元素】，点击进入每个帖子详情页
通过以下连续3步，实现循环点击每个链接，进入详情页：
① 选中页面上第1条帖子链接（此网页比较特殊，选中一大块范围也是链接）
② 再选中页面上另一条帖子链接
③ 点击【循环点击每个链接】，进入第1条帖子的详情页
2、调整流程
又由于这个网页比较特殊，需要先点击【加载更多】，完成翻页后才能提取数据，所以需要将整个【循环列表】拖入到【循环翻页】之后。
然后点击流程中的【点击元素】步骤，进入第1条帖子的详情页。
## 步骤四、采集详情页的文章标题、正文等字段
选中页面中的文本，然后在操作提示框中，点击【采集该元素文本】。
文本类字段都可以按照这样的方式提取。示例中我们提取了文章标题、作者、发布时间、正文等字段。
## 步骤五、创建评论部分的【循环列表】，采集全部评论内容、评论者等字段
一篇帖子内可能有多条评论，通过以下几步，采集文章内的所有评论者和评论内容：
① 选中一个评论者名称
② 在黄色操作提示框中，选择【选中全部】
③ 选择【采集以下链接文本】
注意：如果还需要采集其他字段，则在当前列表中继续提取即可（在页面中以红框框起来），无需再新建循环。
特别说明：
* a. 评论列表有可能不止一页，如需采集多页评论内容，可添加翻页步骤，具体操作参考教程实现翻页。
## 步骤六、编辑字段
执行完前面的步骤，采集框架已经完成啦！我们需要在这个基础上进一步优化。
1、修改字段名称
进入【提取数据】设置页面，修改字段名称。
2、修改字段XPath
上述操作中，每个字段的XPath都是系统默认生成的，定位不一定准确，根据实际情况我们可能需要手动修改。
将【发布时间】的XPath修改为：//A\[contains(@class,"time")]
将【正文内容】的XPath修改为：//ARTICLE\[@class="article\_\_bd"]
将【正文内容】的XPath修改为：//span\[@class="time"]
特别说明：
* a. XPath是什么？怎么写？需要系统学习XPath知识，点击查看 [XPath学习与实例教程](../tutorial8/81xpath) 。
* b. 评论部分字段的修改方式是一样的，修改后的XPath为：
【评论者】：//div/a\[@class="user-name"]
【评论内容】：//div\[@class="comment\_\_item\_\_main"]/\*\[not(@class="comment\_\_item\_\_main\_\_hd")]
## 步骤七、设置执行前等待
为防止网页跳转太快采集不到数据，我们需要设置执行前等待：
几乎每个步骤都可以设置执行前等待，但是如果设置过多，会影响采集速度，请酌情设置。
## 步骤八、启动采集
1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。
特别说明：
* a. 【本地采集】是使用自己的电脑进行采集，【云采集】是使用八爪鱼提供的云服务器采集，点击查看 [本地采集与云采集详解](../tutorial8/81xsrm8)。
2、采集完成后，选择合适的导出方式来导出数据。支持导出为Excel，CSV，HTML，数据库等。这里导出为Excel。数据示例：
作者：Tom
编辑：Aisling