微博评论爬取数据后，为什么那么多重复的数据出现？

因为微博评论页数据网页结构的原因，会导致采集有大量重复数据，并且无法通过设置避免重复，重复数据在导出的时候可以选择去重导出。