一、【格式化数据】设置的位置
示例网址:https://book.douban.com/subject/4913064/ 【格式化数据】是对提取到的字段进行格式化操作,我们先按照采集需求,提取字段。本示例中,我们提取此网页中的图书标题、图书简介和图片网址、页面网址等。
原始值:原始字段
结果:经过格式化步骤后,输出的字段结果
添加步骤:提供10个数据格式化选项:替换、正则表达式替换、正则表达式匹配、去除空格、添加前缀、添加后缀、时间格式化、时间戳转换、时区时间转换、Html。
以下将配合具体案例,详解这10个选项如何使用。

二、【格式化数据】10个选项详解
1、替换
将字段中的部分或全部内容替换为其他内容,支持文字、数字、符号、空格、换行符的替换。 实例:如果我们想将字段【808478人评价】中的文本【人评价】去掉,只留下数字【808478】。 具体步骤为: 在【添加步骤】中,选择【替换】 【原始值】: 808478人评价 【将】:人评价 【替换为】:空 点击【测试】,【替换结果】:808478 最后点击【确定】,保存配置即可。
2、正则表达式替换
用正则表达式将字段中的部分或全部内容找出来,然后将其替换为其他内容,支持文字、数字、符号、空格、换行符的替换。 相比简单的【替换】,【正则表达式替换】更为强大灵活。 实例:在采集数据的时候我们发现,红框中的【书籍信息】只能作为一个字段提取下来。如果想要将【ISBN】独立为一个字段,就需要先将整个红框中的【书籍信息】作为一个字段提取下来,然后用【正则表达式替换】将【ISBN】单独提取出来。
具体步骤为:
Step1:【书籍信息】提取下来后,有很多空格,先将所有空格去掉。(如果提取的字段中无空格,可跳过这一步)
在【添加步骤】中,选择【正则表达式替换】
【原始值】: 【书籍信息】(包含很多空格)
【正则表达式】:\s+(这条正则表达式的意思是,找到字段中所有的空格)
【替换为】:空(将找到的全部空格替换为空)
点击【测试】,得到【替换结果】:作者:余华出版社:作家出版社出版年:2012-8-1页数:191定价:20.00元装帧:平装丛书:余华作品(2012版)ISBN:9787506365437
最后点击【确定】,保存配置即可。




3、正则表达式匹配
用正则表达式将字段中的部分或全部内容提取出来。 实例:在采集数据的时候我们发现,红框中的【书籍信息】只能作为一个字段提取下来。如果想要将【出版年】独立为一个字段,就需要先将整个红框中的【书籍信息】作为一个字段提取下来,然后用【正则表达式匹配】将【出版年】单独提取出来。


4、去除空格
包括三种,分别是【去除开头空格】、【去除结尾空格】、【去除两头空格】。 实例:【书籍信息】开头和结尾都有一串空格,选择【去除两头空格】后,点击确定,八爪鱼会去除两头的空格。 也可使用前两个选项去除开头或者结尾处的空格。
5、添加前缀
为字段添加前缀,很好理解。 【原始文本】:9.4 【添加前缀】:评分 【替换结果】:评分9.4
6、添加后缀
为字段添加后缀,很好理解。 【原始文本】:9.4 【添加前缀】:分 【替换结果】:9.4分
7、日期时间格式化
提供多种格式的日期格式,根据需求进行选择。 选中时间字段,选择【日期时间格式化】,将日期转化成需要的格式或者仅提取日期时间中的某一部分。 实例:将2013-10-09 12:27:14预览结果的日期格式转换为 2013-10-19 。
8、时间戳转换
将具体的时间转换为时间戳,如下将时间2013-10-09 12:27:14转换为时间戳1381292834
