给“编程小白”的数据抓取教程

原标题:给“编程小白”的数据抓取教程

数据抓取往往是信息可视化制作的入门功课，但由于编程是它的基础，这不免让技术薄弱的记者朋友无从下手。独立调查记者、数据新闻记者Samantha Sunne对这种情况了如指掌，所以在NICAR的2018年会议中，她为“编程小白”们设计了一套简易教程。

一句话概括，数据抓取就是从网页中把你想要的数据扒下来并整合在一起的操作。数据抓取技术人员有两种称呼，一个是Extractor，一个是Crawler，前者是从单个网页上扒数据，后者是多个。

不管我们的编程知识掌握多少，还是要对HTML有个基本认识。HTML是一种标记语言，能够被网页读取，通常情况下，我们能看到的网页界面是这样的：

这是网页读取并可视化后的结果。HTML是如下图，对于“编程小白”们来说，这就是一团不知名字符。

但其实，有时人类也能读懂它的语言。老布什的次子杰布·布什曾在他的竞选网站上发表参加2016总统选举的声明，然而发表不到一天，一名《纽约时报》的记者就发现，此声明的页面代码中竟被插入了电影《虎胆龙威》的情节概述。这部影片的英文名称叫“Die Hard”。

这只是个隐蔽的玩笑，言归正传。

深度君接下来要介绍Sunne提及的利器之一：使用Google电子表格的IMPORTHTML公式来抓取数据。

HTML的内容一般被包裹在标签里，如：

content content

有些标签很直观，比如说“表格”：

Here is my table, right here inside these table tags.

假设你想把一个页面上的某类内容扒下来，就可以求助下面这个公式：

=ImportHTML(“url”, “element”, number of element)

“url”是这个页面的链接；

“element”指代的是HTML标签，比方说“表格”；

number of element指的是在这个页面中，目的标签的序列。

HTML有很多标签，甚至同样的标签内容也会有不同的缩写，需要时，你就得求助HTML字典了。字典链接：https://www.w3schools.com/tags/

来举两个具体的例子。

例1.

运用上面提到的公式，我们试试把网站sample.com上的第一个表格抓取出来。

=importHTML(“sample.com”,”table”,0)

用上面这行公式就能完成了。需要注意的是，“0”代表的是电脑语言的第一个，以此类推。

同样，如果不清楚你扒的数据的标签和序列具体是什么，可以单击右键，从源代码中把它们找出来。

例2.

假设我们想从IRE(调查记者与编辑协会)的招聘职位列表页面中，把所有的空缺职务扒下来。

那么已有的信息为：

url： https://www.ire.org/jobs/

标签：table

在Google Sheets公式栏输入以下公式表格即可导入。

=IMPORTHTML(“https://www.ire.org/jobs/” , “table”)

这个公式还能用于导出网页的列表（lists），但是要注意，这个公式提取出的只是本页面上出现的第一个列表。如果你不能确保这个页面上有列表，请查看源代码（Ctrl+F），查找关键词“

”。

这个方法是不是非常简单呢？除了以上这些手动操作，深度君还集结了一个自动抓取数据的工具清单，以适应不同类型的数据抓取需求：

OutWit Hub

这是一个桌面应用程序，可以自动检测出页面中你需要的HTML标签，并抓取出来。

import.io

在静态网页上抓数据方面，可能没有其他应用程序能超过此神器了。它适用于在非常简洁的页面上抓取数据。

DownThemAll

这是个火狐浏览器的插件，可以高亮出页面中的所有网址和图片，并把它们下载下来，但它功能不如Outwit Hub强大。

正在数据抓取入门阶段挣扎的同学们，赶紧上手试试吧！更多资源可以访问全球深度报道网（cn.gijn.org），在“资源库”一栏查看哦！此外，深度网还会精选出时下最新最好用的工具，在每周简报里推送给读者们，点击原文订阅链接。