收集数据的方法有哪些 常见的收集数据的方法

在大数据时代 , 除了企业、公司和个人 , 互联网也是一个非常重要的数据来源 。随着信息化社会的快速发展 , 互联网中可以获取的数据也越来越多 , 并且多数网站所提供的数据并非一两个页面所能容纳的 , 如股票行情数据 , 由于上市交易的股票数量众多 , 所以网站提供的数据通常都会有几十个网页 , 甚至更多 。
虽然通过【数据】选项卡的【从网站】功能可以获取单个网页中的数据 , 但是这样的操作显然无法胜任收集大量网页数据的任务 。批量收集网站数据 , 又被称为网络数据抓取 , 有时也被简称为“网抓” 。用于网抓的工具或软件通常被称为网络爬虫(Web Crawler) 。
以某网站的“个股市盈率”网页为例 , 如图 2-139 所示 , 每个页面中有 50 行数据 , 共有 64 个网页 。让我们使用Power Query的方式实现抓取前 5 个网页的数据 。

收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
收集数据的方法有哪些 常见的收集数据的方法

文章插图
【收集数据的方法有哪些 常见的收集数据的方法】

    推荐阅读