Python 本身也是由诸多其他语言发展而来的,这包括 ABC、Modula-3、C、C++、Algol-68、SmallTalk、Unix shell 和其他的脚本语言等等。下面是小编为您整理的关于python网络爬虫，希望对你有所帮助。

(资料图片仅供参考)

Python网络爬虫总结

常见的网页形式主要有两大类：

* 静态网页

* 动态网页

所谓的静态的网页，就是网页编写者会将网页数据都直接写入到html中，对于这样的网页，一般而言是无法进行数据更新的，也就是说你今天打开这个网页获得的信息和你一个月后在这个网页获得信息是一样的，不会有任何的改变。

所谓的动态的网页，就是网页编写者只是将网页写成一个框架，具体的数据会放在服务器的数据库了。就比如说，网页是一个书架，你希望获得金融类的书籍，那你就可以向服务器发出这么一个请求——“我希望获得金融类的书籍”，那么服务器就会返回相应的书籍，书架上就会呈现相应的金融类的书籍。这里的请求实际上就是http请求，也就是网页作为前端与服务器作为后端之间的信息通信。动态网页是目前比较常见的网页形式，因为大数据的存在，网页逐渐成为一种呈现的方式，具体的数据会保存在服务器的数据库中，并且不断地改变着。

对于具体的爬虫来说，对于这两种方式，会采用不同的爬虫策略。

静态网页

对于静态网页，就不多说了，太简单了。只要用requests库直接把html爬下来，然后用正则表达式匹配即可。但是到了目前互联网发展阶段，已经很少有静态网页了。如果你遇到要爬虫静态网页，那你一定是非常幸福了。

例如这样的网页：你的名字 就可以认为是一个静态网页。

动态网页

动态网页是比较常见的爬虫目标，这里我给出一些比较常见的爬虫方法，仅供参考。

爬取数据包

一般来说，要爬虫的内容都是在格式上具有一定的重复性，但同时数据量又非常大。如果你曾经做过网页开发，你就会明白网页开发者对于这样的数据，一般都会采取从服务器发数据包到前端，在前端解析数据的方式来实现，于是这就给了爬虫者巨大的便利。因为一旦我找到了数据包的请求方式，我就可以仿照前端发送相同的请求，来获得相应的JSON数据。

这样请求一般可以认为是http请求，http请求主要分为两种形式：

* Get方法：比如说我们在浏览器上输入一个网络地址，就是发起一个Get方法的请求。这种网络地址就是URL。

* Post方法：在爬虫中不常见，故不详细介绍

对于爬虫者来说，只需要知道Get方法是如何传递参数的即可。在前文，我提到网页就是一个书架，如果我希望书架上的书都是金融类的书，那么我就需要向服务器发送一个需要书的请求，并且这个请求中的一个参数就是“金融类”，于是服务器就能明白我想要的书是金融类的书。

这是一个Get方法的请求，?后面是所有的参数，参数之间用&来连接。对于这样的URL，我们一般很难把每个参数的意思都把握好，因为对于不同的coder来说，如何命名参数的方法是不同的，所以我们只需要把一些重要参数的意思把握好就行了。就比如说这个请求，pn很明显是页号(page number)，ps很明显是每一页的数量。其他的就不得而知了，也不需要知道了。

剩下的一个问题就是如何找到这个请求了。我个人认为，如果这个网站确实是用这种方式来传递的数据的话，这个请求一般是非常好找的，在chrome的inspect里面，查看network。如果network里面什么都没有话，就刷新。

python是什么

Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。

Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。

Python 是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。

Python 是交互式语言： 这意味着，您可以在一个Python提示符，直接互动执行写你的程序。

Python 是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。

Python 是初学者的语言：Python 对初级程序员而言，是一种伟大的语言，它支持广泛的应用程序开发，从简单的文字处理到 WWW 浏览器再到游戏。

为什么要学 Python

python语言是我目前为止用的最爽的语言，因为它真的很优美.虽然 c,c++,java也非常的强大和伟大，但是每一种语言伟大的背后都是有一定的时代背景。

在 PC 时代大量的嵌入式的设备，底层的代码，以及桌面的应用都是用 C,C++实现的，毋庸置疑他们是最接近底层，也是最快的。

随着 2000 年左右电商的大规模的兴起，逐渐的从 PC 时代过度到了互联网时代，java 开始王者归来，加上 2010 移动互联网的爆发 android 开始风靡起来,java 更是如日中天.

那么未来 10 年到底哪种语言会独领风骚，笑傲江湖，我不得而知，但是未来 10 年一定是人工智能，万物互联的时代，现在 AI,VR,无人驾驶汽车，无人机，智能家居离我们越来越近了。

未来 10 年将是大数据，人工智能爆发的时代，到时将会有大量的数据需要处理,而python最大的优势，就是对数据的处理，有着得天独厚的优势，我相信未来的 10 年,python会越来越火

Python 特点

1.易于学习：Python有相对较少的关键字，结构简单，和一个明确定义的语法，学习起来更加简单。

2.易于阅读：Python代码定义的更清晰。

3.易于维护：Python的成功在于它的源代码是相当容易维护的。

4.一个广泛的标准库：Python的最大的优势之一是丰富的库，跨平台的，在UNIX，Windows和Macintosh兼容很好。

5.互动模式：互动模式的支持，您可以从终端输入执行代码并获得结果的语言，互动的测试和调试代码片断。

6.可移植：基于其开放源代码的特性，Python已经被移植(也就是使其工作)到许多平台。

7.可扩展：如果你需要一段运行很快的关键代码，或者是想要编写一些不愿开放的算法，你可以使用C或C++完成那部分程序，然后从你的Python程序中调用。

8.数据库：Python提供所有主要的商业数据库的接口。

9.GUI编程：Python支持GUI可以创建和移植到许多系统调用。

10.可嵌入: 你可以将Python嵌入到C/C++程序，让你的程序的用户获得"脚本化"的能力。