python 做网页_python主要应用领域

当下全栈工程师的概念很火，而Python是一种全栈的开发语言，你如果能学好Python，那么前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。

Python主要有以下五大主要应用：

网络爬虫

数据分析

人工智能

web开发

自动化运维

一、网络爬虫

网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。

爬虫有什么用？

做为通用搜索引擎网页收集器。(google,baidu)

做垂直搜索引擎.

科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。

爬虫是搜索引擎的第一步也是最容易的一步。

为什么选Python？

Python优势很多，总结两个要点：

1)抓取网页本身的接口

相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择)

此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize

2)网页抓取后的处理

抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.

二、数据分析

一般我们用爬虫爬到了大量的数据之后，我们需要处理数据用来分析，不然爬虫白爬了，我们最终的目的就是分析数据，在这方面 关于数据分析的库也是非常的丰富的，各种图形分析图等 都可以做出来。也是非常的方便，其中诸如Seaborn这样的可视化库，能够仅仅使用一两行就对数据进行绘图，而利用Pandas和numpy、scipy则可以简单地对大量数据进行筛选、回归等计算。而后续复杂计算中，对接机器学习相关算法，或者提供Web访问接口，或是实现远程调用接口，都非常简单。

三、人工智能

人工智能并不是什么新概念，其历史已经超过了半个世纪。在人工智能领域过去这几十年的发展中，传统的主流编程语言明明是 Lisp，而后起之秀也是像 Prolog 这样的语言。但是当这一波人工智能真正开始流行起来时，人们发现，那些流行的框架和工具，要么是用 Python 写的，比如 Theano，要么是 C++ 写的，但是 Python 作为接口语言，比如 TensorFlow，Caffe，MxNet 等。仅有的非 Python 框架 Torch，在 2017 年也抵不住压力，开发了 PyTorch。

四、web开发

很多人只知道Java、PHP可做web开发，但对于Python也能做web开发却知之甚少。很多人可能不知道，Python其实是和互联网一起长大的。作为动态语言，并且具有更高的抽象层次的 Python 和 Perl，很快就被开发者们发现更适合用于开发网站，并在早期互联网的兴起过程中发挥重要作用。

五、自动化运维

随着技术的进步、业务需求的快速增长，一个运维人员通常要管理上百、上千台服务器，运维工作也变的重复、繁杂。把运维工作自动化，能够把运维人员从服务器的管理中解放出来，让运维工作变得简单、快速、准确。

其他领域：

1. 游戏开发

你可以用PyGame来开发游戏，但这并不是最受欢迎的游戏引擎。你可以用它来开发业余爱好项目，但如果你对游戏开发很认真，建议不要选它。

我建议使用Unity的C＃，这是最受欢迎的游戏引擎之一。它能让你为许多平台开发游戏，包括Mac、Windows、iOS和Android。

2. 桌面应用

你可以用Python的Tkinter，但这并不是最热门的选择。Java，C＃和C ++等语言似乎更受欢迎。

3.手机APP

python语言虽然很万能，但用它来开发app还是显得有点不对路，因此用python开发的app应当是作为编码练习、或者自娱自乐所用，加上目前这方面的模块还不是特别成熟，bug比较多，总而言之，劝君莫轻入。