实用标准文案
Python网络爬虫实习报告
精彩文档
实用标准文案
目录
一、选题背景 ......二、爬虫原理......三、爬虫历史和分类........四、常用爬虫框架比较....五、数据爬取实战（豆瓣网爬取电影数据）.........1分析网页.2爬取数据.3数据整理、转换 4数据保存、展示 5技术难点关键点.六、总结 .精彩文档
实用标准文案
一、选题背景 二、爬虫原理 三、爬虫历史和分类 四、常用爬虫框架比较
Scrapy框架:Scrapy框架是一套比较成熟的Python爬虫框架，是使用Python开发的快速、高层次的信息爬取框架，可以高效的爬取web页面并提取出结构化数据。Scrapy应用范围很广，爬虫开发、数据挖掘、数据监测、自动化测试等。
Crawley框架:Crawley也是Python开发出的爬虫框架，该框架致力于改变人们从互联网中提取数据的方式。
Portia框架:Portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架。
newspaper框架:newspaper框架是一个用来提取新闻、文章以及内容分析的Python爬虫框架。
Python-goose框架：Python-goose框架可提取的信息包括：文章主体内容;文章主要图片;文章中嵌入的任heYoutube/Vimeo视频;元描述;元标签
精彩文档
实用标准文案
五、数据爬取实战（豆瓣网爬取电影数据）
1分析网页
# 获取html源代码 def __getHtml(): data = pageNum = 1 pageSize = 0 try: while(pageSize
实用标准文案
data.append(urllib.request.urlopen(url).read().decode("utf-8"))pageSize += 25 pageNum += 1 print(pageSize, pageNum)except Exception as e: raise e return data 2爬取数据
def __getData(html): title = # 电影标题 #rating_num = # 评分 range_num = # 排名 #rating_people_num = # 评价人数 movie_author = # 导演 data = {} # bs4解析html soup = BeautifulSoup(html, "html.parser")for li in soup.find("ol", attrs={'cla': 'grid_view'}).find_all("li"): 精彩文档
实用标准文案
title.append(li.find("span", cla_="title").text)#rating_num.append(li.find("div", cla_='star').find("span", cla_='rating_num').text)range_num.append(li.find("div", cla_='pic').find("em").text)#spans = li.find("div", cla_='star').find_all("span")#for x in range(len(spans)): # if x
实用标准文案
== 210): index = 60 # print("aaa")# print(str[4:index])movie_author.append(str[4:index])
data['title'] = title #data['rating_num'] = rating_num data['range_num'] = range_num #data['rating_people_num'] = rating_people_num data['movie_author'] = movie_author return data 3数据整理、转换 def __getMovies(data): f = open('F://douban_movie.html', 'w',encoding='utf-8')f.write("")f.write("Insert title here")f.write("")f.write("爬取豆瓣电影")f.write(" 作者：刘文斌")精彩文档
实用标准文案
f.write(" 时间：" + nowtime + "")f.write("")f.write("")f.write("")f.write("")f.write("电影")#f.write("评分")f.write("排名")#f.write("评价人数")f.write("导演")f.write("")f.write("")f.write("")for data in datas: for i in range(0, 25): f.write("")f.write("
实用标准文案
style='color:orange;text-align:center'>%s" % data['title'][i])# f.write("%s" % data['rating_num'][i])f.write("%s" % data['range_num'][i])# f.write("%s" % data['rating_people_num'][i])f.write("%s" % data['movie_author'][i])f.write("")f.write("")f.write("")f.write("")f.write("第2篇：Python网络爬虫实习报告
.Python网络爬虫实习报告
..目录
一、选题背景 二、爬虫原理 三、爬虫历史和分类 四、常用爬虫框架比较.........五、数据爬取实战（豆瓣网爬取电影数据）.1分析网页 2爬取数据 3数据整理、转换.........4数据保存、展示.........5技术难点关键点.........六、总结 ........一、选题背景 二、爬虫原理 三、爬虫历史和分类 四、常用爬虫框架比较
Scrapy框架:Scrapy框架是一套比较成熟的Python爬虫框架，是使用Python开发的快速、高层次的信息爬取框架，可以高效的爬取web页面并提取出结构化数据。Scrapy应用围很广，爬虫开发、数据挖掘、数据监测、自动化测试等。
Crawley框架:Crawley也是Python开发出的爬虫框架，该框架致力于改变人们从互联网中提取数据的方式。
Portia框架:Portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架。
newspaper框架:newspaper框架是一个用来提取新闻、文章以及容分析的Python爬虫框架。
Python-goose框架：Python-goose框架可提取的信息包括：文章主体容;文章主要图片;文章中嵌入的任heYoutube/Vimeo视频;元描述;元标签
..五、数据爬取实战（豆瓣网爬取电影数据）
1分析网页
# 获取html源代码 def __getHtml():
data =
pageNum = 1
pageSize = 0
try:
while(pageSize
# headers = {'User-Agent':'Mozilla/5.0(Windows NT 6.1)AppleWebKit/537.11(KHTML, like Gecko)Chrome/23.0.1271.64 Safari/537.11', # 'Referer':None #注意如果依然不能抓取的话，这里可以设置抓取的host # } # opener = urllib.request.build_opener()# opener.addheaders = [headers] url = "https://movie.douban./top250?start=" + str(pageSize)+ "&filter=" + str(pageNum)
# data['html%s' % i ]=urllib.request.urlopen(url).read().decode("utf-8")..data.append(urllib.request.urlopen(url).read().decode("utf-8"))
pageSize += 25
pageNum += 1
print(pageSize, pageNum)
except Exception as e:
raise e
return data 2爬取数据
def __getData(html):
title = # 电影标题 #rating_num = # 评分 range_num =
# 排名 #rating_people_num = # 评价人数 movie_author =
# 导演 data = {}
# bs4解析html soup = BeautifulSoup(html, "html.parser")
for li in soup.find("ol", attrs={'cla': 'grid_view'}).find_all("li"):
title.append(li.find("span", cla_="title").text)
#rating_num.append(li.find("div",..cla_='star').find("span", cla_='rating_num').text)range_num.append(li.find("div", cla_='pic').find("em").text)
#spans = li.find("div", cla_='star').find_all("span")#for x in range(len(spans)): # if x
index = str.find("主")
if(index ==-1):
index = str.find("...")
print(li.find("div", cla_='pic').find("em").text)
if(li.find("div", cla_='pic').find("em").text == 210):
index = 60
# print("aaa")# print(str[4:index])movie_author.append(str[4:index])..data['title'] = title
#data['rating_num'] = rating_num data['range_num'] = range_num
#data['rating_people_num'] = rating_people_num data['movie_author'] = movie_author
return data 3数据整理、转换 def __getMovies(data):
f = open('F://douban_movie.html', 'w',encoding='utf-8')
f.write("")
f.write("Insert title here")
f.write("")
f.write("爬取豆瓣电影")
f.write(" 作者：文斌")
f.write(" 时间：" + nowtime + "")
f.write("")
f.write("")
f.write("")
f.write("")..f.write("电影")
#f.write("评分")f.write("排名")
#f.write("评价人数")f.write("导演")
f.write("")
f.write("")f.write("")
for data in datas:
for i in range(0, 25):
f.write("")
f.write("%s" % data['title'][i])
# f.write("%s" % data['rating_num'][i])f.write("%s" % data['range_num'][i])
# f.write("
.style='color:blue;text-align:center'>%s" % data['rating_people_num'][i])f.write("%s" % data['movie_author'][i])
f.write("")
f.write("")f.write("")
f.write("")
f.write("第3篇：Python网络爬虫实习报告总结归纳
Python网络爬虫实习报告
目录 一、选题背景 二、爬虫原理 三、爬虫历史和分类 四、常用爬虫框架比较
Scrapy框架:Scrapy框架是一套比较成熟的Python爬虫框架，是使用Python开发的快速、高层次的信息爬取框架，可以高效的爬取web页面并提取出结构化数据。Scrapy应用范围很广，爬虫开发、数据挖掘、数据监测、自动化测试等。
Crawley框架:Crawley也是Python开发出的爬虫框架，该框架致力于改变人们从互联网中提取数据的方式。
Portia框架:Portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架。
newspaper框架:newspaper框架是一个用来提取新闻、文章以及内容分析的Python爬虫框架。
Python-goose框架：Python-goose框架可提取的信息包括：文章主体内容;文章主要图片;文章中嵌入的任heYoutube/Vimeo视频;元描述;元标签 五、数据爬取实战（豆瓣网爬取电影数据）
1分析网页
# 获取html源代码 def __getHtml(): data = pageNum = 1 pageSize = 0 try: while(pageSize
pageSize += 25 pageNum += 1 print(pageSize, pageNum)except Exception as e: raise e return data 2爬取数据
def __getData(html): title = # 电影标题 #rating_num = # 评分 range_num = # 排名 #rating_people_num = # 评价人数 movie_author = # 导演 data = {} # bs4解析html soup = BeautifulSoup(html, "")for li in("ol", attrs={'cla': 'grid_view'}).find_all("li"):("span", cla_="title").text)#("div", cla_='star').find("span", cla_='rating_num').text)("div", cla_='pic').find("em").text)#spans =("div", cla_='star').find_all("span")#for x in range(len(spans)): # if x
data['title'] = title #data['rating_num'] = rating_num data['range_num'] = range_num #data['rating_people_num'] = rating_people_num data['movie_author'] = movie_author return data 3数据整理、转换 def __getMovies(data):
("")("Insert title here")("")("爬取豆瓣电影")(" 作者：刘文斌")(" 时间：" + nowtime + "")("")("")("")("")("电影")#("评分")("排名")#("评价人数")("导演")("")("")("")for data in datas: for i in range(0, 25):("")("%s" % data['title'][i])#("%s" % data['rating_num'][i])("%s" % data['range_num'][i])#("%s" % data['rating_people_num'][i])("%s" % data['movie_author'][i])("")("")("")("")("第4篇：经典Python面试题之Python基础篇
完美WORD格式
经典Python面试题之Python基础篇
1.为什么学习Python？ 2.通过什么途径学习的Python？
3.Python和Java、PHP、C、C#、C++等其他语言的对比？ 4.简述解释型和编译型编程语言？ 5.Python解释器种类以及特点？ 6.位和字节的关系？
7.b、B、KB、MB、GB 的关系？
8.请至少列举5个 PEP8 规范（越多越好）。9.通过代码实现如下转换：
二进制转换成十进制：v = “0b1111011” 十进制转换成二进制：v = 18 八进制转换成十进制：v = “011” 十进制转换成八进制：v = 30
十六进制转换成十进制：v = “0x12” 十进制转换成十六进制：v = 87 10.请编写一个函数实现将IP地址转换成一个整数。如 10.3.9.12 转换规则为： 10 00001010 3 00000011 9 00001001
专业整理分享
完美WORD格式
12 00001100
再将以上二进制拼接起来计算十进制结果：00001010 00000011 00001001 00001100 = ？
11.python递归的最大层数？ 12.求结果： v1 = 1 or 3 v2 = 1 and 3 v3 = 0 and 2 and 1 v4 = 0 and 2 or 1 v5 = 0 and 2 or 1 or 4 v6 = 0 or Flase and 1 13.ascii、unicode、utf-8、gbk 区别？ 14.字节码和机器码的区别？ 15.三元运算规则以及应用场景？ 16.列举 Python2和Python3的区别？ 17.用一行代码实现数值交换：
a = 1 b = 2 18.Python3和Python2中 int 和 long的区别？ 19.xrange和range的区别？
20.文件操作时：xreadlines和readlines的区别？ 21.列举布尔值为False的常见值？
专业整理分享
完美WORD格式
22.字符串、列表、元组、字典每个常用的5个方法？ 23.lambda表达式格式以及应用场景？ 24.pa的作用？ 25.*arg和**kwarg作用 26.is和==的区别
27.简述Python的深浅拷贝以及应用场景？ 28.Python垃圾回收机制？
29.Python的可变类型和不可变类型？ 30.求结果：
v = dict.fromkeys(['k1'，'k2']，)
v[‘k1’].append(666)print(v)
v[‘k1’] = 777 print(v)31.求结果： def num(): return [lambda x:i*x for I in range(4)] print([m(2)for m in num()])32.列举常见的内置函数？ 33.filter、map、reduce的作用？ 34.一行代码实现9*9乘法表
35.如何安装第三方模块？以及用过哪些第三方模块？
专业整理分享
完美WORD格式
36.至少列举8个常用模块都有那些？ 37.re的match和search区别？ 38.什么是正则的贪婪匹配？
39.求结果： a.[ i % 2 for i in range(10)] b.(i % 2 for i in range(10))40.求结果： a.1 or 2 b.1 and 2 c.1
42.如何实现 “1，2，3” 变成 [‘1’，’2’，’3’] ? 43.如何实现[‘1’，’2’，’3’]变成[1，2，3] ? 44.比较： a = [1，2，3] 和 b = [(1)，(2)，(3)] 以及 b = [(1，)，(2，)，(3，)] 的区别？
45.如何用一行代码生成[1，4，9，16，25，36，49，64，81，100] ? 46.一行代码实现删除列表中重复的值 ? 47.如何在函数中设置一个全局变量？ 48.logging模块的作用？以及应用场景？ 49.请用代码简答实现stack。50.常用字符串格式化哪几种？
51.简述 生成器、迭代器、可迭代对象 以及应用场景？ 52.用Python实现一个二分查找的函数。53.谈谈你对闭包的理解？ 54.os和sys模块的作用？
专业整理分享
完美WORD格式
55.如何生成一个随机数？
56.如何使用python删除一个文件？ 57.谈谈你对面向对象的理解？
58.Python面向对象中的继承有什么特点？ 59.面向对象深度优先和广度优先是什么？ 60.面向对象中super的作用？
61.是否使用过functools中的函数？其作用是什么？
62.列举面向对象中带爽下划线的特殊方法，如：__new__、__init__ 63.如何判断是函数还是方法？ 64.静态方法和类方法区别？
65.列举面向对象中的特殊成员以及应用场景
66.1、2、3、4、5 能组成多少个互不相同且无重复的三位数 67.什么是反射？以及应用场景？ 68.metacla作用？以及应用场景？ 69.用尽量多的方法实现单例模式。70.装饰器的写法以及应用场景。
71.异常处理写法以及如何主动跑出异常（应用场景）72.什么是面向对象的mro 73.isinstance作用以及应用场景？ 74.写代码并实现：
Given an array of integers，return indices of the two numbers such that they add up to a specific target.You may aume that each input would
专业整理分享
完美WORD格式
have exactly one solution，and you may not use the same element twice.Example:
Given nums = [2，7，11，15]，target = 9，Because nums[0] + nums[1] = 2 + 7 = 9，return [0，1] 75.json序列化时，可以处理的数据类型有哪些？如何定制支持datetime类型？
76.json序列化时，默认遇到中文会转换成unicode，如果想要保留中文怎么办？
77.什么是断言？应用场景？
78.有用过with statement吗？它的好处是什么？ 79.使用代码实现查看列举目录下的所有文件。80.简述 yield和yield from关键字。
专业整理分享
第5篇：python语法小结
1.在Python中，一般来说一条语句占用一行。一条语句结束一般不需要使用C语言中的“;”，但在Python中也可以使用“;”将两条语句写在一行。另外，如果缩进语句中只有一条语句，也可以将其写在“:”之后。
2.单引号中的字符串可以包含双引号，双引号中的字符串可以包含单引号，而不需要使用转义字符。另外3个引号所包围的字符可以作为注释，还可以作为格式化的字符串，该字符串可以不再一行，格式化后行尾会自动转化为“n”转义字符。
3.在Python中可以使用“”将较长的语句分成几行来写，但是注意每行后面不可以有#注释。或者可以使用圆括号将较长的语句分行，每行后面可以使用#注释。
4.类型间转换
hex()：将整数转换为十六进制字符串，包含前缀“0x” oct()：将整数转换为八进制字符串，包含前缀“0o”
注：string模块中有string.atoi(x, base = 10)，类似int()，但是可以选择变换后的进制
5.math模块中数学函数：
hypot(x, y)：求直角三角形的斜边长度，x和y为两个直角边长度 fmod(x, y)：求x / y的余数，等同于x % y ceil(x)：求不小于x的最大整数 floor(x)：求不大于x的最小整数 fabs(x)：求x的绝对值 exp(x)：求e的x次幂
pow(x, y)：求x的y次幂，等同于x ** y log10(x)：求x以log10为底的对数 sqrt(x)：求x的平方根 pi：求pi的值
6.字符串操作
string.capitalize()：将字符串第一个字母大写 string.count(x)：获得字符串中某字符串的数目 string.find(x)：获得字符串中某子字符串的起始位置 string.isalnum()：是否仅包含0～
9、A～Z、a～z string.isalpha()：是否仅包含A～Z、a～z string.isaldigit()：是否仅包含0～9 string.islower()string.isupper()string.lower()string.upper()string.ipace()string.istitle()：字符串中所有单词是否首字母大写 string.title()string.join(x)：将string插入x中的每两个字符之间 string.swapcase()：大小写字母转换 string.split(x)：利用分割字符串的单词（默认是space）len(string)7.格式化字符串
%f %d %s %o：八进制整数 %x：十六进制整数
注：r"xxxxx"或者R"xxxxx"表示原始字符串，常用语正则表达式或者路径表示中，其间没有转义字符，均是正常字符。
8.列表list list.append(x)：追加成员x list.count(x)：参数x出现的次数
list.extend(x)：list1+list2无法改变list1，只能返回一个新的list，但是list2.extend(list2)函数可以改变list1的值
list.index(x)：获得x在list中的位置 list.insert(index, x)：在index处插入x list.pop(index)：删除索引为index的成员
list.remove(x)：删除值为x的成员 list.reverse()list.sort()list.clear()注：tuple的操作与list类似，但是不包含可修改元组的操作。
9.字典dict dict.clear()dict.copy(x)：将字典x拷贝给dict dict.get(key)：等同于dict[k] dict.has_key(key)：是否包含key键 dict.items()：获得键-值对组成的列表 dict.keys()：获得键组成的列表 dict.values()：获得值组成的列表 dict.pop(key)dict.update(x)：利用字典x更新原字典
10.文件操作
open(filename, mode, bufsize)filename：要打开的文件名
mode：打开模式（r是只读，w是替换写，a是追加写，+是读写等）bufsize：缓冲区大小，可以默认 file.read()：整个文件读入字符串中 file.readlines()：整个文件读入列表中 file.readline()：某行读入字符串中 file.write(x)：写入字符串 file.writelines(x)：写入列表x file.close().11.函数参数
调用函数可以同时使用按顺序传递参数，以及关键字传递参数等，但是必须注意按顺序传递的参数要位于按关键字传递的参数之前，而且不能有重复的情况发生。例如： def sample(x, y, z): pa mysum(1, z = 5, y = 6)#ok mysum(z = 6, y = 7, 3)#error 使用可变长参数的函数，将其所有参数保存在一个元组里，在函数中可以使用for循环来处理，声明一个可变长参数的函数只需用*开头定义一个参数即可。
12.局部/全局变量
局部作用域内的变量的改变并不影响全局作用域内的变量，除非通过引用的方式传递参数。如果要在函数内使用函数外的变量，可以在变量名前使用global关键字。例如： def func(x): global a return x + a 13.模块查找路径
导入模块时，python解释器首先在当前目录中查找导入的模块；如果未找到，解释器会从sys模块中的path变量指定的目录查找导入模块；如果均未找到，则会出错。import sys sys.path 在脚本中可以向sys.path添加查找路径，例如可以在.py中如下： import os import sys modulepath = os.getcwd()+ „module‟ #module是当前目录下的module子目录 sys.path.append(modulepath)import mymodule #mymodule在module子目录中 ************ 14.dir(x)可以获得导入模块中的所有定义的名字和函数等。
import sys dir(sys)当不使用参数时，该函数将返回当前脚本的所有名字列表。
15.模块包
包可以看成是出于同一个目录中的模块，在python中首先使用目录名，然后再使用模块名导入所需要的模块。在包的每个目录（包括子目录）中都必须包含一个“__init__.py”的文件，该文件甚至可以是一个空文件，仅用于表示该目录为一个包。
在__init__.py中设置__all__变量和包初始化所需的代码，可以保证在from中使用*时名字的正确导入。from A.B import a import A.B.a 有了包的概念可以很好地解决模块查找路径的问题，只要将所有的模块放在当前目录中的某个文件夹内（子目录），然后在子目录内新建一个__init__.py文件即可，而不需将子目录的路径添加到sys.path中。
第6篇：Python学习总结
Python总结
目录
Python总结.....................................................................................................................1 前言.............................................................................................................................2
（一）如何学习Python .........................................................................................2
（二）一些Python免费课程推荐 .......................................................................4
（三）Python爬虫需要哪些知识？ ....................................................................5
（四）Python爬虫进阶 .........................................................................................8
（五）Python爬虫面试指南 ..............................................................................11
（六）推荐一些不错的Python博客 .................................................................13
（七）Python如何进阶 .......................................................................................14
（八）Python爬虫入门 .......................................................................................16
（九）Python开发微信公众号 ..........................................................................20
（十）Python面试概念和代码 ..........................................................................24
（十一）Python书籍 ...........................................................................................34
前言
知乎：路人甲
微博：玩数据的路人甲 微信公众号：一个程序员的日常
在知乎分享已经有一年多了，之前一直有朋友说我的回答能整理成书籍了，一直偷懒没做，最近有空仔细整理了知乎上的回答和文章另外也添加了一些新的内容，完成了几本小小的电子书，这一本是有关于Python方面的。
还有另外几本包括我的一些数据分析方面的读书笔记、增长黑客的读书笔记、机器学习十大算法等等内容。将会在我的微信公众号：一个程序员的日常进行更新，同时也可以关注我的知乎账号：路人甲及时关注我的最新分享用数据讲故事。
（一）如何学习Python 学习Python大致可以分为以下几个阶段：
1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法等，基础过的很快，基本上1~2周时间就能过完了，我当时是在这儿看的基础：Python 简介 | 菜鸟教程 2.看完基础后，就是做一些小项目巩固基础，比方说：做一个终端计算器，如果实在找不到什么练手项目，可以在 Codecademy知乎专栏
5.Python库是开发者利器，用这些库你可以做很多很多东西，最常见的网络爬虫、自然语言处理、图像识别等等，这些领域都有很强大的Python库做支持，所以当你学了Python库之后，一定要第一时间进行练习。如何寻找自己需要的Python库呢？推荐我之前的一个回答：如何找到适合需求的 Python 库? 6.学习使用了这些Python库，此时的你应该是对Python十分满意，也十分激动能遇到这样的语言，就是这个时候不妨开始学习Python数据结构与算法，Python设计模式，这是你进一步学习的一个重要步骤：faif/python-patterns
7.当度过艰难的第六步，此时选择你要研究的方向，如果你想做后端开发，不妨研究研究Django，再往后，就是你自己自由发挥了。
（二）一些Python免费课程推荐 以下课程都为免费课程
1.python零基础相关
适用人群：Python零基础的初学者、Web开发程序员、运维人员、有志于从事互联网行业以及各领域应用Python的人群
疯狂的Python：快速入门精讲 零基础入门学习Python 玩转Python语言 Python语言程序设计 程序设计入门
可汗学院公开课：计算机科学 python 入门到精通 Python交互式编程入门的课程主页
Python交互编程入门（第2部分）的课程主页
2.python web方向
Python Django 快速Web应用开发入门
3.python爬虫
Python实战：一周学会爬取网页
4.python数据分析方向 数据分析实战基础课程
（三）Python爬虫需要哪些知识？
要学会使用Python爬取网页信息无外乎以下几点内容：
1、要会Python
2、知道网页信息如何呈现
3、了解网页信息如何产生
4、学会如何提取网页信息
第一步Python是工具，所以你必须熟练掌握它，要掌握到什么程度呢？如果你只想写一写简单的爬虫，不要炫技不考虑爬虫效率，你只需要掌握： 数据类型和变量 字符串和编码 使用list和tuple 条件判断、循环 使用dict和set
你甚至不需要掌握函数、异步、多线程、多进程，当然如果想要提高自己小爬虫的爬虫效率，提高数据的精确性，那么记住最好的方式是去系统的学习一遍Python，去哪儿学习？Python教程
假设已经熟悉了最基础的Python知识，那么进入第二步：知道网页信息如何呈现？你首先要知道所需要抓取的数据是怎样的呈现的，就像是你要学做一幅画，在开始之前你要知道这幅画是用什么画出来的，铅笔还是水彩笔...可能种类是多样的，但是放到网页信息来说这儿只有两种呈现方式：
1、HTML （HTML 简介）
2、JSON （JSON 简介）HTML是用来描述网页的一种语言 JSON是一种轻量级的数据交换格式
假设你现在知道了数据是由HTML和JSON呈现出来的，那么我们紧接着第三步：数据怎么来？数据当然是从服务器反馈给你的，为什么要反馈给你？因为你发出了请求。“Hi~，服务器我要这个资源” “正在传输中...”
“已经收到HTML或者JSON格式的数据”
这个请求是什么请求？要搞清楚这一点你需要了解一下http的基础知识，更加精确来说你需要去了解GET和POST是什么，区别是什么。也许你可以看看这个：浅谈HTTP中Get与Post的区别博客园
很高兴你使用的是Python，那么你只需要去掌握好快速上手知乎专栏 知乎--Python学习路径及练手项目合集
（四）Python爬虫进阶
爬虫无非分为这几块：分析目标、下载页面、解析页面、存储内容，其中下载页面不提。1.分析目标
所谓分析就是首先你要知道你需要抓取的数据来自哪里？怎么来？普通的网站一个简单的POST或者GET请求，不加密不反爬，几行代码就能模拟出来，这是最基本的，进阶就是学会分析一些复杂的目标，比如说：淘宝、新浪微博登陆以及网易云的评论信息等等。
2.解析页面
解析页面主要是选择什么库或者那些库结合能使解析速度更快，可能你一开始你通过种种地方了解到了bs库，于是你对这个库很痴迷，以后只要写爬虫，总是先写上： importrequests
frombs4importBeautifulSoup 当然bs已经很优秀了，但是并不代表可以用正则表达式解析的页面还需要使用bs，也不代表使用lxml能解决的还要动用bs，所以这些解析库的速度是你在进阶时要考虑的问题。
3.存储内容
刚开始学爬虫，一般爬取的结果只是打印出来，最后把在终端输出的结果复制粘贴保存就好了；后来发现麻烦会用上xlwt/openpyxl/csv的把存储内容写入表格，再后来使用数据库sqlite/mysql/neo4j只要调用了库都很简单，当然这是入门。
进阶要开始学习如何选择合适的数据库，或者存储方式。当爬取的内容过千万的时候，如何设计使存储速度更快，比如说当既有人物关系又有人物关系的时候，一定会用neo4j来存储关系，myslq用来存储用户信息，这样分开是因为如果信息全部存入neo4j，后期的存储速度经十分的慢。
当你每个步骤都能做到很优秀的时候，你应该考虑如何组合这四个步骤，使你的爬虫达到效率最高，也就是所谓的爬虫策略问题，爬虫策略学习不是一朝一夕的事情，建议多看看一些比较优秀的爬虫的设计方案，比如说Scrapy。
除了爬取策略以外，还有几点也是必备的： 1.代理策略以及多用户策略
代理是爬虫进阶阶段必备的技能，与入门阶段直接套用代理不同，在进阶阶段你需要考虑如何设计使用代理策略，什么时候换代理，代理的作用范围等等，多用户的抓取策略考虑的问题基本上与代理策略相同。2.增量式抓取以及数据刷新
比如说你抓取的是一个酒店网站关于酒店价格数据信息的，那么会有这些问题：酒店的房型的价格是每天变动的，酒店网站每天会新增一批酒店，那么如何进行存储、如何进行数据刷新都是应该考虑的问题。3.验证码相关的一些问题 有很多人提到验证码，我个人认为验证码不是爬虫主要去解决的问题，验证码不多的情况考虑下载到本地自己输入验证码，在多的情况下考虑接入打码平台。
（五）Python爬虫面试指南
前段时间快要毕业，而我又不想找自己的老本行Java开发了，所以面了很多Python爬虫岗位。因为我在南京上学，所以我一开始只是在南京投了简历，我一共面试了十几家企业，其中只有一家没有给我发offer，其他企业都愿意给到10K的薪资，不要拿南京的薪资水平和北上深的薪资水平比较，结合面试常问的问题类型说一说我的心得体会。
第一点：Python 因为面试的是Python爬虫岗位，面试官大多数会考察面试者的基础的Python知识，包括但不限于：
Python2.x与Python3.x的区别 Python的装饰器 Python的异步
Python的一些常用内置库，比如多线程之类的第二点：数据结构与算法
数据结构与算法是对面试者尤其是校招生面试的一个很重要的点，当然小公司不会太在意这些，从目前的招聘情况来看对面试者的数据结构与算法的重视程度与企业的好坏成正比，那些从不问你数据结构的你就要当心他们是否把你当码农用的，当然以上情况不绝对，最终解释权归面试官所有。
第三点：Python爬虫
最重要也是最关键的一点当然是你的Python爬虫相关的知识与经验储备，这通常也是面试官考察的重点，包括但不限于：
你遇到过的反爬虫的策略有哪些？ 你常用的反反爬虫的方案有哪些？
你用过多线程和异步吗？除此之外你还用过什么方法来提高爬虫效率？ 有没有做过增量式抓取？ 对Python爬虫框架是否有了解？
第四点：爬虫相关的项目经验
爬虫重在实践，除了理论知识之外，面试官也会十分注重爬虫相关的项目：
你做过哪些爬虫项目？如果有Github最好 你认为你做的最好的爬虫项目是哪个？其中解决了什么难题？有什么特别之处？
以上是我在面试过程中，会碰到的一些技术相关的问题的总结，当然面试中不光是技术这一点，但是对于做技术的，过了技术面基本上就是薪资问题了。
（六）推荐一些不错的Python博客
如果是Python基础的话，廖雪峰的博客教程会是一个不错的选择：
Python3教程 Python 2.7教程
当然很多刚接触Python的同学反应廖大大的教程中部分跳跃性太大，如果觉得跳跃性太大可以结合菜鸟教程一起看：
Python3 教程 | 菜鸟教程 Python 基础教程 | 菜鸟教程
如果你英文稍好的话推荐还是看官方文档：Python 3.6.0 documentation 如果不是为了学习Python基础的话，推荐几个其他的博客。
董老师的博客：小明明s à domicile 《Python-Web开发实战》的作者，知乎某位工程师的博客：分类《Python》，具体是哪位大神我不太清楚。依云大大的博客文章值得深读：依云's Blog
《从Python开始学编程》的作者博客：PythonVamei博客园
Python | the5fire的技术博客
（七）Python如何进阶
很多人在学习编程之初都会碰到这种问题：学会了基础的语法了，但是还是做不了项目，不知道如何下手。
当初，我学习C的时候是这样、Java的时候是这样、Python的时候也是这样，其实不管什么语言、什么知识都是这样：理论基础知识谢科的回答 如果你想学习编程，但是找不到学习路径和资源，欢迎关注专栏：学习编程
第一：Python爬虫学习系列教程 Python版本：2.7 整体目录：
一、爬虫入门 Python爬虫入门一之综述 Python爬虫入门二之爬虫基础了解 Python爬虫入门三之Urllib库的基本使用 Python爬虫入门四之Urllib库的高级用法 Python爬虫入门五之URLError异常处理 Python爬虫入门六之Cookie的使用 Python爬虫入门七之正则表达式
二、爬虫实战
Python爬虫实战一之爬取糗事百科段子 Python爬虫实战二之爬取百度贴吧帖子
Python爬虫实战三之实现山东大学无线网络掉线自动重连 Python爬虫实战四之抓取淘宝MM照片
Python爬虫实战五之模拟登录淘宝并获取所有订单 Python爬虫实战六之抓取爱问知识人问题并保存至数据库 Python爬虫实战七之计算大学本学期绩点
Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺
三、爬虫利器
Python爬虫利器一之Requests库的用法 Python爬虫利器二之Beautiful Soup的用法 Python爬虫利器三之Xpath语法与lxml库的用法 Python爬虫利器四之PhantomJS的用法 Python爬虫利器五之Selenium的用法 Python爬虫利器六之PyQuery的用法
四、爬虫进阶
Python爬虫进阶一之爬虫框架概述
Python爬虫进阶二之PySpider框架安装配置 Python爬虫进阶三之爬虫框架Scrapy安装配置 Python爬虫进阶四之PySpider的用法
第二（第一的姊妹篇）：Python爬虫入门教程 Python版本：2.7 教程目录：
[Python]网络爬虫
（一）：抓取网页的含义和URL基本构成 [Python]网络爬虫
（二）：利用urllib2通过指定的URL抓取网页内容 [Python]网络爬虫
（三）：异常的处理和HTTP状态码的分类 [Python]网络爬虫
（四）：Opener与Handler的介绍和实例应用 [Python]网络爬虫
（五）：urllib2的使用细节与抓站技巧 [Python]网络爬虫
（六）：一个简单的百度贴吧的小爬虫 [Python]网络爬虫
（七）：Python中的正则表达式教程
[Python]网络爬虫
（八）：糗事百科的网络爬虫（v0.3）源码及解析(简化更新)
[Python]网络爬虫
（九）：百度贴吧的网络爬虫（v0.4）源码及解析 [Python]网络爬虫
（十）：一个爬虫的诞生全过程（以山东大学绩点运算为例）
[Python]网络爬虫（11）：亮剑！爬虫框架小抓抓Scrapy闪亮登场！ [Python]网络爬虫（12）：爬虫框架Scrapy的第一个爬虫示例入门教程
第三：你已经看完上面（第一或者第二）的教程：再推荐知乎用户@陈唯源 的实战练习博客
Python爬虫学习记录（1）——Xiami全站播放数 Python爬虫学习记录（2）——LDA处理歌词 百度音乐带标签，作曲，演唱者，类别的歌词数据
Python爬虫学习记录（4）——传说中的足彩倍投法。好像也不是那么靠谱
2011~2013.5全球所有足球比赛比分数据以及足彩各公司盘口
Python爬虫学习记录（3）——用Python获取虾米加心歌曲，并获取MP3下载地址
Python爬虫学习记录（5）——python mongodb + 爬虫 + web.py 的acfun视频排行榜
Python爬虫学习记录（0）——Python 爬虫抓站 记录（虾米，百度，豆瓣，新浪微博）
第四：最后推荐知乎用户@gaga salamer 的实战练习博客
爬虫教程（1）基础入门 爬虫教程（2）性能进阶
知乎用户信息爬虫（规模化爬取） 用scrapy爬取豆瓣电影新片榜
用scrapy对豆瓣top250页面爬取（多页面爬取） 用scrapy自动爬取下载图片
用scrapy自动下载石原sama的豆瓣影人图集(727张图片，自动下载）
希望以上的教程可以帮助到大家。
（九）Python开发微信公众号
我的第一个Python项目就是做的微信公众号机器人，按照当时我的思路来讲讲如何学习使用Python来开发微信公众号：大家伙收藏顺手点个赞呗。微信公众号功能开发分为两大块：需要调用微信内部功能、不需要调用微信内部功能，重点在调用微信内部功能组建。
1、需要调用微信内部功能 需要调用微信内部功能组件的比如：公众号收发消息|图片、页面分享至朋友圈、用户授权提取用户基本信息、微信小店、微信公众号菜单等内部功能组件，这些功能组件在微信公众号开发者文档里面找到：微信公众平台开发者文档
对于这些功能组件，开发者文档都提供了详细的接口文档，告诉你如何调用，而你只需要用Python调用这些接口即可。比如一个很简单的消息发送的方法如下：
当然在这所有的调用之前，需要进行一些授权验证，同样开发者文档有一套完整的接入指南：接入指南廖雪峰的官方网站
（三）、简要描述Python的垃圾回收机制（garbage collection）Python中的垃圾回收是以引用计数为主，标记-清除和分代收集为辅。引用计数：Python在内存中存储每个对象的引用计数，如果计数变成0，该对象就会消失，分配给该对象的内存就会释放出来。标记-清除：一些容器对象，比如list、dict、tuple，instance等可能会出现引用循环，对于这些循环，垃圾回收器会定时回收这些循环（对象之间通过引用（指针）连在一起，构成一个有向图，对象构成这个有向图的节点，而引用关系构成这个有向图的边）。
分代收集：Python把内存根据对象存活时间划分为三代，对象创建之后，垃圾回收器会分配它们所属的代。每个对象都会被分配一个代，而被分配更年轻的代是被优先处理的，因此越晚创建的对象越容易被回收。
如果你想要深入了解Python的GC机制，点击这里：[转载]Python垃圾回收机制--完美讲解!
（四）、Python多线程（multi-threading）。这是个好主意吗？
Python并不支持真正意义上的多线程，Python提供了多线程包。Python中有一个叫Global Interpreter Lock（GIL）的东西，它能确保你的代码中永远只有一个线程在执行。经过GIL的处理，会增加执行的开销。这就意味着如果你先要提高代码执行效率，使用threading不是一个明智的选择，当然如果你的代码是IO密集型，多线程可以明显提高效率，相反如果你的代码是CPU密集型的这种情况下多线程大部分是鸡肋。
想要深入详细了解多线程，点击这里：详解Python中的多线程编程_python 想了解一下IO密集和CPU密集可以点击这里：CPU-bound(计算密集型)和I/O bound(I/O密集型)
（五）、说明os,sys模块不同，并列举常用的模块方法？ 官方文档：
os模板提供了一种方便的使用操作系统函数的方法
sys模板可供访问由解释器使用或维护的变量和与解释器交互的函数 另一种回答：
os模块负责程序与操作系统的交互，提供了访问操作系统底层的接口。sys模块负责程序与Python解释器的交互，提供了一系列的函数和变量用户操作Python运行时的环境。一些常用的方法：
一些常用的用法示例：
想要了解更详细的使用请访问：os和sys模块Python
（七）、Python中pa语句的作用是什么？
pa语句不会执行任何操作，一般作为占位符或者创建占位程序
（八）、Python是如何进行类型转换的？
Python提供了将变量或值从一种类型转换为另一种类型的内置方法。
（九）、Python里面如何拷贝一个对象？
Python中对象之间的赋值是按引用传递的，如果要拷贝对象需要使用标准模板中的copy copy.copy：浅拷贝，只拷贝父对象，不拷贝父对象的子对象。copy.deepcopｙ：深拷贝，拷贝父对象和子对象。
（十）、__new__和__init__的区别。
__init__为初始化方法，__new__方法是真正的构造函数。
__new__是实例创建之前被调用，它的任务是创建并返回该实例，是静态方法 __init__是实例创建之后被调用的，然后设置对象属性的一些初始值。总结：__new__方法在__init__方法之前被调用，并且__new__方法的返回值将传递给__init__方法作为第一个参数，最后__init__给这个实例设置一些参数。
想要更加详细的了解这两个方法，请点击：Python中的__new__及其用法
（十一）、Python中单下划线和双下划线分别是什么？
__name__：一种约定，Python内部的名字，用来与用户自定义的名字区分开，防止冲突
_name：一种约定，用来指定变量私有
__name：解释器用_claname__name来代替这个名字用以区别和其他类相同的命名
想要更加详细的了解这两者的区别，请点击：Python中的下划线（译文）
（十二）、说一说Python自省。
自省就是面向对象的语言所写的程序在运行时，所能知道对象的类型。简单一句话就是运行时能够获得对象的类型。比如：type()、dir()、getattr()、hasattr()、isinstance()
想要完整的理解Python自省，请点击：Python自省（反射）指南 有关于元类以及单例模式会在后面文章中做详细的解释说明。
本文参考文献资料：
七、PYTHON 一些基础面试题目总结 很全的 Python 面试题 Python自省（反射）指南
Python学习笔记
（十二）：lambda表达式与函数式编程 Python面试必须要看的15个问题
（十一）Python书籍 入门书籍
《Python学习手册》 《Head First Python》
《Learn Python The Hard Way》 《Python编程：入门到实践》 《笨办法学Python》 《简明Python教程》
进阶书籍
《Python Cookbook（第三版）》 《流畅的Python》 《Python源码剖析》 《Python进阶》
《Flask Web开发:基于Python的Web应用开发实战》
第7篇：Python主流框架有哪些？最流行的Python框架
www.xiexiebang.com
老男孩IT教育，只培养技术精英
2018年Python主流框架有哪些？最流行的Python框架
Python是一门优雅的编程语言，被广泛应用在Web开发、游戏开发、人工智能、云计算开发、大数据开发、数据分析、科学运算、爬虫、自动化运维、自动化测试等领域，Python在各领域的应用最方便的就是使用框架，可以让程序员以更少的代码实现自定义功能，还可以将更多的精力集中在业务逻辑上，更加的轻松便利！
2018年主流的Python框架有以下5种： 1.Django Django是一个开源的Web应用框架，由Python写成，支持许多数据库引擎，可以让Web开发变得迅速和可扩展，并会不断的版本更新以匹配Python最新版本，如果是新手程序员，可以从这个框架入手。
2.CherryPy CherryPy是一种用于Python的、简单而非常有用的Web框架，其主要作用是以尽可能少的操作将Web服务器与Python代码连接，其功能包括内置的分析功能、灵活的插件系统以及一次运行多个HTTP服务器的功能，可与运行在最新版本的Python、Jython、Android上。
3.Web2py web2py 是一个为Python语言提供的全功能Web应用框架，旨在敏捷快速的开发Web应用，具有快速、安全以及可移植的数据库驱动的应用，兼容 Google App Engine。
4.TurboGears
www.xiexiebang.com
老男孩IT教育，只培养技术精英
TurboGears可以快速实现Web应用程序开发，富含丰富的特殊性能，可以解决更多的框架领域问题，从简单到复杂的项目都可以开发，并具有实时的多数据库支持和灵活的ORM，简单的文档和最小的设置使它成为一个理想的使用框架。
5.Pylons Pylons是一个开源的Web应用框架，使用Python语言编写，它对WSGI标准进行了扩展应用，提升了重用性且将功能分割到独立的模块中，而且提供了在线调试器，易于错误跟踪！
以上是2018年主流Python框架，Web开发人员可能更感兴趣一些，可以了解学习一下！
