爬虫学习路线

释放双眼,带上耳机,听听看~!

学习Python爬虫的大致步骤如下:

  • 首先学会基本的Python语法知识
  • 学习Python爬虫常用到的几个重要内置库urllib, http等,用于下载网页
  • 学习正则表达式re、BeautifulSoup(bs4)、Xpath(lxml)等网页解析工具
  • 开始一些简单的网站爬取(博主从百度开始的,哈哈),了解爬取数据过程
  • 了解爬虫的一些反爬机制,header,robot,时间间隔,代理ip,隐含字段等
  • 学习一些特殊网站的爬取,解决登录、Cookie、动态网页等问题
  • 了解爬虫与数据库的结合,如何将爬取数据进行储存
  • 学习应用Python的多线程、多进程进行爬取,提高爬虫效率
  • 学习爬虫的框架,Scrapy、PySpider等
  • 学习分布式爬虫(数据量庞大的需求)

以上便是一个整体的学习概况,好多内容博主也需要继续学习

人已赞赏
技术Tech

GIT撤销修改 restore

2020-10-22 14:32:12

Python

Python爬虫整理

2018-9-11 14:20:12

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索