我每天学编程1小时，年薪20万：如今吃什么苦，都别吃没钱的苦

"

守着一份死工资的你，还有什么出路？

你是否有这样的感觉：工作好几年，收入仿佛稳定上升；房价物价也在涨，生活的需求越来越高；收入的涨幅在对比之下，简直可以忽略不计……

在这个时代，学会一项新技能也是不错的选择，编程就是这里面的佼佼者，如今的互联网时代，编程不可或缺，每天学习一小时编程，坚持下去，你会发现不一样的自己，自己写程序，编游戏，接外快等等。。

Python是最近特别火的编程语言之一。

1. 什么是爬虫？

网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据， 比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。

2. Python爬虫有什么作用？

通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运营/销售的数据支撑，加快产品发展。

3. 业界的情况

目前互联网产品竞争激烈，业界大部分都会使用爬虫技术对竞品产品的数据进行挖掘、采集、大数据分析，这是必备手段，并且很多公司都设立了爬虫工程师的岗位。

4. Python爬虫合法性

爬虫是利用程序进行批量爬取网页上的公开信息，也就是前端显示的数据信息。因为信息是完全公开的，所以是合法的。其实就像浏览器一样，浏览器解析响应内容并渲染为页面，而爬虫解析响应内容采集想要的数据进行存储。

5. 反爬虫

爬虫很难完全的制止，道高一尺魔高一丈，这是一场没有硝烟的战争，码农VS码农。

反爬虫一些手段：

合法检测：请求校验(useragent，referer，接口加签名，等)

小黑屋：IP/用户限制请求频率，或者直接拦截

投毒：反爬虫高境界可以不用拦截，拦截是一时的，投毒返回虚假数据，可以误导竞品决策

... ...

6. 选择一门语言

爬虫可以用各种语言写, C++, Java都可以, 为什么要Python?

首先用C++搞网络开发的例子不多(可能是我见得太少) 然后由于Oracle收购了Sun, Java目前虽然在Android开发上很重要, 但是如果Google官司进展不顺利, 那么很有可能用Go语言替代掉Java来做Android开发. 在这计算机速度高速增长的年代里, 选语言都要看他爹的业绩, 真是稍不注意就落后于时代. 随着计算机速度的高速发展, 某种语言开发的软件运行的时间复杂度的常数系数已经不像以前那么重要, 我们可以越来越偏爱为程序员打造的而不是为计算机打造的语言. 比如Ruby这种传说中的纯种而又飘逸的的OOP语言, 或者Python这种稍严谨而流行库又非常多的语言, 都大大弱化了针对计算机运行速度而打造的特性, 强化了为程序员容易思考而打造的特性. 所以我选择Python

7. 选择Python版本

有2和3两个版本, 3比较新, 听说改动大. 根据我在知乎上搜集的观点来看, 我还是倾向于使用”在趋势中将会越来越火”的版本, 而非”目前已经很稳定而且很成熟”的版本. 这是个人喜好, 而且预测不一定准确. 但是如果Python3无法像Python2那么火, 那么整个Python语言就不可避免的随着时间的推移越来越落后, 因此我想其实选哪个的最坏风险都一样, 但是最好回报却是Python3的大. 其实两者区别也可以说大也可以说不大, 最终都不是什么大问题. 我选择的是Python 3

8. 爬虫基本套路

基本流程

目标数据

来源地址

结构分析

实现构思

操刀编码

基本手段

破解请求限制

请求头设置，如：useragant为有效客户端

控制请求频率(根据实际情景)

IP代理

签名/加密参数从html/cookie/js分析

破解登录授权

请求带上用户cookie信息

破解验证码

简单的验证码可以使用识图读验证码第三方库

解析数据

HTML Dom解析

正则匹配，通过的正则表达式来匹配想要爬取的数据，如：有些数据不是在html 标签里，而是在html的script 标签的js变量中

使用第三方库解析html dom，比较喜欢类jquery的库

数据字符串

正则匹配(根据情景使用)

转 JSON/XML 对象进行解析

9. python爬虫

python写爬虫的优势

python语法易学，容易上手

社区活跃，实现方案多可参考

各种功能包丰富

少量代码即可完成强大功能

涉及模块包

请求

urllib

requests

多线程

threading

正则

re

json解析

json

html dom解析

beautiful soup

lxml

xpath

操作浏览器

selenium

Java是持续火热很久的热门编程语言

Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程 。

Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点 。Java可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等 。

Java主修课程体系进阶

高级框架

• MyBatis
• >
• Spring
• >
• SpringMVC
• >
• Shiro
• >
• GIT

互联网分布式技术

• Linux
• >
• Maven
• >
• Redis
• >
• MongoDB
• >
• Zookeeper
• >
• Dubbo
• >
• Nginx
• >
• FastDFS
• >
• Solr
• >
• ActiveMQ
• >
• Apollo
• >
• Swagger2
• >
• MyCat
• >
• Elastic Search
• >
• Spring Boot
• >
• Thymeleaf
• >
• RabbitMQ
• >
• ELK 基础
• >
• Jmeter
• >
• LCN(分布式事务)
• >
• JWT
• >
• activiti
• >
• HttpClient

Spring超级全家桶

• Spring Security OAuth
• >
• Spring Security SAML
• >
• Spring Social
• >
• Spring AMQP
• >
• Spring Session MongoDB
• >
• Spring Web Service
• >
• Spring Batch
• >
• Spring HATEOAS
• >
• Spring REST Docs
• >
• Spring Web Flow
• >
• Spring for Apache Kafka
• >
• Spring Cloud Eureka 微服务
• >
• Spring Cloud Ribbon
• >
• Spring Cloud Feign
• >
• Spring Cloud Hystrix
• >
• Netflix Zuul
• >
• Spring Cloud Config
• >
• Spring Cloud Bus
• >
• Spring Cloud Stream
• >
• Spring Cloud Sleuth
• >
• Spring Cloud Security
• >
• Spring Cloud Consul
• >
• Spring Data JDBC
• >
• Spring Data JPA
• >
• Spring Data MongoDB
• >
• Spring Data Redis
• >
• Spring Data for Apache Solr
• >
• Spring Data Elasticsearch
• >
• Spring Data Neo4j
• >
• Spring Data for Apache Ge
• >
• Spring Data Couchbase
• >
• Spring Data REST
• >
• Spring Integration

大数据云技术

• LCN(分布式事务)
• >
• 华为云 Service Stage
• >
• 微博聚类案例
• >
• 贝叶斯分类算法
• >
• KNN算法原理
• >
• 实时在线推荐app
• >
• 机器学习中的归一化
• >
• 机器学习数学基础
• >
• Redis集群搭建
• >
• Storm电信项目
• >
• Spark集群搭建
• >
• Scala高阶函数
• >
• Hbase高可用
• >
• 天气案例开发
• >
• 缓存服务器
• >
• Linux命令行原理
• >
• HDFS权限
• >
• RDD容错原理
• >
• 二次排序
• >
• 手写wordcount程序
• >
• HDFS读文件流程
• >
• 分布式协调框架
• >
• HDFS读文件流程
• >
• Scala基本语法

架构

• Couchbase
• >
• Apache Geode
• >
• Neo4J
• >
• 阿里巴巴P3C规约
• >
• Netty
• >
• MemCached
• >
• Kafka
• >
• WebServices
• >
• JVM优化
• >
• MySQL优化
• >
• JS优化
• >
• Tomcat优化
• >
• FastDFS高可用集群
• >
• MySQL高可用集群(HaProxy+Keepalived+MyCat+MySQL)
• >
• 容灾备份解决方案
• >
• Echarts
• >
• GraphQL
• >
• Mock.JS
• >
• Apache AB
• >
• Jenkins
• >
• Canal
• >
• Grafana
• >
• Sharding-sphere
• >
• 支付接口
• >
• 多级数据缓存服务(Kafka + Ehcache + Redis)
• >
• ELK 高级
• >
• Docker&K8s&Rancher
• >
• 高并发限流

资料视频教程领取方式：

1、点赞+评论（勾选“同时转发”）

2、关注小编。并私信回复关键字【资料】（一定要私信哦~点击我的头像就能看到私信按钮了）

希望大家讲此文章进行分享，转载，让更多需要的朋友看到，这样不仅可以帮到自己，也可以帮到其他人，谢谢大家！

"