• 手机站
  • 收藏
聚培教育网合作机构 > 杭州博为峰教育
杭州博为峰教育
400-998-6158
杭州博为峰教育

用什么语言写爬虫

数据库学习网

更新时间:2023-01-10 浏览:89
核心提示:用什么语言写爬虫?C,C++。高效率,快速,适合通用搜索引擎做全网爬取。缺点,开发慢,写起来又臭又长,例如:天网搜索源代码。

用什么语言写爬虫?

C,C++。高效率,快速,适合通用搜索引擎做全网爬取。缺点,开发慢,写起来又臭又长,例如:天网搜索源代码。

脚本语言:Perl, Python, Java, Ruby。简单,易学,良好的文本处理能方便网页内容的细致提取,但效率往往不高,适合对少量网站的聚焦爬取


C#?(貌似信息管理的人比较喜欢的语言)

为什么终选择Python?

跨平台,对Linux和windows都有不错的支持。

科学计算,数值拟合:Numpy,Scipy

可视化:2d:Matplotlib(做图很漂亮), 3d: Mayavi2

复杂网络:Networkx

统计:与R语言接口:Rpy

交互式终端

网站的快速开发?

怎么学习爬虫呢?

学习爬虫永远绕不开HTTP协议。如果你仔细思考一下写的代码,你就会问一个问题,为啥要用Requests(Requests is the only Non-GMO HTTP library for Python, safe for human consumption.)。当你问这个问题的时候,请你去看一下百度词条上http。当你对http协议有一个大致的了解,那么你就能理解为啥会用到那些工具库了。

此外,基于需求和兴趣的学习是效率的方法,比如说做一个邮件推送功能,做一个图片自动下载器等。对于我而言,学习爬虫有以下几个要求:

能够爬取多个网页,并且不断优化数据提取方法

能够模拟登陆新浪微博、知乎、豆瓣、简书、微信等

能够爬取通过js生成的网页内容

使用ip pool和user agent pool防止被ban

学会分布式爬取

我使用python学习爬虫,因为我只学过一点的C(大学老师居然没教C核心的指针思想),不会java和C++,主要在Python实战:一周学会爬取网页学的还不错。

现在使用python的scrapy框架,因为我想通过读源代码进行深入学习。

更多>同类资讯
更多>相关课程
顶部