制作教程 陶泥制作教程
gaoyangw 2024-11-04 12:59 38 浏览 0 评论
前言：最近想学习node.js,突然在网上看到基于node的爬虫制作教程，所以简单学习了一下，把这篇文章分享给同样初学node.js的朋友。
思路：访问上述网站，通过chrome浏览器的network对网页内容分析，找到获取各个门店发型师的接口，对参数及返回数据进行分析，遍历所有门店的所有发型师，直到遍历完毕，同事将信息存储到本地。
步骤一：安装node.js
下载并安装node，此步骤比较简单就不详细解释了，有问题的可以直接问一下度娘。
步骤二：建立工程
1）打开dos命令条，cd进入想要创建项目的路径（我将此项目直接放在了E盘，以下皆以此路径为例）；
2）mkdir node （创建一个文件夹用来存放项目，我这里取名为node）；
3）cd 进入名为node的文件夹，并执行npm init初始化工程（期间会让填写一些信息，我是直接回车的）；
步骤三：创建爬取到的数据存放的文件夹
1）创建data文件夹用来存放发型师基本信息；
2）创建image文件夹用来存储发型师头像图片；
此时工程下文件如下：
步骤四：安装第三方依赖包（fs是内置模块，不需要单独安装）
1）npm install cheerio –save
2）npm install superagent –save
3）npm install async –save
4）npm install request –save
分别简单解释一下上面安装的依赖包：
cheerio：是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jQuery核心实现，则能够对请求结果进行解析，解析方式和jQuery的解析方式几乎完全相同；
superagent：能够实现主动发起get/post/delete等请求；
async：async模块是为了解决嵌套金字塔,和异步流程控制而生，由于nodejs是异步编程模型，有一些在同步编程中很容易做到的事情，现在却变得很麻烦。Async的流程控制就是为了简化这些操作；
request：有了这个模块，http请求变的超简单，Request使用简单，同时支持https和重定向；
步骤五：编写爬虫程序代码
打开hz.js，编写代码：
var superagent = require('superagent');步骤六：运行爬虫程序
输入node hz.js命令运行爬虫程序，效果图如下：
运行成功后，发型师基本信息以html文件的形式存储在data文件夹中，发型师头像图片存储在image文件夹下：
后记：到此一款基于node.js制作的简单爬虫就大功告成了，由于我也是初学者，好多地方也不是很理解，但好在是自己完成了，不足之处敬请谅解。
相关推荐
- Chrome43正式版发布 新增海量应用扩展
-
2015-07-0809:26:10作者：刘菲菲谷歌Chrome浏览器一向被大家称为“版本帝”，原因就是更新频率相当高。最近，Chrome又发布了新版，版本号为v43.0.2357.132。本次更...
- 软网推荐:快速下载需要的谷歌浏览器扩展
-
谷歌浏览器现在已经不是一个单纯的网页浏览器，而更加像是一个管理操作平台，因为它的很多功能都是通过功能扩展来实现的。但是通常我们要想访问谷歌的扩展商店非常的麻烦，所以就需要寻求其他的解决方法。第三方扩展...
- 谷歌预告3项Chrome浏览器改进，提高管理标签页效率
-
IT之家9月11日消息，谷歌公司昨日（9月10日）发布新闻稿，宣布为iOS和安卓版Chrome浏览器引入3项改进，从而帮助用户提高管理标签页效率。1.在iOS上体验标签页...
- 谷歌发布Chrome浏览器更新，修复密码消失问题:持续18个小时
-
IT之家7月27日消息，谷歌发布Chrome浏览器更新，修复了存在于密码管理器中的错误，该错误导致Chrome用户密码消失18个小时。Chrome用户反馈更新到版本127.0....
- 谷歌浏览器Chrome 38.0.2125.101稳定版下载
-
IT之家（www.ithome.com）：谷歌浏览器Chrome38.0.2125.101稳定版下载今天，谷歌浏览器团队带来最新版Chrome稳定版更新。具体版本号为38.0.2125.101，该版...
- 谷歌浏览器8年后首换新LOGO，变了又好像没变
-
近日，ChromeCanary版浏览器（开发者专用的每日构建版）在新版中首次更新了浏览器图标，意味着这个新的图标很快将开始出现在各位用户的设备上了。...
- 谷歌浏览器，居然被山寨了（谷歌浏览器可靠吗）
-
大家看看下面两张Logo，光看图标你能分辨出来哪个是假的Chrome，哪个是真的吗？...
- 谷歌浏览器Chrome 45.0.2454.93稳定版下载
-
IT之家讯谷歌Chrome浏览器更新至45.0.2454.93稳定版。谷歌官方并没有给出更新日志，因此本次更新重点在于小范围问题修复。Chrome浏览器用户可下载并且更新至该版本。Chrome45...
- 微软推出的新版Edge浏览器，让我抛弃用了5年的谷歌
-
随着新版Edge浏览器的发布，这个微软的亲儿子以崭新的面貌和大家见面啦。这次更新可谓是好评如潮，相比浏览器届的老大哥——谷歌浏览器，它少了些臃肿，但又多了一些独特的功能。今天，我就为大家介绍8...
- 谷歌Chrome浏览器安卓版将支持Material You设计版地址栏
-
IT之家1月26日消息，Google的MaterialYou主题在Android上提供了一致的配色方案。谷歌现在正在为Android上的谷歌Chrome浏览器的地址栏提供...
- 你想要的功能，Edge浏览器都有（你想要的功能,edge浏览器都有哪些）
-
2020年之前，如果有求推荐一款好用的浏览器，那谷歌Chrome浏览器一定是最好的选择，现在却不一定了。今年一月份，微软正式推出了基于谷歌Chromium内核的MicrosoftEdge浏览器，它继...
- 谷歌浏览器Chrome更新:图标再变动，版号来到100
-
经过十多年的更新，谷歌浏览器GoogleChrome终于迎来了“100”的版本号，并在近日于Windows、Mac、iOS和安卓等多个平台正式上线。尽管是很有象征性意义的版本号更新，但它这一...
- 不再桌面端独占，谷歌Chrome浏览器安卓版将迎来任务管理器
-
IT之家10月4日消息，谷歌Chrome浏览器即将为Android用户带来一项备受期待的功能——任务管理器。虽然Chrome浏览器在桌面端已经具备了任务管理器的功能，但移动端一...
- 安卓版谷歌Chrome浏览器测试新面板，方便用户管理跨设备标签页
-
IT之家8月30日消息，科技媒体mspoweruser昨日（8月29日）发布博文，报道称Canary频道最新安卓版谷歌Chrome浏览器正测试新特性，为跨设备标签页添加了一个...
- 谷歌浏览器，网站页面禁用右键功能，如何解决?
-
进入浏览器开发者工具点击谷歌浏览器右上角三个点，选择【更多工具】——【开发者工具】找到“代码段”【源代码/来源】——【>>】——【代码段】...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- 网站建设 (107)
- 百度收录 (50)
- 搜索引擎排名优化 (49)
- 关键词优化工具 (51)
- 外贸网站建设 (56)
- seo整站优化吧 (50)
- 苏州网站建设 (59)
- 百度搜索推广 (61)
- 关键词优化公司 (51)
- 广州网站建设 (48)
- 电商网站建设 (49)
- 百度站长平台 (48)
- 网站模板 (51)
- 厦门网站建设 (52)
- 百度快照推广 (51)
- 免费网页在线客服系统 (53)
- 雷神代刷网站推广 (53)
- 手机网站建设 (53)
- 网站维护 (53)
- 网页制作教程 (66)
- 百度收录批量查询工具 (48)
- 网站服务器 (53)
- 学生个人网页制作html (56)
- 一键优化 (67)
- 网页制作软件 (49)