邢雅晨【爬虫实战】Python爬虫实战四之抓取某宝照片信息-规划数据分析助手

邢雅晨点击上方蓝字
关注我们
规划数据分析助手！
专注规划数据分析与可视化方法
Python爬虫实战四之抓取某宝照片信息
本期为大家带来某宝的照片信息，包括模特、宝贝等等。
本篇就只提供学习思路，代码不能直接使用，原因是淘宝索引页的MM链接改了。网站改版了，URL的索引已经和之前的不一样了，现在中间加了一个跳转页，本以为可以通过这个页面然后跳转到原来的个性域名，而经过一番折腾发现，这个跳转页中的内容是JS动态生成的，所以不能用Urllib库来直接抓取了
本篇目标---------------------------------------------------------------------------------------------------------
1.抓取淘宝MM的姓名，头像，年龄
2.抓取每一个MM的资料简介以及写真图片
3.把每一个MM的写真图片按照文件夹保存到本地
4.熟悉文件保存的过程
1.URL的格式----------------------------------------------------------------------------------------------------
在这里我们用到的URL是 问号前面是基地址，后面的参数page是代表第几页，可以随意更换地址。点击开之后，会发现有一些淘宝MM的简介，并附有超链接链接到个人详情页面。
我们需要抓取本页面的头像地址，MM姓名，MM年龄，MM居住地，以及MM的个人详情页面地址。
2.抓取简要信息
相信大家经过上几次的实战，对抓取和提取页面的地址已经非常熟悉了，这里没有什么难度了，我们首先抓取本页面的MM详情页面地址，姓名，年龄等等的信息打印出来，直接贴代码如下
2.文件写入简介
在这里，我们有写入图片和写入文本两种方式
3.代码完善
主要的知识点已经在前面都涉及到了，如果大家前面的章节都已经看了，完成这个爬虫不在话下，具体的详情在此不再赘述，直接帖代码啦。
Test22.py
Test23.py
以上两个文件就是所有的代码内容，运行一下试试看，那叫一个酸爽啊
看看文件夹里面有什么变化
不知不觉，海量的MM图片已经进入了你的电脑，还不快快去试试看！！
规划数据分析助手
微信公众号
DSJGHZNT
专注规划数据分析与可视化方法
方法｜案例｜交流 记得扫描上方二维码关注我们哟！
点击
阅读原文
了解更多详情