crawl

ubuntu服务器python selenium webdriver phantomjs 截屏埋坑记

November 14, 2017 IT, Python, Science No comments

因项目要实现小程序分享图片截屏转发的功能,写了一个后台接口,踩了不少坑,趁着还没忘记下来。

《selenium webdriver学习(二十二)------------XVFB实现selenium在linux上》

坑1:缺失字体导致样式失败

  • ubuntu服务器上没有界面,要用Firef[......]

Read more

爬取casmart网站供应链页面

November 3, 2017 IT, Python No comments ,

http://www.casmart.com.cn/product/supplierlist.aspx

图就懒得放了,有个人问我如何获取这个网址里的供应商列表,浏览器分析找不到ajax请求数据的接口。总之,直接登进这个网址,是看不到供应商的,刷新一遍就有了。

初步认为是后台搜索慢引起的,因为在手[......]

Read more