请教一个问题，怎么提高 python 爬虫的爬取效率

雅雯。 2024-05-11 14:32:09

最佳回答

代码使用了 coroutine ，但仍然是单线程在跑，没有利用到多核的优势，如果不考虑对方的反爬而只考虑效率的提高的话可以再加上多进程试试
写了个简单的协程爬虫爬取 b 站用户信息，代码如下：
import requestsimport reimport json
import datetimeimport asynciodef get_**(uid):
url_** = "htax/member/get**?mid=" #基本信息
uid = str(uid) return loop.run_in_executor(none, requests.get, url_**+uid)
async def user_**(num):
for uid in range(num, num+10):
** = await get_**(uid)
** = json.loads(**.text)["data"] try: # print(datetime.datetime.fromtimestamp(**['regtime']))
print("ok", uid)
print(**) except unicodeencodeerror as e:
print("unicodeencodeerror:", e) except typeerror:
print(**)

loop = asyncio.get_event_loop()try:
loop.run_until_complete(asyncio.wait([user_**(x) for x in range(1, 1000, 10)]))except exception as e:
print("error:", e)

爬取 1000 条需要 50 秒左右，而且带宽占用也只有 220kbps 左右的样子，有没有什么办法提高爬取的速度？ b 站用户有 3800 万左右。 20210311

汇率兑换计算器

兑换金额：

持有货币：

兑换货币：

兑换结果：

类似问答

养殖爬沙虫成本高吗
- 2024-05-11 15:24:21
- 提问者: 找靓机APP官方
我们这没人养，也没人知道用途。连我也不知道价值在哪？只是在河里小溪里，经常看到野生的，到了夏天，成虫满路灯下飞的到处都是
请问钢爬梯lx70x50ⅹ5代表什么
- 2024-05-11 07:46:55
- 提问者: 黃星瀚
钢爬梯中的lx70x50ⅹ5代表两边的角钢型号尺寸。
大数据爬虫技术有什么功能
- 2024-05-11 08:21:50
- 提问者: 麦地懒羊羊
1、爬虫技术概述网络爬虫（web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的url开始，获得初始网页上的url，在抓取网页的过程中，不断从当前页面上抽取新的u...
朋友圈里的低价机票都是爬虫爬取的吗?
- 2024-05-11 13:41:17
- 提问者: Abyss
近日，有自媒体曝出，“机票代理”行业很多小公司正在利用“爬虫”技术，抢占航企官网放出的低价票，利用航企允许的账期反复订票、退订，直至将票加价卖出，全程操作中“爬虫”可替代95%的人工操作量。据悉，有部分机票代理人会雇用专业技术人员，利用“爬虫”技术长期到各家航企抢舱位，他们最青睐的舱位包括特价舱位、寒暑假或者黄金周等特殊时段热门航路的舱位等，利用因时间推移造成的舱位价格变化获利。据不愿透露姓名的业...
请问京剧陈三两爬堂的唱词
- 2024-05-11 04:56:06
- 提问者: koala?
展开全部《陈三两爬堂》的唱词：家住山东在临清，李家大宅有门庭。父名久经曾中举，**生我姐弟二人，我名就叫淑萍女，兄弟小名桃哥儿，他大名叫，他叫李凤鸣。我的父曾经中皇榜，刘瑾贼贪贿赂转卖文凭，二爹娘双气死在报恩寺。无钱葬埋姐弟被困在北京，无奈何我头插草标把自身来卖，卖得二百两身价银，百两纹银葬父母，百两助弟读书文，劝兄弟发奋读书把功用，不要虚度好光阴，姐弟在北京苦离别。可叹我李淑萍，自卖自身更姓改名...
小孩用爬爬垫是怎么制作？多少钱一套
- 2024-05-11 06:42:26
- 提问者: 壮壮哥哥
就是一个花花绿绿的面料加一个防水层，这个品牌其实没有多少区别，只能爬几个月，出门又不可能随时背着走，如果家里比较干净，可以不用爬爬垫，就用一张席子或者毯子代替，不要怕娃娃脏，多接地气对娃娃好
噻唑膦对根结线虫高效，请问对地下害虫效果怎样
- 2024-05-11 15:36:45
- 提问者: 董新尧
杀虫剂和杀线虫剂，主要作用方式是抑制靶标害物的乙酰胆碱酯酶，影响第二幼虫期的生态。用于防治地面缨翅目、鳞翅目、鞘翅目、双翅目许多害虫，对地下根部害虫也十分有效；对许多螨类也有效，对各种线虫具良好杀灭活性，对常用杀虫剂产生抗生害虫（如蚜虫）有良好内吸杀灭活性。噻唑硫磷施用后以立即混于土中最为有效，可在作物种植前直接施于土表，也可在作物播种时使用。推荐用量1～4kg有效成分/hm2
聚信力是怎么爬取淘宝个人数据的
- 2024-05-11 14:17:08
- 提问者: 正能量的文文
脑残的人在上面登录就泄漏了信息
爬虫技术可以抓取到淘宝天猫京东订单页的数据吗
- 2024-05-11 08:37:07
- 提问者: 胖妹Fatgirl
订单页的数据从设计和安全性上讲,一般是不允许未登录状态访问的.而且登录状态的用户也访问不了他人的订单数据.而爬虫(搜索引擎)技术也应该是属于匿名访问,所以是抓取不到的数据的.
请问，国内比较知名的，比较有实力的高层建筑爬模及爬架厂家有哪些？
- 2024-05-11 12:32:39
- 提问者: DAGANG
生产爬架网片的厂家有一个河北的叫河北茂森爬架制品有限公司河北安平的老板好像姓赵

请教一个问题，怎么提高 python 爬虫的爬取效率

房贷计算器-九子财经 | 备案号： 桂ICP备19010581号-1 商务联系 企鹅：2790-680461

房贷计算器-九子财经 | 备案号：桂ICP备19010581号-1 商务联系企鹅：2790-680461