.NET, 学习, 程序开发

rust写个简单爬虫

[dependencies] scraper = "0.12.0" reqwest = { version = "0.11.10", features = ["blocking", "json"] } surf = "2.3.2" tokio = { version = "1.17.0", features = ["full"] } futures = "0.3.21"

自定义Rust安装路径

首先我们知道使用https://www.rust-lang.org/zh-CN/官方下载器下载安装的rust主要有两个文件夹,而且会默认生成到C盘下。但是,我们通过修改环境变量可以自定义安装路径。此教 ...

链接预加载

链接预加载是一种在浏览器中加载链接资源的技术。它可以在用户点击链接时,通过浏览器预先加载该链接指向的资源,从而让网页加载更快。 在 HTML 中使用链接预加载也非常简单,只需要在 a 标签中添加 rel 属性,并设置其值为 "prefetch" 即可。使用链接预加载可以提高用户体验,因为它可以让页面加载得更快。然而,需要注意,如果预加载的资源过多,可能会占用带宽,导致其他内容加载变慢。因此,在使用链接预加载时,需要谨慎选择要预加载的资源。

改造woocommerce reset api

这两天发现其中一个虫子在发送数据给woocommerce reset api的时候经常提示超时导致数据添加不上,开始看异常的时候还以为是我的服务器崩了,后来一想不可能啊,我的服务器可是16核60G内存的啊,怎么可能几个线程提交就崩了呢。遂检查各个函数的返回结果。发现是woocommerce reset api的响应太慢导致的结果,因为woocommerce reset api在获取分页数据的时候只允许最大获取100条记录,而我的站点有将近3000个产品术语记录,所以我在一个函数里进行了一个死循环发送来获取。正是这个函数发送的太频繁而且woocommerce提供的API包不够健壮导致出现了这一个关键性问题。即使我硬改了wordpress的核心文件依旧无法解决。那就只有自己动手写一个api了。

python3 requests绕过代理错误

不知道有多少朋友因为python3里requests的代理格式异常错误弄的不知所措的,这个问题也困扰了我好久,很多时候我都是换成别的库来解决问题,不是没有看过源代码想从源头解决问题,实在是看的烦。刚才无意中在自己以前CSDN的一篇文章评论中发现有网友给出了一个解决方法,遂一试,方法可行