登录社区云,与社区用户共同成长
邀请您加入社区
按照常规做法,获得源网页后无论用selector还是Xpath,均无返回值问题爬取NCBI网站的数据,审查元素与获得的网页源代码不一样,爬取的东西在源码中没有,审查元素中存在。经过查找,发现NCBI该部分为异步传输,所需信息在Network下XHR的第九个文件中,且网址与爬取的网址不一致,需要POST获取网页。...
爬取NCBI网站的数据,审查元素与获得的网页源代码不一样,爬取的东西在源码中没有,审查元素中存在。经过查找,发现NCBI该部分为异步传输,所需信息在Network下XHR的第九个文件中,且网址与爬取的网址不一致,需要POST获取网页。
有“AI”的1024 = 2048,欢迎大家加入2048 AI社区
更多推荐
C++大模型SDK开发实录(三):流式交互协议SSE解析与httplib实现原理
人群仿真软件:Pathfinder_(5).人群行为设置
Flutter for HarmonyOS 开发指南(二):Hello World
扫一扫分享内容
所有评论(0)