jsoup抓取dopostback的网页错误是不是body出什么问题

我不是孙悟空 2024-05-14 17:59:02

最佳回答

在j**a 程序在解析html 文档时，大家应该晓得htmlparser 这个开源项目，我也是使用过，不过这个程序到了2006年就没有更新了。由于我的基础较差，对于扩展自定义的标签还是不太懂，还是有超时问题困扰，去在约上找个专家咨询了下，使用起来还是很容易上手的。下面写些使用心得： jsoup ** a j**a library for wo**ng with real-world html. it provides a very convenient api for extracting and manipulating data, using the best of dom, css, and jquery-like methods. jsuop是一款j**a的html解析器，提供一套非常省力的api，通过dom模型css和类似于jquery的方式来获取和操作数据。功能：1.解析一个html文档，2.解析一个body片段j**a代码 string html = "<html><head><title>first parse</title></head>" + "<body><p>parsed html into a doc.</p></body></html>"; document doc = jsoup.parse(html);//分析文档，使用doc.tostring()可以转为文本 element body=doc.body();//获取body片段，使用body.tostring()可以转为文本获取方式：1.从本地文件加载 2.根据url地址获取j**a代码 /**使用静态 jsoup.parse(file in, string charsetname, string baseuri) 方法 *其中baseuri参数用于解决文件中urls是相对路径的问题。 *如果不需要可以传入一个空的字符串。 */ file input = new file("/tmp/input.html"); document doc = jsoup.parse(input, "utf-8", ""); j**a代码 /** *根据url直接获取内容，可以加入超时，get方法不行，就用post方法 *我在实际应用中，出现404,405,504等错误信息 *将get改为post就可以，或者反过来改 *如果等以后弄明白了，再来解释清楚 */ document doc1 = jsoup.connect("").get(); string title = doc1.title(); //获取网页的标题 string content=doc1.tostring();//将网页转为文本 document doc2 = jsoup.connect("") .data("query", "j**a")//请求参数 .useragent("mozilla")//设置urer-agent .cookie("auth", "token")//设置cookie .timeout(50000)//设置连接超时 .post();//或者改为get 经过我的测试使用，jsoup分析网页结构和内容的功能远远强大于htmlparser,无论是获取整个页面的文本，还是分析特定内容的网页结构，都是十分的方便。附上链接：jsoup官网：，中文jsoup：下面写些我的使用记录，希望大家如果能从我的方法中得到启发，鉴于本人从事开发工作不久，内容可能写的不是很好。 jsoup数据获取有两大方法：1.通过分析dom模型的网页标签和元素，2.select元素选择器，类似jquery方式（功能很强大，还支持正则表达式）。网页tag标签有body，div，table，tr，td，a，等等。元素的属性有，href，title，width，height，color等等，元素属性的值就是，例如：href=“”, 值就是。width=“98%” 值就是98% 下面就以分析首页的每日资讯为例，抓取每日资讯的标题和url地址，详细写出分析步骤： 1.用chrome浏览器的元素审查，分析页面的结构，得到每日资讯是div class=<main_left>层里面2.写程序分析，首先根据url获取div文本，再来根据文本对内容进行分析j**a代码 3. 根据整个每日资讯所在的div层，获取那段内容（精确获取）j**a代码 4.根据获取的目标层得到你所要的内容（title，url地址...等等）j**a代码 5.加入main方法里面执行测试j**a代码 6.附上结束语：jsoup功能很好很强大，附上的只是简单的使用方法，还有很多需要完善的内容，我其实使用也不到几天的时间。还有就是select功能还是很好用的，具体参考官方文档，写的非常的通俗易懂感兴趣的也可以试试htmlcleaner+xpath的组合/** * @method 测试获取内容程序 */ public static void main(string[] args) throws ioexception { /** * 执行分析程序 */ string url="/"; string htmlcontent=getcontentbyjsoup(url); string divcontent=getdivcontentbyjsoup(htmlcontent); getlink**yjsoup(divcontent); } /** * 使用jsoup分析divcontent * 1.获取链接 2.获取url地址（绝对路径） */ public static void getlink**yjsoup(string divcontent){ string abs="/"; document doc=jsoup.parse(divcontent,abs); elements linkstrs=doc.getelement**ytag("li"); system.out.println("链接==="+linkstrs.size()); for(element linkstr:linkstrs){ string url=linkstr.getelement**ytag("a").attr("abs:href"); string title=linkstr.getelement**ytag("a").text(); system.out.println("标题:"+title+" url:"+url); } } /** * 使用jsoup来对文档分析 * 获取目标内容所在的目标层 * 这个目标层可以是div，table，tr等等 */ public static string getdivcontentbyjsoup(string content){ string divcontent=""; document doc=jsoup.parse(content); elements divs=doc.getelement**yclass("main_left"); divcontent=divs.tostring(); //system.out.println("div==="+divcontent); return divcontent; } /** * 根据jsoup方法获取htmlcontent * 加入简单的时间记录 * @throws ioexception */ public static string getcontentbyjsoup(string url){ string content=""; try { system.out.println("time=====start"); date startdate=new date(); document doc=jsoup.connect(url) .data("jquery", "j**a") .useragent("mozilla") .cookie("auth", "token") .timeout(50000) .get(); date enddate=new date(); long time=enddate.gettime()-startdate.gettime(); system.out.println("使用jsoup耗时=="+time); system.out.println("time=====end"); content=doc.tostring();//获取iteye网站的源码html内容 system.out.println(doc.title());//获取iteye网站的标题 } catch (ioexception e) { e.printstacktrace(); } system.out.println(content); return content; } 20210311

汇率兑换计算器

兑换金额：

持有货币：

兑换货币：

兑换结果：

类似问答

为什么登录网上交通银行个人登录，总是网页错误？
- 2024-05-14 00:02:51
- 提问者: 未知
ie浏览器缓存出错首先关闭所有浏览器窗口，再右键点击桌面ie浏览器，选择属性，在常规页面里，点击删除文件这个按钮，选择全部删除，并且点击删除cookies按钮。不要安装ie7,ie8浏览器，如果安装了，尽快到控制面板，添加删除程序中，找到ie7或者ie8直接删除，重启后，就返回到ie6了，然后...
登录兴业银行网上银行网页就自动关闭。。。 ie是出什么问题了？
- 2024-05-14 17:34:12
- 提问者: 未知
造成ie和其它浏览器崩溃的原因是很多的，像ie组件被破坏，或者硬件设备不支持物理加速等，都可能造成浏览器的异常崩溃，这个必须要找到原因手动才容易修复，否则的话，手动修复是很麻烦的，建议你可以使用电脑管家电脑诊所提供的专业方案，一键就可以解决问题附：手动修复步骤（来源：腾讯...
通过支付宝的工商银行**支付时，连接不到工商银行，总是报：网页无法访问（错误代码：403）
- 2024-05-14 04:23:47
- 提问者: 未知
错误代码,是指人们在使用软、硬件、路由器的时候，这些软硬件不能正常操作的一种现象~~如果是某几个网页打不开，而出现错误代码，那么这是属于服务器的事，我们是无法左右它的！比较常见的一些代码如下：错误678/651/815，碰到这样的代码，你先偿试重起电脑或路由器，以排除它们的偶然故障引起。查看modem的亮灯情况：第一步：查看power灯是否正常，稳定亮转至第二步，不亮则可能是忘记打开modem电源...
为什么工行网上银行总是登不上，错误代码是7956
- 2024-05-14 12:25:21
- 提问者: 未知
可能是网银的秘密跟卡的密码不一样，去工商银行问问网银密码吧
平安银行95511是不是有问题，输入**一直说错误？
- 2024-05-14 00:58:32
- 提问者: 未知
1.非预留号码致电**服务电话95511-2后，根据语音提示按“2#-#”直接转人工；2.如还未申领**或遗忘密码需转接人工服务，请拨通服务热线95511按2号键进入**服务，后按“2#”选择“卡片申请与进度查询”，再按“2”选择“申请进度查询”，在系统提示输入**号码时直接输入“#”，即可直接转至客服专员。
中信银行的网页为什么总是安全证书错误？？
- 2024-05-14 14:26:58
- 提问者: 未知
ie internet 选项里有个安全站点，你把中信网站网址加到里面试试看~~不行你再给我留言~
兴业银行支付页面错误？
- 2024-05-14 04:18:32
- 提问者: 未知
1、以管理员身份运行ie，internet选项，高级，关闭“启用内存保护帮助减少联机攻击” 2、ie选项，安全，可信站点添加“https://*.cib.com.cn”至可信站点；点击自定义级别，“对未标记为可安全执行的activex控件进行初始化和脚本运行”选择启用 3、检查更新windows更新补丁，卸载kb977377 看不懂的打...
微活动出问题了么？进不去啊？一直提示错误？ @
- 2024-05-14 19:07:41
- 提问者: 未知
您所在的帐号、ip或应用由于违反了网络使用安全的检测规则，暂时无法对微博进行操作，想要取消限制，可以绑定手机。已绑定手机用户出现此情况，可能与您的网络环境有一定...
银豆网是不是出问题了
- 2024-05-14 11:59:10
- 提问者: 未知
对于大家关心的银豆网是不是出问题了，在整改以后，银豆网停止了大额标的发放，按照监管的要求合规发放小额项目。因此，银豆网目前并没有出问题，仍然在稳健运营。
打不开网页，很诡异的问题
- 2024-05-14 10:40:14
- 提问者: 未知
这说明你的网络连接是正常的，如果只是网页打不开，我怀疑你可能中了某些病毒，这个就要更具体的症状了，希望能偶更详细的提供一些资料。当然，首先你应该看看你是否装了防火墙之类的软件，拿金山网镖举例来说，如果你的金山网镖是开启状态下，你应该进入网镖，看看网络应用规则里面的ie（或者你正在...

jsoup抓取dopostback的网页错误 是不是body出什么问题

房贷计算器-九子财经 | 备案号： 桂ICP备19010581号-1 商务联系 企鹅：2790-680461

jsoup抓取dopostback的网页错误是不是body出什么问题

房贷计算器-九子财经 | 备案号：桂ICP备19010581号-1 商务联系企鹅：2790-680461