今日看点

Java爬虫(三)后台发请求获取页面解析数据

发表于话题:六十四卦详解通俗易懂
发布时间:2021-05-11

一 、发请求获取网页内容

1.我们将请求ascii表网址,处理数据获取表格中的具体内容 import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; import java.io.*; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; @RestController public class SendRequest { @GetMapping("/todo") public String getsource() { try { //建立连接如ascii表网址 我们获取ascii内容并解析 URL url = new URL("http://ascii.911cha.com/"); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setDoInput(true); connection.setRe("GET"); // connection.setRe("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)"); InputStreamReader read = new InputStreamReader(connection.getInputStream(), "utf-8"); //为字符输入流添加缓冲 BufferedReader br = new BufferedReader(read); //读取返回结果 String data=br.readLine(); while (br.readLine() != null) { data =data+br.readLine(); } System.out.println(data); // 释放资源 br.close(); read.close(); connection.disconnect(); return data; } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } return null; } }

得到数据如下

周公解梦老黄历天气预报邮编列车时刻表放假安排911查询 回首页 保存到桌面 输入待查字符   ASCII第一次以规范标准的型态发表是在1967年,最后一次更新则是在1986年,至今为止共定义了128个字符,其中33个字符无法显示(这是以现今操作系统为依归,但在DOS模式下可显示出一些诸如笑脸、扑克牌花式等8-bit符号),且这33个字符多数都已是陈废的控制字符,控制字符的用途主要是用来操控已经处理过的文字,在33个字符之外的是95个可显示的字符,包含用键盘敲下空白键所产生的空白字符也算1个可显示字符(显示为空白)。ASCII控制字符二进制十六进制可以显示的表示法0000 0000000000 0001010000 0010020000 0011030000 0100040000 0101050000 0110060000 0111070000 1000080000 1001090000 10100A0000 10110B0000 11000C0000 11010D0000 11100E0000 11110F0001 0000100001 0001110001 0010120001 0011130001 0100140001 0101150001 0110160001 0111170001 1000180001 1001190001 10101A0001 10111B0001 11001C0001 11011D0001 11101E0001 11111F0111 11117F二进制十六进制0010 0000200010 0001210010 0010220010 0011230010 0100240010 0101250010 0110260010 0111270010 1000280010 1001290010 10102A0010 10112B0010 11002C0010 11012D0010 11102E0010 11112F0011 0000300011 0001310011 0010320011 0011330011 0100340011 0101350011 0110360011 0111370011 1000380011 1001390011 10103A0011 10113B0011 11003C0011 11013D0011 11103E0011 11113F二进制十六进制0100 0000400100 0001410100 0010420100 0011430100 0100440100 0101450100 0110460100 0111470100 1000480100 1001490100 10104A0100 10114B0100 11004C0100 11014D0100 11104E0100 11114F0101 0000500101 0001510101 0010520101 0011530101 0100540101 0101550101 0110560101 0111570101 1000580101 1001590101 10105A0101 10115B0101 11005C0101 11015D0101 11105E0101 11115F 十进制图形96`97a98b99c100d101e102f103g104h105i106j107k108l109m110n111o112p113q114r115s116t117u118v119w120x121y122z123{124|125}126~ 相关链接 常备实用查询gogid="5394567419";gogw="250";gogh="250";gogid="5394567419";gogw="250";gogh="250";for(i=0;i 热门查询: 老黄历 周公解梦 周公解梦大全查询 2019放假安排 手机号码测吉凶 百家姓 | 黄道吉日 2019年5月27日黄历 2019年5月28日黄历 2019年5月29日黄历 2019年5月30日黄历 2019年6月黄道吉日 | 家常菜 鲁菜 川菜 苏菜 粤菜 闽菜 浙菜 湘菜 徽菜 沪菜 京菜 渝菜 | 天气预报 北京天气 上海天气 香港天气 广州天气 深圳天气 台北天气 澳门天气 天津天气 沈阳天气 大连天气 南京天气 苏州天气 杭州天气 武汉天气 重庆天气 成都天气 无锡天气 宁波天气 合肥天气 厦门天气 | 周公解梦大全 老黄历 天气预报查询 火车时刻表 手机号码归属地 家常菜谱大全 货币汇率查询 邮政编码查询 万年历 2019年放假安排 生男生女预测表 QQ号码吉凶 安全期计算器 观音灵签 日常生活: 手机号码归属地 邮政编码查询 机构邮政编码查询 货币汇率查询 天气预报查询 家常菜谱大全 PM2.5查询 常用电话号码 快递查询 区号查询 数字大写转换 2019年放假安排 台湾邮编查询 汽车车标大全 大学查询 人民币存款利率表 升降旗时间 国家地区查询 全国社会性组织 (共19个) 站长工具: IP地址查询 下载地址加解密工具 二维码生成器 进程查询 密码强度检测 ASCII码对照表 UNIX时间戳 (共7个) 交通出行: 火车时刻表 北京车牌尾号限行查询 实时路况查询 地铁线路图 机场三字码查询 交通违章查询 车牌号查询 中国电子地图 世界时差查询 (共9个) 休闲娱乐: 疯狂猜图答案 中华谜语大全 脑筋急转弯 绕口令大全 QQ号码吉凶 外星年龄 外星体重 竖排古文 (共8个) 民俗文化: 周公解梦大全 老黄历 百家姓大全 历史上的今天 歇后语大全 十二生肖 万年历 二十四节气表 地母经 名人名言名句大全 民间谚语 解密生日 佛学大辞典 (共13个) 学习应用: 新华字典 汉语词典 成语大全 诗词大全 在线翻译 英语单词大全 英文名 专业英汉汉英词典 百科全书 英文缩写大全 五笔字根表 笔画数查询 汉字部首查询 汉字拼音查询 区位码查询 汉字简体繁体转换 郑码编码查询 仓颉编码查询 四角号码在线查询 中文电码查询 在线编码解码 百万圆周率 摩尔斯电码 科学计算器 在线输入法 (共25个) 身体健康: 安全期计算器 药品查询 绿色食品 民间偏方大全 中草药名方大全 中草药民间验方 酒方大全 食物营养成分查询 中草药大全 中华本草 中医名词辞典 粥谱大全 (共12个) 占卜求签: 二十八星宿算命 六十四卦金钱课 观音灵签 黄大仙灵签 诸葛神算 妈祖天后灵签 关帝灵签 吕祖灵签 车公灵签 王公祖仔灵签 文王神卦 灵棋经 称骨算命 预测吉凶 指纹运势查询 生男生女预测表 姓名缘分测试 (共17个)var _hmt = _hmt || []; var hm = document.createElement("script"); var s = document.getElementsByTagName("script")[0]; })();911查询官方微信关注 ww911cha

网页内容

二 、数据解析

我们通过鼠标点击f12开发者模式左上角大概确定了元素的位置,如,那么我们就可以通过正则表达式解析这张表的内容了。

具体操作如下:

1.截取出这部分代码 Pattern pattern = Pattern.compile("(.*?)(?.*?)"); Matcher matcher = pattern.matcher(date); while (matcher.find()){ String dates = matcher.group("dates"); System.out.println(dates); }

通过这段代码解析后我们得到如下核心数据

0000 0000000000 0001010000 0010020000 0011030000 0100040000 0101050000 0110060000 0111070000 1000080000 1001090000 10100A0000 10110B0000 11000C0000 11010D0000 11100E0000 11110F0001 0000100001 0001110001 0010120001 0011130001 0100140001 0101150001 0110160001 0111170001 1000180001 1001190001 10101A0001 10111B0001 11001C0001 11011D0001 11101E0001 11111F0111 11117F二进制十六进制0010 0000200010 0001210010 0010220010 0011230010 0100240010 0101250010 0110260010 0111270010 1000280010 1001290010 10102A0010 10112B0010 11002C0010 11012D0010 11102E0010 11112F

标签组:[大数据] [url

本文来源:https://www.kandian5.com/articles/11760.html

相关阅读

唐代李端《听筝》诗歌赏析

听筝/鸣筝唐代:李端鸣筝金粟柱,素手玉房前。欲得周郎顾,时时误拂弦。译文金粟轴的古筝发出优美的声音,那素手拨筝的美人坐在玉房前。想尽了办法为博取周郎的青睐,你看她故意地时时拨错了琴弦。赏析这首小诗轻捷...

2025-04-25

唐代白居易《问刘十九》诗歌赏析

问刘十九唐代:白居易绿蚁新醅酒,红泥小火炉。晚来天欲雪,能饮一杯无?韵译新酿的米酒,色绿香浓;小小红泥炉,烧得殷红。天快黑了大雪将至,能否一顾寒舍共饮一杯暖酒?意译我家新酿的米酒还未过滤,酒面上泛起一...

2025-04-25

唐代宋之问《渡汉江》诗歌赏析

渡汉江唐代:宋之问岭外音书断,经冬复历春。近乡情更怯,不敢问来人。译文客居岭外与家里音信断绝,经过了冬天又到了春天。离故乡越近心中越胆怯,不敢询问从家那边过来的人。赏析《渡汉江》诗意在写思乡情切,真实...

2025-04-25

唐代王维《鹿柴》诗歌赏析

鹿柴唐代:王维空山不见人,但闻人语响。返景入深林,复照青苔上。译文幽静的山谷里看不见人,只能听到那说话的声音。落日的影晕映入了深林,又照在青苔上景色宜人。赏析第一句“空山不见人”,先正面描写空山的杳无...

2025-04-25

《吕氏春秋·不苟论》不苟赏析

【原文】贤者之事也①,虽贵不苟为,虽听不自阿,必中②理然后动,必当义然后举。此忠臣之行也,贤主之所说,而不肖主之所不说。非恶其声也。人主虽不肖,其说忠臣之声与贤主同,行其实则与贤主有异。异,故其功名祸...

2025-04-25

《吕氏春秋·不苟论》赞能赏析

【原文】贤者善人以人①,中人以事,不肖者以财。得十良马,不若得一伯乐;得十良剑,不若得一欧冶②;得地千里,不若得一圣人。舜得皋陶而舜授之,汤得伊尹而有夏民,文王得吕望而服殷商。夫得圣人,岂有里数哉③?...

2025-04-25

唐代王建《新嫁娘词》古诗赏析

新嫁娘词唐代:王建三日入厨下,洗手作羹汤。未谙姑食性,先遣小姑尝。译文新婚三天来到厨房,洗手亲自作羹汤。还不熟悉婆婆的口味,做好先让小姑品尝。赏析“新媳妇难当”——在旧社会人们普遍有这种看法。但也有些...

2025-04-25

唐代王维《相思》诗歌赏析

相思唐代:王维红豆生南国,春来发几枝。愿君多采撷,此物最相思。译文红豆生长在阳光明媚的南方,每逢春天不知长多少新枝。希望思念的人儿多多采摘,因为它最能寄托相思之情。赏析这是借咏物而寄相思的诗,是眷怀友...

2025-04-25

唐代王之涣《登鹳雀楼》古诗赏析

登鹳雀楼唐代:王之涣白日依山尽,黄河入海流。欲穷千里目,更上一层楼。译文夕阳依傍着山峦慢慢沉落,滔滔黄河朝着大海汹涌奔流。想要看到千里之外的风光,那就要再登上更高的一层城楼。赏析这首诗写诗人在登高望远...

2025-04-25

王维《杂诗三首·其二》赏析

杂诗三首·其二唐代:王维君自故乡来,应知故乡事。来日绮窗前,寒梅著花未?译文您是刚从我们家乡来的,一定了解家乡的人情世态。请问您来的时候我家雕画花纹的窗户前,那一株腊梅花开了没有?赏析诗中的抒情主人公...

2025-04-25