今日看点

Java爬虫(三)后台发请求获取页面解析数据

发表于话题:六十四卦详解通俗易懂
发布时间:2021-05-11

一 、发请求获取网页内容

1.我们将请求ascii表网址,处理数据获取表格中的具体内容 import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; import java.io.*; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; @RestController public class SendRequest { @GetMapping("/todo") public String getsource() { try { //建立连接如ascii表网址 我们获取ascii内容并解析 URL url = new URL("http://ascii.911cha.com/"); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setDoInput(true); connection.setRe("GET"); // connection.setRe("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)"); InputStreamReader read = new InputStreamReader(connection.getInputStream(), "utf-8"); //为字符输入流添加缓冲 BufferedReader br = new BufferedReader(read); //读取返回结果 String data=br.readLine(); while (br.readLine() != null) { data =data+br.readLine(); } System.out.println(data); // 释放资源 br.close(); read.close(); connection.disconnect(); return data; } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } return null; } }

得到数据如下

周公解梦老黄历天气预报邮编列车时刻表放假安排911查询 回首页 保存到桌面 输入待查字符   ASCII第一次以规范标准的型态发表是在1967年,最后一次更新则是在1986年,至今为止共定义了128个字符,其中33个字符无法显示(这是以现今操作系统为依归,但在DOS模式下可显示出一些诸如笑脸、扑克牌花式等8-bit符号),且这33个字符多数都已是陈废的控制字符,控制字符的用途主要是用来操控已经处理过的文字,在33个字符之外的是95个可显示的字符,包含用键盘敲下空白键所产生的空白字符也算1个可显示字符(显示为空白)。ASCII控制字符二进制十六进制可以显示的表示法0000 0000000000 0001010000 0010020000 0011030000 0100040000 0101050000 0110060000 0111070000 1000080000 1001090000 10100A0000 10110B0000 11000C0000 11010D0000 11100E0000 11110F0001 0000100001 0001110001 0010120001 0011130001 0100140001 0101150001 0110160001 0111170001 1000180001 1001190001 10101A0001 10111B0001 11001C0001 11011D0001 11101E0001 11111F0111 11117F二进制十六进制0010 0000200010 0001210010 0010220010 0011230010 0100240010 0101250010 0110260010 0111270010 1000280010 1001290010 10102A0010 10112B0010 11002C0010 11012D0010 11102E0010 11112F0011 0000300011 0001310011 0010320011 0011330011 0100340011 0101350011 0110360011 0111370011 1000380011 1001390011 10103A0011 10113B0011 11003C0011 11013D0011 11103E0011 11113F二进制十六进制0100 0000400100 0001410100 0010420100 0011430100 0100440100 0101450100 0110460100 0111470100 1000480100 1001490100 10104A0100 10114B0100 11004C0100 11014D0100 11104E0100 11114F0101 0000500101 0001510101 0010520101 0011530101 0100540101 0101550101 0110560101 0111570101 1000580101 1001590101 10105A0101 10115B0101 11005C0101 11015D0101 11105E0101 11115F 十进制图形96`97a98b99c100d101e102f103g104h105i106j107k108l109m110n111o112p113q114r115s116t117u118v119w120x121y122z123{124|125}126~ 相关链接 常备实用查询gogid="5394567419";gogw="250";gogh="250";gogid="5394567419";gogw="250";gogh="250";for(i=0;i 热门查询: 老黄历 周公解梦 周公解梦大全查询 2019放假安排 手机号码测吉凶 百家姓 | 黄道吉日 2019年5月27日黄历 2019年5月28日黄历 2019年5月29日黄历 2019年5月30日黄历 2019年6月黄道吉日 | 家常菜 鲁菜 川菜 苏菜 粤菜 闽菜 浙菜 湘菜 徽菜 沪菜 京菜 渝菜 | 天气预报 北京天气 上海天气 香港天气 广州天气 深圳天气 台北天气 澳门天气 天津天气 沈阳天气 大连天气 南京天气 苏州天气 杭州天气 武汉天气 重庆天气 成都天气 无锡天气 宁波天气 合肥天气 厦门天气 | 周公解梦大全 老黄历 天气预报查询 火车时刻表 手机号码归属地 家常菜谱大全 货币汇率查询 邮政编码查询 万年历 2019年放假安排 生男生女预测表 QQ号码吉凶 安全期计算器 观音灵签 日常生活: 手机号码归属地 邮政编码查询 机构邮政编码查询 货币汇率查询 天气预报查询 家常菜谱大全 PM2.5查询 常用电话号码 快递查询 区号查询 数字大写转换 2019年放假安排 台湾邮编查询 汽车车标大全 大学查询 人民币存款利率表 升降旗时间 国家地区查询 全国社会性组织 (共19个) 站长工具: IP地址查询 下载地址加解密工具 二维码生成器 进程查询 密码强度检测 ASCII码对照表 UNIX时间戳 (共7个) 交通出行: 火车时刻表 北京车牌尾号限行查询 实时路况查询 地铁线路图 机场三字码查询 交通违章查询 车牌号查询 中国电子地图 世界时差查询 (共9个) 休闲娱乐: 疯狂猜图答案 中华谜语大全 脑筋急转弯 绕口令大全 QQ号码吉凶 外星年龄 外星体重 竖排古文 (共8个) 民俗文化: 周公解梦大全 老黄历 百家姓大全 历史上的今天 歇后语大全 十二生肖 万年历 二十四节气表 地母经 名人名言名句大全 民间谚语 解密生日 佛学大辞典 (共13个) 学习应用: 新华字典 汉语词典 成语大全 诗词大全 在线翻译 英语单词大全 英文名 专业英汉汉英词典 百科全书 英文缩写大全 五笔字根表 笔画数查询 汉字部首查询 汉字拼音查询 区位码查询 汉字简体繁体转换 郑码编码查询 仓颉编码查询 四角号码在线查询 中文电码查询 在线编码解码 百万圆周率 摩尔斯电码 科学计算器 在线输入法 (共25个) 身体健康: 安全期计算器 药品查询 绿色食品 民间偏方大全 中草药名方大全 中草药民间验方 酒方大全 食物营养成分查询 中草药大全 中华本草 中医名词辞典 粥谱大全 (共12个) 占卜求签: 二十八星宿算命 六十四卦金钱课 观音灵签 黄大仙灵签 诸葛神算 妈祖天后灵签 关帝灵签 吕祖灵签 车公灵签 王公祖仔灵签 文王神卦 灵棋经 称骨算命 预测吉凶 指纹运势查询 生男生女预测表 姓名缘分测试 (共17个)var _hmt = _hmt || []; var hm = document.createElement("script"); var s = document.getElementsByTagName("script")[0]; })();911查询官方微信关注 ww911cha

网页内容

二 、数据解析

我们通过鼠标点击f12开发者模式左上角大概确定了元素的位置,如,那么我们就可以通过正则表达式解析这张表的内容了。

具体操作如下:

1.截取出这部分代码 Pattern pattern = Pattern.compile("(.*?)(?.*?)"); Matcher matcher = pattern.matcher(date); while (matcher.find()){ String dates = matcher.group("dates"); System.out.println(dates); }

通过这段代码解析后我们得到如下核心数据

0000 0000000000 0001010000 0010020000 0011030000 0100040000 0101050000 0110060000 0111070000 1000080000 1001090000 10100A0000 10110B0000 11000C0000 11010D0000 11100E0000 11110F0001 0000100001 0001110001 0010120001 0011130001 0100140001 0101150001 0110160001 0111170001 1000180001 1001190001 10101A0001 10111B0001 11001C0001 11011D0001 11101E0001 11111F0111 11117F二进制十六进制0010 0000200010 0001210010 0010220010 0011230010 0100240010 0101250010 0110260010 0111270010 1000280010 1001290010 10102A0010 10112B0010 11002C0010 11012D0010 11102E0010 11112F

标签组:[大数据] [url

本文来源:https://www.kandian5.com/articles/11760.html

相关阅读

曹无伤左司马职务解析:汉朝中央官制中的重要角色

在中国古代历史的长河中,汉朝以其完备的官制和繁荣的文化著称于世。其中,左司马这一职务在汉朝中央官制中占据着重要的地位。而曹无伤,作为秦汉之际刘邦麾下的一位将领,就曾担任过左司马这一职务。 一、汉朝中...

2025-04-03

汉明帝刘庄并未被杀:一位英明君主的传奇一生

在中国历史上,汉明帝刘庄是一位备受赞誉的君主。然而,关于“汉明帝刘庄为什么被杀”的疑问,实际上是一个基于误解的问题。根据真实的历史资料,汉明帝刘庄并未被杀,他是一位在位期间政治清明、经济繁荣、文化昌盛...

2025-04-03

三国第一毒士之争:李儒与贾诩的较量

在三国时期,谋士辈出,他们以其卓越的智谋和深邃的算计,在历史的舞台上留下了浓墨重彩的一笔。其中,李儒与贾诩两位谋士,因其毒辣的手段和深沉的心机,被后人并称为“三国第一毒士”。然而,关于这一称号究竟应归...

2025-04-03

孙恩与孙权:血缘关系的探寻

在中国历史上,孙恩与孙权都是极具影响力的人物。他们分别活跃在不同的历史时期,各自在各自的时代留下了深刻的印记。然而,近年来,关于孙恩是否是孙权后代的问题,引起了人们的广泛关注和讨论。 一、孙恩与孙权...

2025-04-03

澶渊惊雷:寇准力挽狂澜的孤勇与智慧

公元1004年的深秋,北风裹挟着辽军铁蹄的震颤,黄河岸边的澶州城笼罩在战争的阴云之下。北宋朝廷内,主和派大臣们如惊弓之鸟,或主张南迁金陵,或建议西逃蜀地。在这历史抉择的十字路口,一位目光如炬的政治家挺...

2025-04-03

杜甫的代表作:千年传颂的文学瑰宝

在中国古代文学的璀璨星河中,杜甫无疑是最耀眼的星辰之一。作为唐代伟大的现实主义诗人,杜甫以其深沉的情感、卓越的艺术成就和广泛的社会关怀,被后世尊称为“诗圣”。他的代表作不仅在当时广为流传,历经千年仍被...

2025-04-03

寒门诗魂:鲍照诗歌的刚健风骨与形式突围

在南朝绮靡文风中,鲍照如同一把淬火而出的利剑,以寒门之躯劈开时代的脂粉气。他的诗歌既是对门阀制度的血性呐喊,更是中国古典诗歌美学的一次惊险飞跃。这位被杜甫赞为"俊逸鲍参军"的诗人,用充满棱角的文字构建...

2025-04-03

盛彦师之死:李渊的权谋棋局与功臣末路

在唐朝开国功臣的星空中,盛彦师的名字曾如流星般划过,留下短暂而耀眼的光芒。他斩李密、平王世充、拒降徐圆朗,以骁勇善战著称,最终却落得被唐高祖李渊赐死的结局。这场看似悖理的历史悲剧,实则暗含李渊巩固皇权...

2025-04-03

唐朝统一战争:十年烽火铸就大一统伟业

唐朝,作为中国历史上最为辉煌灿烂的王朝之一,其统一之路却并非一帆风顺。在隋末天下大乱、群雄并起的背景下,唐高祖李渊于公元618年建立唐朝,但此时的新王朝仅占据关中、河东一隅,天下仍处于四分五裂之中。为...

2025-04-03

刘唐:梁山泊中的赤发鬼杰

在《水浒传》这部描绘北宋末年农民起义的鸿篇巨制中,刘唐以其独特的形象和鲜明的性格,成为了梁山泊一百零八将中不可忽视的一员。他绰号“赤发鬼”,紫黑阔脸,鬓边一搭朱砂记,上生一片黑黄毛,形象威猛而独特。那...

2025-04-03