当前在线人数11406
首页 - 分类讨论区 - 电脑网络 - 爪哇娇娃版 - 同主题阅读文章

此篇文章共收到打赏
0

  • 10
  • 20
  • 50
  • 100
您目前伪币余额:0
未名交友
[更多]
[更多]
如何快速处理大量网上xml文件? (转载)
[版面:爪哇娇娃][首篇作者:guanjun] , 2015年08月24日20:34:41 ,508次阅读,1次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
guanjun
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: guanjun (guanjun), 信区: Java
标  题: 如何快速处理大量网上xml文件? (转载)
发信站: BBS 未名空间站 (Mon Aug 24 20:34:41 2015, 美东)

【 以下文字转载自 Programming 讨论区 】
发信人: guanjun (guanjun), 信区: Programming
标  题: 如何快速处理大量网上xml文件?
发信站: BBS 未名空间站 (Mon Aug 24 20:33:14 2015, 美东)

小弟新手,恳请各位大侠指点。万分感激!

只用单个电脑, 不用hadoop/spark这些框架

网上有大约60万个xml文件,比如下面是一个:
http://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=pubmed&id=26296216&retmode=xml

需要解析每个文件,结果然后存在电脑上。现在的程序每次都要访问网上的文件,大约
耗时3天才能完成。

有没有更加高效的方法,快速完成?


--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 73.]

 
meiyoutu
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: meiyoutu (没有图-牛一刀), 信区: Java
标  题: Re: 如何快速处理大量网上xml文件? (转载)
发信站: BBS 未名空间站 (Mon Sep 14 10:51:50 2015, 美东)

为什么要解析后存放,不解析文件能存放么?难道会影响后续分析?
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 130.]

[分页:1 ]
[快速返回] [ 进入爪哇娇娃讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996