首页 > 教育学习 > 为什么 > 适合爬虫下来的网页储存的分布式文件系统有哪些?

适合爬虫下来的网页储存的分布式文件系统有哪些?
2012-01-19 20:31:25   来源:   点击:

    适合爬虫下来的网页储存的分布式文件系统有哪些?1)主要是想搞个分布式的爬虫,这块没有经验,想问一下,是不是要找一个合适的分布式储存的系统? hadoop说好像是为大块文件设计的 2)另外对行下载下来的网页进行提取这块,是使用什么,map/reduce吗,怎么把结果再收集回来呢? 求教

    1 个答案

    • 答案 1:

      mongodb应该是个不错的选择!

相关热词搜索:

上一篇:为什么国内机场托运行李不允许带打火机?一次性塑料打火机有办法通过吗?
下一篇:通过《幸福59厘米之小马》,老罗有拯救中国电影的能力吗?为什么?