UDN-企业互联网技术人气社区

板块导航

浏览  : 1223
回复  : 3

[面试经历] 这是一面面试官 问我的面试题,我发来交流一下

[复制链接]
bboyM的头像 楼主
发表于 2015-9-15 18:20:41 | 显示全部楼层 |阅读模式
说有一个网站的日志文件,里面存放有许多IP(数量在1亿个以上),现在让用统计一下哪个IP访问的次数最多。(这个阿里hadoop,Map-Reduce方面的面试题)
发表于 2015-9-15 18:35:03 | 显示全部楼层

这属于典型的top k问题吧,海量数据处理 先取余映射成好多段,然后hashmap 统计每段top1 ,最后来一次堆排。  分治思想
使用道具 举报

回复

发表于 2015-9-15 21:40:49 | 显示全部楼层

分而治之,
使用道具 举报

回复

发表于 2015-9-15 22:51:47 | 显示全部楼层

1. 内存如果装得下,partation   2、内存装不下,双层桶
使用道具 举报

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们
联系我们
  • 电话:010-86393388
  • 邮件:udn@yonyou.com
  • 地址:北京市海淀区北清路68号
移动客户端下载
关注我们
  • 微信公众号:yonyouudn
  • 扫描右侧二维码关注我们
  • 专注企业互联网的技术社区
版权所有:用友网络科技股份有限公司82041 京ICP备05007539号-11 京公网网备安1101080209224 Powered by Discuz!
快速回复 返回列表 返回顶部