发信人: phylips (星星||一年磨十剑), 信区: Algorithm
标 题: 面试题目-大数据量专题
发信站: 兵马俑BBS (Thu Nov 26 16:30:44 2009), 本站
(bbs.xjtu.edu.cn)
1. 给你A,B两个文件，各存放 50 亿条URL，每条URL占用 64 字节，内存限制
是 4G，让你找出A,B文件共同的URL。
2. 有 10 个文件，每个文件 1G， 每个文件的每一行都存放的是用户的query，
每个文件的query都可能重复。要你按照query的频度排序
3. 有一个 1G大小的一个文件，里面每一行是一个词，词的大小不超过 16 个字
节，内存限制大小是 1M。返回频数最高的 100 个词
4.海量日志数据，提取出某日访问百度次数最多的那个IP。
5.2.5 亿个整数中找出不重复的整数，内存空间不足以容纳这 2.5 亿个整数。
6.海量数据分布在 100 台电脑中，想个办法高效统计出这批数据的TOP10。
7.怎么在海量数据中找出重复次数最多的一个
8.上千万or亿数据（有重复），统计其中出现次数最多的前N个数据。
统计可以用hash,二叉数,trie树。对统计结果用堆求出现的前n大数据。增加点
限制可以提高效率，比如 出现次数>数据总数／N的一定是在前N个之内
9.1000 万字符串，其中有些是相同的(重复),需要把重复的全部去掉，保留没有
重复的字符串。请问怎么设计和实现？
10.一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的
前十个词。请给出思想，给时间复杂度分析。
11.一个文本文件，也是找出前十个最经常出现的词，但这次文件比较长，说是
上亿行或者十亿行，总之无法一次读入内存，问最优解。
12.有 10 个文件，每个文件 1G， 每个文件的每一行都存放的是用户的query，
每个文件的query都可能重复要按照query的频度排序
13.100w个数中找最大的前 100 个数
14.寻找热门查询：
搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查
询串的长度为 1-255 字节。假设目前有一千万个记录，
剩余18页未读，继续阅读
资源评论
海love翠
- 粉丝: 1
- 资源: 18
最新资源
- 示波器实验报告，实验目的：掌握使用示波器和信号发生器的基本方法
- 示波器实验项目方案及报告（使用示波器观察与分析RC电路充放电过程）.doc
- 易支付源代码易支付源代码易支付源代码易支付源代码易支付源代码易支付源代码易支付源代码易支付源代码
- 基于Jupyter Notebook的joyful-pandas数据分析与可视化设计源码
- 基于Java语言开发的智慧自助餐饮系统后端设计源码
- 基于若依框架的Java报修系统设计源码
- 基于Java和Kotlin的永州特产溯源系统设计源码
- 基于Java与Kotlin的居家生活交流社区SmallNest设计源码
- 基于Java和HTML的ordersystem点菜系统设计源码
- 基于Java和HTML的cqupt考研预测系统后端代码设计源码
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
