网页黑名单系统，垃圾邮件过滤系统，爬虫网站重复判断系统，系统容忍一定程度的错误率，但空间要求严格。针对这个问题，一般考虑Bloom filter。布隆过滤器不可能完全正确。它的优点是可以用很少的空间达到很高的精度。哈希函数(Hash function):输入域可以是很大的范围，但输出域是固定的范围。性质如下:1 .无限输入字段；2.当传入相同的输入值时，返回值是相同的；3.当传入不同的输入值时，返回值可能相同也可能不同。
Bloom filter:长度为m的位数组，每个位置只占一位。假设有k个哈希函数，这些函数的输出域都大于等于m..对于一个输入对象，通过k个哈希函数计算结果，每个结果都是m的余数，然后在bitarray上涂黑对应的位置。检查一个对象是否是以前输入的对象，并检查相应的位置是否为黑色。如果一个不是黑色的，则输入一定不在集合中。
6、2021年大数据工程师面试内容包括哪些?【简介】近年来，大数据的发展如火如荼。很多人选择研究大数据或者转行大数据，大数据包含很多工作。所以在选择工作的时候，还是需要做出合理的选择。为了帮助你更好的进入大数据行业，下面给你详细介绍一下2021年大数据工程师的面试内容。1.自我介绍一般是自我介绍。谈谈你的工作经历和项目经历，面试官会根据你的项目经历对你进行技术面试。
2、开发知识技能的仓数(1)Java是必须的，但问题不深，对Javase部分理解透彻，足以应付Java部分的面试。(2)Hadoop生态，Yarn，Zookeeper，HDFS，这些底层原理要懂，面试也经常被问到。(3)Mapreduce的洗牌过程这也是面试中经常被问到的问题。(4)Hbase和HIve，搞大数据真的没什么意义。
7、大数据面试要准备哪些大数据面试，面试官的考察一般包括:1。技术能力是硬指标，但基本可以一票否决。基础能力，比如HBase读写过程，底层原理，比如为什么spark即使不在内存中运行速度也比mr快，是否读过源代码，架构设计能力要考虑哪些因素，比如技术选择等。2.如何解决hbase集群高cpu的问题；如何优化星火任务等等。3.方案设计能力，如数据仓库设计建模流程。
一、大数据面试要准备一些测试说明:1。让面试官记住你的名字。很多人在介绍自己的名字时只有简单的一句“我叫XXX”。直到你的自我介绍完了，面试官才想起你的名字。如果在后续的自我介绍中没有突出的表现，那么这样的自我介绍注定是失败的。2.告诉面试官与申请职位相关的工作经历。在介绍自己的工作经历时，一定要注意哪些经历与应聘的职位相关。
8、大厂数据分析面试题,大数据结构化面试?作为程序员，你以为代码只需要实现功能就行了吗？其实工作2~3年后，你会发现，随着工作的深入，工作中遇到的问题会变大，处理的数据量也会变大。一开始我可能会耐心加班，等机器处理完再回家，但最后处理完这些数据一般都是深夜。面对这样的问题，其实可以通过数据结构来解决。仔细梳理开发中遇到的问题，你会发现工作中的很多问题，用简单的逻辑就能解决。
如何实时统计业务接口99%的响应时间？你可能首先会想到，每次查询，所有的响应时间都会从小到大排序。如果总共有1200个数据，第1188个数据将有99%的响应时间，显然，每次用这种方法查询都要排序，效率非常低。但是，如果我们知道“堆”的数据结构，两个堆就可以非常有效地解决这个问题，所以数据结构是我们程序员提高效率的利器。
