Google MapReduce论文
2024-11-16 上传
｜ 24 页
｜ 654 KB
｜ 8 阅读MapReduce 是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个 Map 函数处理一个基于 key/value pair 的数据集合，输出中间的基于 key/value pair 的数据集合；然后再创建一个 Reduce 函数用来合并所有的具有相同中间 key 值的中间 value 值。现实世界中有很多满足上述处理模型的例子，本论文将详细描述这个模型。
MapReduce 架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心：如何分割输入数据，在大量计算机组成的集群上的调度，集群中计算机的错误处理，管理集群中计算机之间必要的通信。采用 MapReduce 架构可以使那些没有并行计算和分布式处理系统开发经验的程序员有效利用分布式系统的丰富资源。
我们的 MapReduce 实现运行在规模可以灵活调整的由普通机器组成的集群上：一个典型的 MapReduce计算往往由几千台机器组成、处理以 TB 计算的数据。程序员发现这个系统非常好用：已经实现了数以百计的 MapReduce 程序，在 Google 的集群上，每天都有 1000 多个 MapReduce 程序在执行。
我们的 MapReduce 实现运行在规模可以灵活调整的由普通机器组成的集群上：一个典型的 MapReduce计算往往由几千台机器组成、处理以 TB 计算的数据。程序员发现这个系统非常好用：已经实现了数以百计的 MapReduce 程序，在 Google 的集群上，每天都有 1000 多个 MapReduce 程序在执行。
1 / 24
2 / 24
3 / 24
4 / 24
5 / 24
标签：java
)
微信分享
另存到我的空间
温馨提示：
1.未经权益所有人同意不得将文件中的内容挪作商业或盈利用途；
2.本站仅提供存储空间，仅对用户上传内容作预览展示处理，对用户上传分享的文档内容本身不做任何修改或编辑，本站不对任何下载内容负责；
3.下载文件中如有侵权或不当内容，请与我们联系，我们立即纠正；
4.本站不保证下载资源的准确性、安全性和完整性，同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的损失。
2.本站仅提供存储空间，仅对用户上传内容作预览展示处理，对用户上传分享的文档内容本身不做任何修改或编辑，本站不对任何下载内容负责；
3.下载文件中如有侵权或不当内容，请与我们联系，我们立即纠正；
4.本站不保证下载资源的准确性、安全性和完整性，同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的损失。
最新评论
相关文章
部署微服务：Spring Cloud vs. Kubernetes
Spring Cloud和Kubernetes都声称自己是开发和运行微服务的最佳环境，但两者在特性上并不相同，解决的问题点也不一样。本文将探讨这两种平台对于微服务架构的交付有何作用、两者在哪些方面表现更好以及如何利用这两种平台在微服务架构的路上取得成功。
规则引擎深度对比，LiteFlow vs Drools！
这篇文章深入对比了 LiteFlow 和 Drools 两款 Java 规则引擎框架。介绍了规则引擎的定义，从规则表达式、和 Java 数据交换、API 及集成、侵入性耦合、学习成本、语言插件、规则存储、热更新、界面形态、性能表现等方面进行比较。
Java八股文之多线程篇
本文题目覆盖了多线程、并发、锁、通信和原子操作等多个方面。由于篇幅有限，所以对答案做了简要的讲解。
探究Resilience4j：Java 8中的轻量级容错库
本文将介绍Resilience4j，这是一个专为Java 8及函数式编程设计的轻量级容错库。该库汲取了Hystrix的设计理念，同时利用Vavr库的强大功能，实现了无需额外依赖的高效容错机制。通过丰富的代码示例，本文旨在展示Resilience4j的基本用法及其如何简化现代Java应用中的错误处理流程。
【Java库】Deepleaning4j 深度学习工具包
Deeplearning4j实际上是一堆项目，旨在支持基于 JVM 的深度学习应用程序的所有需求。
