Google MapReduce论文

2024-11-16 上传 24 页 654 KB 2 阅读
MapReduce 是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个 Map 函数处理一个基于 key/value pair 的数据集合,输出中间的基于 key/value pair 的数据集合;然后再创建一个 Reduce 函数用来合并所有的具有相同中间 key 值的中间 value 值。现实世界中有很多满足上述处理模型的例子,本论文将详细描述这个模型。
MapReduce 架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心:如何分割输入数据,在大量计算机组成的集群上的调度,集群中计算机的错误处理,管理集群中计算机之间必要的通信。采用 MapReduce 架构可以使那些没有并行计算和分布式处理系统开发经验的程序员有效利用分布式系统的丰富资源。
我们的 MapReduce 实现运行在规模可以灵活调整的由普通机器组成的集群上:一个典型的 MapReduce计算往往由几千台机器组成、处理以 TB 计算的数据。程序员发现这个系统非常好用:已经实现了数以百计的 MapReduce 程序,在 Google 的集群上,每天都有 1000 多个 MapReduce 程序在执行。
1 / 24
2 / 24
3 / 24
4 / 24
5 / 24
标签:java
温馨提示:
1.未经权益所有人同意不得将文件中的内容挪作商业或盈利用途;
2.本站仅提供存储空间,仅对用户上传内容作预览展示处理,对用户上传分享的文档内容本身不做任何修改或编辑,本站不对任何下载内容负责;
3.下载文件中如有侵权或不当内容,请与我们联系,我们立即纠正;
4.本站不保证下载资源的准确性、安全性和完整性,同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的损失。
最新评论
请遵守国家互联网相关法律、法规,文明评论。
相关文章
Java反应式框架Reactor中的Mono和Flux

Flux和Mono是Java反应式中的两种流式范式,这种范式让数据具有一些新的特性,比如基于发布订阅的事件驱动,异步流、背压等等。


OKHttp3 从使用到原理分析

Okhttp3 是我们经常使用的一个网络框架,可扩展性强,本文带大家从 Okhttp 简单使用,到各种好用拦截器原理了解 Okhttp3


PicoContainer学习手册

PicoContainer是codehaus开源组织的一个子项目。它是一个轻量级的DI(Dependency Injection)组件容器。


JavaParser使用介绍

JavaParser是一个可以将java源码解析为一棵语法树,然后基于这棵树对java代码进行分析和修改的工具。听起来有点玄乎,不过其实不是很复杂的东西,至少概念上来说是这样子的。


【Java库】Lucene - 一个高效的,基于Java的全文检索库

Lucene是一套用于全文检索的开源程序库,由 Apache 软件基金会支持和提供。Lucene 提供了简单却强大的应用程序接口,我们可以使用它来构建基于全文的内容检索引擎,著名的Solr和ElasticSearch应用就是基于Lucene构建的。