下列关于Map/Reduce并行计算模型叙述正确的一项为()
A.Map/Reduce把待处理的数据集分割成许多大的数据块
B.大数据块经Map()函数并行处理后输出新的中间结果
C.reduce()函数把多任务处理后的中间结果进行汇总
D.reduce阶段的作用接受来自输出列表的迭代器
A.Map/Reduce把待处理的数据集分割成许多大的数据块
B.大数据块经Map()函数并行处理后输出新的中间结果
C.reduce()函数把多任务处理后的中间结果进行汇总
D.reduce阶段的作用接受来自输出列表的迭代器
第2题
A.对大数据采取分而治之的思想
B.构建抽象模型:Map和Reduce函数
C.对计算的支持强大,但对文件的支持较弱
D.上升到构架:并行自动化并隐藏低层细节
第3题
A.MapReduce是处理大量半结构化数据集合的编程模型
B.MapReduce和Hadoop是相互独立的
C.MapReduce使用一种集合语言执行查询
D.MapReduce是Map和Reduce的两部分用户程序组成
第4题
A.支持Map后连接任意多个Reduce操作,如Map-Reduce-Reduce
B.支持Map后不连接Reduce,而是连接另一个map,如Map-Map-Reduce
C.支持ChainMapper/Reducer,即支持Map-Reduce-Map-Reduce
D.支持没有Map,直接进入Reduce
第5题
A、Hive最佳使用场景是大数据集的批处理作业
B、Hive可以实现在大规模集群上实现低延迟快速查询
C、Hive构建在基于静态批量处理的Hadoop之上,Hadoop通常有较高的延迟并且在提交作业和调度的时候需要大量的开销
D、Hive查询操作过程严格遵循HadoopMap Reduce的作用执行模型,Hive将用户的HiveSQL语句通过解释器转换为Map ReduceHadoop集群上
第6题
A.Mapper读取分派给它的输出Split,并生成相应的本地缓存
B.Mapper执行计算处理任务,将中间结果输出保存在本地缓存
C.ApplicationMaster调度Reducer读取Mapper的中间输出文件,执行Reduce任务
D.Reducer将最后结果写入输出文件保存到HDFS
第7题
A.用来把一组键值对映射成一组新的键值对,以此完成将来自数据源的记录进行分配
B.保证所有映射的键值对中的每一个共享相同的键组
C.将所有具有相关给定outputkey的中间值进行组合
D.对中间值规约结果进行递归组合直至得到唯一输出
第10题
A.Shuffle过程中为每个Map任务分配一个缓存
B.Shuffle过程中分区默认采用哈希函数
C.Shulle过程的合并会改变最终结果
D.Shuffle过程在Reduce端首先从Map端领取结果,然后执行归并操作,最后输送给Reduce任务进行处理。