第12周作业
在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?
大数据做推荐
根据以前的浏览记录推荐类似的内容
实现哪些价值
发掘人的兴趣点
发掘与人相匹配的信息
可以从数据中挖掘出有价值的内容
分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?
复制代码
INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);
map有两个,
一个的map输入是 key-- 行的偏移量,value--数据行,输出是key--userid, value--<表的序号,pageid>
另一个map输入是 key-- 行的偏移量,value--数据行,输出是key--userid, value--<表的序号,age>
reduce的输入是
key--userid, value--<表的序号,pageid>
key--userid, value--<表的序号,age>
的列表
输出是