Bootstrap

第12周作业

在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

  • 大数据做推荐

  • 根据以前的浏览记录推荐类似的内容

  • 实现哪些价值

  • 发掘人的兴趣点

  • 发掘与人相匹配的信息

  • 可以从数据中挖掘出有价值的内容

  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

复制代码

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid); 

map有两个,

一个的map输入是 key-- 行的偏移量,value--数据行,输出是key--userid, value--<表的序号,pageid>

另一个map输入是 key-- 行的偏移量,value--数据行,输出是key--userid, value--<表的序号,age>

reduce的输入是

key--userid, value--<表的序号,pageid>

key--userid, value--<表的序号,age>

的列表

输出是