1、1 创建基础明细表明细表用于存储ODS层原始表转换过来的明细数据。

3、2)说明:其中event_name和event_json用来对应事件名和整个事件。这个地方将原始日志1对多的形式拆分出来了。操作的时候我们需要将原始日志展平,需要用到UDF和UDTF。
4、2 自定义UDF函数(解析公共字段)



9、注意:使用main函数主要用于模拟数据测试。
10、3 自定义UDTF函数(解析具体事件字段)


14、2)打包

17、5)创建临时函数与开发好的java class关联


20、5 DWD层数据解析脚本1)在hadoop102的/home/atguigu/bin目录下创建脚本


22、2)增加脚本执行权限

24、4)查询导入结果

25、5)脚本执行时间开发中一般在每日凌晨30分~1点