首页 > 心得体会 > 会议发言 / 正文
日志和文件接入规范
2020-07-21 20:16:23 ℃数据接入规范-日志和文件 修订历史 日期 修改说明 部门 修改人 数据接入需求 基于数据采集需求,初步判断数据的接入源是否可以从日志和文件进行获取。联系技术研发部同事,请求数据源接入的位置参数,通过配置化方式定期读取服务器指定位置的日志和文件,通过程序清洗日志,分割成字段装载到数据仓库贴源层。
数据接入流程 1. 数据中心分析组接到TAPD数据接入需求之后,分析接入数据属于数据接口列表的哪个系统,在对应的系统标题下添加模板,参照APP-app_login_log。
和需求发起人进行沟通,确定提供数据的方式(数据库、文件、接口等),让需求发起人补充详细的数据口径,补充到需求要求里面,指定数据仓库组或平台组的一个人进行转发。
2. 数据仓库组或平台组根据需求描述。跟数据源提供方(可以是需求发起方、也可以是技术研发部门)沟通,让其补充模板里的位置参数。
3. 数据源提供方根据模板要求,提供位置配置参数。
4. 数据仓库组或平台组在接入数据后,整理数据格式,编写日志清洗转换脚本,并补充装载目标表信息。
5. 数据中心分析组对最终接入的数据进行验收,并通知需求发起人如何获得接入数据。
数据源接入模板 需求要求(分析组补充) tapd需求单号:1002513 提起人:xxx(Richard.chen) 需求单号内容:
??? 提供数据方式:
数据库、文件、接口 详细的数据口径:??? 位置配置参数(技术研发部补充) 配置参数 参数取值 服务器地址 192.168.1.1 端口类型 ftp 端口号 22 系统用户名 user 密码 pwd 日志路径 日志文件通配符 xxx/yyyymmdd/AppLog app_login_log_[yyyymmdd].json 日志内容分割规则 文字描述 接入模型字段(仓库组补充) 字段名 注释 字段类型 必填 必填 必填 必填 必填 必填 抽取参数(仓库组补充) 配置参数 参数取值 抽数周期 每天 抽数时间 7:00 文件名匹配条件 1:全量匹配抽取(匹配通配符即抽取) 2:日期匹配抽取(仅抽取通配符日期字段匹配数据日期条件的文件) 数据日期格式 Yyyymmdd Yyyy-mm-dd 数据日期条件 1:上一天日期 2:当前时间日期 3:当前时间归属周周日 4:当前时间归属月一号 日志清洗转换脚本(仓库组补填) 补充脚本位置即可,如t8t-bi-dsc\log-app\log-app.py 装载目标表(仓库组补填) 配置参数 参数取值 stg层表名称 必填 stg层表描述 必填 ods层表名称 必填 ods层表描述 必填 数据接口列表 PC H5 APP app_login_log l 需求单号(分析组补充) tapd需求单号:xxxxxxx 提起人:xxx(Richard.chen) l 位置配置参数(技术研发部补充) 配置参数 参数取值 服务器地址 192.168.1.1 端口类型 ftp 端口号 22 系统用户名 user 密码 pwd 日志路径 日志文件通配符 xxx/yyyymmdd/AppLog app_login_log_[yyyymmdd].json 日志内容分割规则 文字描述 l 接入模型字段(仓库组补充) 字段名 注释 字段类型 必填 必填 必填 必填 必填 必填 l 抽取参数(仓库组补充) 配置参数 参数取值 抽数周期 每天 抽数时间 7:00 文件名匹配条件 1:全量匹配抽取(匹配通配符即抽取) 2:日期匹配抽取(仅抽取通配符日期字段匹配数据日期条件的文件) 数据日期格式 Yyyymmdd Yyyy-mm-dd 数据日期条件 1:上一天日期 2:当前时间日期 3:当前时间归属周周日 4:当前时间归属月一号 l 日志清洗转换脚本(仓库组补填) 补充脚本位置即可,如t8t-bi-dsc\log-app\log-app.py l 装载目标表(仓库组补填) 配置参数 参数取值 stg层表名称 必填 stg层表描述 必填 ods层表名称 必填 ods层表描述 必填 app_diary_log 小程序
猜你喜欢
- 2021-10-03 学习《用好红色资源,赓续红色血脉努力创造无愧于历史和人民的新业绩》读后感精选【5篇】
- 2021-05-06 讲政治敢担当改作风专题教育发言材料
- 2021-05-06 “两委”换届与乡村振兴心得有感
- 2021-05-05 绿色食品高质高效发展实施方案精选
- 2021-05-05 学习新民主主义革命时期历史发言材料范文
- 2021-05-05 入党迎七.一思想汇报
- 2021-05-05 区建设领域安全生产百日会战组织方案
- 2021-05-05 发挥共产党员的先锋模范作用心得
- 2021-05-05 人民创造历史,劳动开创未来感想
- 2021-05-01 人大主任在市委党校“学史明理”专题读书班上研讨发言材料范文
- 搜索
-
- 党员组织生活会批评与自我批评意见清单 10-12
- 关于落实党风廉政建设主体责任存在的问 07-14
- 2篇公安民警2020年坚持政治建警全面从 08-23
- 党支部特色亮点工作总结汇报 10-17
- 2020优秀党务工作者事迹材料三篇 10-22
- 新时期农村党员如何正确行使党员的权利 06-08
- 如何发挥基层党支部的核心引领作用 11-21
- 中国共产党历届党代会简介 10-12
- 2020年社区党支部书记述职报告 10-13
- 入党党支部意见定为入党积极分子时党小 07-24
- 11-25国庆70周年庆典晚会 庆典晚会串词
- 11-25办公室礼仪的十大原则 浅谈办公室的电话礼仪
- 01-17用心灵轻轻地歌唱_心灵的歌唱
- 01-17也许你不是我一生的唯一|也许不是我
- 01-17爱了,请珍惜;不爱,趁早放手|爱就珍惜不爱就放手
- 01-17岁月带走的是记忆,但回忆会越来越清晰|有趣又有深意的句子
- 01-17曾经的美好只是曾经,我只想珍惜身边的人|我只想珍惜你
- 01-18从容不惊 [学会笑眼去看世界,不惊不乍,淡定从容]
- 02-03当代大学生学习态度调查报告
- 02-03常用护患英语会话
- 标签列表