首页 > 演讲致辞 > 会议主持 / 正文
爬虫接入规范
2020-07-21 20:16:18 ℃爬虫接入规范 修订历史 日期 修改说明 部门 修改人 2018.06.12 大数据中心 李永波 数据接入需求 基于数据采集需求,初步判断数据的接入源是否从业务数据库中获取。
联系技术研发部同事,请求数据源接入的位置参数,通过配置化方式达到将数据从业务系统拉取、装载到数据仓库贴源层的目的。
数据接入流程 1. 与爬虫组和平台组进行沟通,确定提供数据的方式(数据库、文件、接口等),让需求发起人补充详细的数据口径,补充到需求要求里面,指定数据仓库组或平台组的一个人进行转发。
2. 数据仓库组或平台组根据需求描述。跟数据源提供方(可以是需求发起方、也可以是技术研发部门)沟通,让其补充模板里的位置参数。
3. 数据源提供方根据模板要求,提供位置配置参数。
4. 数据仓库组或平台组根据已经得到的位置参数、需求数据指标等信息,设计接入模型和抽取参数。
5. 数据仓库组或平台组在接入数据后,整理数据格式,制定清洗转换规则,并补充装载目标表信息。
数据源接入模板 需求要求(仓库组补充) tapd需求单号:1002513 提起人:陈炳贵(Richard.chen) 需求单号内容:
??? 提供数据方式:
数据库、文件、接口 详细的数据口径:??? 位置配置参数(平台部补充) 配置参数 参数取值 服务器地址 必填 数据库端口 必填 数据库名称 必填 用户名 必填 密码 必填 表名 必填,test1 必填,test2 取数口径(sql或者文字说明) 选填,单表部分字段、多表关联的请填写。
接入模型字段(仓库组补填) 字段名 注释 字段类型 源表字段 必填 必填 必填 必填 必填 必填 必填 必填 抽取参数(仓库组补填) 配置参数 参数取值 抽数周期 每天 抽数时间 7:00 增量标识 1:全量,2:增量 数据日期格式 增量数据,需要提供数据日期格式,可选如下。
时间戳 Yyyymmdd Yyyy-mm-dd 清洗转换规则(仓库组补填) 由仓库组补充,不限于数据清洗过滤、字段编码转换、敏感信息转换、接入阀值设置等等。
装载目标表(仓库组补填) 配置参数 参数取值 stg层表名称 必填 stg层表描述 必填 ods层表名称 必填 ods层表描述 必填 取数位置(平台组组补充,仓库组验收) 密码等验证信息私下提供。
数据库方式:
数据库连接方式:
表名:
字段名 注释 字段类型 必填 必填 必填 必填 必填 必填 文件方式:
服务器位置:ip:port 文件位置:
接口方式:
接口URL:
- 上一篇:在2020年7月全县决战决胜脱贫攻坚大会上的讲话
- 下一篇:外观检验通用标准
猜你喜欢
- 2021-10-05 参观红色革命基地,学习延安精神心得体会
- 2021-10-05 优秀科学家教育事迹
- 2021-10-02 庆祝元旦喜迎新年演讲稿2022年
- 2021-10-02 2021公安观看警示教育片个人心得体会800字十篇
- 2021-10-02 学习中央人才工作会议精神党课讲稿【五篇】推荐
- 2021-05-06 《学网,懂网,用网,治网——培育和提高党员干部的网络素养》读后感
- 2021-05-05 党委党支部主题党日活动上讲话稿范文两篇
- 2021-05-05 街道党工委巡视整改专题民主生活会对照检查材料两篇
- 2021-05-05 党史学习教育研讨会上发言提纲
- 2021-05-05 参观红军长征湘江战役纪念馆感悟
- 搜索
-
- “两个带来”交流材料 10-23
- 2020年检察院党支部书记述职报告 10-11
- 某政协党组书记、主席2020年组织生活会 09-11
- 入党流程图(个人整理) 05-27
- 优化营商环境个人对照检查材料 10-28
- EViews操作指南 06-29
- 新时代监狱警察的责任和担当 07-11
- 猪场技术员个人工作总结 06-08
- 四川话普通话对照[整理] 02-22
- “大学习、大讨论、大提升”活动心得体 04-27
- 11-25国庆70周年庆典晚会 庆典晚会串词
- 11-25办公室礼仪的十大原则 浅谈办公室的电话礼仪
- 01-17用心灵轻轻地歌唱_心灵的歌唱
- 01-17也许你不是我一生的唯一|也许不是我
- 01-17爱了,请珍惜;不爱,趁早放手|爱就珍惜不爱就放手
- 01-17岁月带走的是记忆,但回忆会越来越清晰|有趣又有深意的句子
- 01-17曾经的美好只是曾经,我只想珍惜身边的人|我只想珍惜你
- 01-18从容不惊 [学会笑眼去看世界,不惊不乍,淡定从容]
- 02-03当代大学生学习态度调查报告
- 02-03常用护患英语会话
- 标签列表