文件名称:
关于大数据量或者存储过程或者业务逻辑过于复杂的解决方案
开发工具:
文件大小: 32kb
下载次数: 0
上传时间: 2021-01-07
详细说明:1.大数据量的清洗
存储过程和定时任务对大数据量的清洗,过程过于复杂涉及到的中间变量过多,计算和统计过多,导致整个过程执行时间过长。
所以通过数据准备,通过一个中间表来抽取过程中的中间变量和逻辑变量,预先抽取一些数据,减轻整个数据清洗过程的压力。
这些存储过程一定考虑到执行的效率问题,索引的使用;尽量避免在where条件里使用函数,有一些条件能抽取到中间表中,尽量抽取出来。
1.1)数据准备
1.2)中间表
1.3)任务分解表
2.执行过程的监控
在大型执行过程中,要有一个可视化的监控,能够监控执行的效率,执行的状态,执行的开始/结束时间,执行的结果…
日志表,在软件设计的过程都必须考虑的过程
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度。
- 本站已设置防盗链,请勿用迅雷、QQ旋风等多线程下载软件下载资源,下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
- 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.