有一个项目上的数据库使用了几个月.mdf文件与.ldf文件加起来竟然达到了100G+，这样下去硬盘会被撑爆的。 这样的原因是因为异常情况造成某个数据表中有大量的冗余数据，将异常数据表的冗余数据清理之后，mdf文件并没有变小，因为对数据库进行了删除操作，ldf文件反而变增大很多！根据项目情况考虑使用作业方式定时压缩数据文件大小，压缩之后只有十几兆的大小。 S...
什么时候需要调节Executor的堆外内存大小？ 当出现一下异常时： shuffle file cannot find，executor lost、task lost，out of memory 出现这种问题的现象大致有这么两种情况： Executor挂掉了，对应的Executor上面的block manager也挂掉了，找不到对应的shuffle ma...
一. 设计策略 1. 架构设计 三个线程：电梯，调度器，主线程(输入线程)， 采用worker thread，生产者消费者模式。和同学讨论，发现有的观点认为：调度器更像是一个功能的集合，类似一个函数，不像是一个主体，而且线程越少bug一般而言越少，于是调度器不做为线程。也挺有道理。架构图如下： 其中task使用ConcurrentHashmap...
Windows下Kettle定时任务执行并发送错误信息邮件 1.首先安装JDK 2.配置JDK环境 3.下载并解压PDI(kettle) 目前我用的是版本V7的，可以直接百度搜索下载社区版，企业版收费，社区版免费 下载地址：https://sourceforge.net/projects/pentaho/files/Data Integration/ 4...