前面我们熟悉了很多ELT任务，这一个节来讨论复杂点的数据清洗。这里我们要使用的数据源是.dat文件，这种文件在大型主机上，或者是比较老旧的应用系统中非常常见。这个例子的情景是一个信用卡公司，目前正着手于拓展Florida州新成立的一些公司的业务。市场部门每周都会向这些公司发送一些邮件，我们要为所有的邮件准备抽取数据。假设Florida州提供的一个上面这个d...
Infromatica PowerCenter介绍： 1993年在美国加利福尼亚州成立，一年后在美国纳斯达克上市。 informatica的特点：1.强大的多种数据类型访问能力 2.企业级的数据集成解决方案 3.强大的ETL功能 Infromatica PowerCenter工具概况 主要有一下几部分组成： 1.Administration Consol...
数据仓库项目跨功能需求开发不够完善，导致的各种问题，就我个人经验来说，主要体现在数据建模不够标准和 ETL 日志体系不够完善两个方面，本文会详细介绍一下，如何从跨功能需求的角度，构建标准的数据建模和完善的 ETL 日志体系。 对于一个软件来说，分为功能需求和跨功能需求（Cross-Functional Requirements, CFR）。功能需求，一...
背景 沪江成立于 2001 年，作为较早期的教育学习网站， 当时技术选型范围并不大： Java 的版本是 1.2，C# 尚未诞生，MySQL 还没有被 Sun 收购， 版本号是 3.23。 工程师们选择了当时最合适的微软体系，并在日后的岁月里， 逐步从 ASP 过度到 .net，数据库也跟随 SQL Server 进行版本升级。 十几年过去了，技术社区已经...