任何曾经从事数据仓库项目工作的人都知道，这可能是一项艰巨的工作，需要数年的时间才能完成，并花费数百万美元。所以总是有人希望能够解决数据仓库的问题，Qlik就应运而生，它最大功能之一就是无需数据仓库即可将多个不同的数据源整合在一起。即使使用数据仓库，客户也经常直接从数据源中拉取，以避免由于将数据通过数据仓库而造成的时间滞后。

那么，在没有数据仓库的情况下构建健壮的BI应用程序容易吗？

通常情况下，用户从1到5个不同的源头提取数据来构建一个单一的应用程序。数据可以来自ERP系统、云服务或其他手工文件。将这些数据文件汇集到一个单一的数据模型的过程被称为ETL或提取-转换-加载。虽然在提取和加载中可能会遇到挑战，但最困难的任务是Transform--在无人看管的情况下运行的脚本，将数据 "转化 "为标准格式和/或填充缺失或损坏的数据，使其成为最终用户可用的数据。

在光谱的另一端，Qlik与客户合作，他们的数据源数量是典型数据源数量的10倍以上，所有的数据源看起来都是来自单一的数据源，以便在单一的应用程序中利用。如何您很想知道如何处理如此复杂的项目的第一手资料，那么你不得不看看下面的内容，Peter Adams-Qlik的顾问，曾参与过超过35个不同规模的客户项目，下面是他介绍的有关Qlik的信息。

Peter介绍了他最极端的数据整合项目，该客户通过收购迅速成长，现在需要一个企业业务视图。他的任务是整合50多个数据源，每个数据源都有多个文件，导致超过300个数据文件需要被ETL成一个数据模型。

Peter分享说，对于任何规模的数据集成项目，最大的挑战总是数据不一致。在这个特殊的案例中，这个问题的难度成倍增加，因为数据文件的创建和交付不是自动化的，这就为数据的变化创造了机会，而没有警告。因此，除了建立一个ETL来支持不同的数据之外，他还必须适应当数据已经变化到无法再成功转换，因此在解决之前不再有用的时候，警告最终用户。

Peter在这个项目中面临的另一个独特的挑战是复制ERP的 "匹配 "功能作为转型的一部分--将收据与订单数量进行匹配，以计算剩余的未结订单金额，按项目进行。为此，他必须通过多个脚本来运行数据，以分解单个收据记录，以对应订单表中的数量。

在ETL中，Peter总共构建了大约100个脚本。但在处理生产级的大量数据时，这对性能有什么影响呢？在设计和构建ETL时，性能是最重要的。但Peter的做法是始终在性能和易维护性之间取得平衡，尤其是在这种情况下，数据源有可能发生意外变化。一旦Peter在ETL运行时间最长的部分部署了增量加载，加载时间就在客户所需的参数范围内，同时还能确保他们在没有我们帮助的情况下也能继续适应变化。

最后您会发现，尽管您花了更多时间来考虑“典型”的项目，但与建立数据仓库相比，客户节省了75％至90％的时间和金钱。Qlik Consulting的经验和技能帮助成功设计和构建了一个非常复杂的ETL，不仅节省了客户资金，而且还使他们能够更早地洞察其数据，从而可以提高投资回报率！

关于Qlik

Qlik的愿景是一个数据素养的世界，每个人都可以使用数据来改善决策并解决他们最具挑战性的问题。只有Qlik提供端到端的实时数据集成和分析解决方案，以帮助组织访问所有数据并将其转化为价值。慧都作为Qlik官方的中国合作伙伴，我们为Qlik的中国用户提供产品授权与实施、定制分析方案、技术培训等服务，旨在让中国企业的每个Qlik用户都能探索出数据的价值，让企业形成分析文化。了解更多信息，请咨询在线客服>>