数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"

摘要:
PowerBI的增量刷新功能现在已经对Pro用户开通,但由于种种限制,很多人依然无法使用无这个功能,所以,每一次刷新,都要彻底更新数据集。不过,在PowerBI里,我们还可以借助一个函数UNION来实现表格的合并。导入数据后,回到PowerBI操作界面,点击工具栏里的”新建表”,使用DAX函数创建一个新的表格Orders。利用这个方法确实部分解决了我的困扰。/推荐阅读/01「PowerBI星球」内容合辑02PowerBI数据分析应用:客户购买频次分布03数据分析实战案例,帮你全面认识PowerBI

Power BI的增量刷新功能现在已经对Pro用户开通,但由于种种限制,很多人依然无法使用无这个功能,所以,每一次刷新,都要彻底更新数据集。这对于量级比较大的数据集来说,着实是一件耗费时间的事情。

拿我的亲身经历举个例子,我有一份报表涵盖了客户近3年的销售情况,由于客户的业务流量比较大,数据集的每一次手动刷新都在15分钟左右,而计划刷新更是会延迟到35分钟左右,严重影响到报表的日常使用。

数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"第1张

不过呢,聪明如我( 偷笑 ),我还是发掘到了一个十分简单的”增量刷新”解决方案,使用一个DAX函数就可以实现。希望我以下的分享可以给你带来一些灵感。

在这里,我仍然使用NorthWind数据库做演示,分别导入Orders表格以及Customers表格。

数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"第2张

首先,在PowerQuery将数据集里,将包含了近三年销售详情的Orders表分为三张: Orders 2017, Orders 2018, Orders2019,里面分别包括了当年的所有销售订单。

数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"第3张

实现步骤为:

1. 复制两份Orders表格,分别重命名。

2. 对OrderDate日期列进行操作,筛选出当年的销售数据 :

方法一 : M代码( 以Orders 2017的日期筛选为例 )

"Lignes filters" = Table.SelectRows(#"Colonnessupprimées", each [OrderDate] >= #date(2017, 1, 1) and [OrderDate]<= #date(2017, 12, 31))

方法二 : 或在PQ界面,点击OrderDate列筛选实现,

数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"第4张

将销售表格成功分割为三个年份的表格后,还要取消2017和2018这两张表格的刷新资格(这一步非常重要)。

具体操作为,分别鼠标右击这两个表格,取消勾选“包含在报表刷新中”。

数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"第5张

也就是说,在下一次更新数据集时,这两张表格将不被刷新,不会再重新载入数据。

写到这里,应该有一些小伙伴已经看出来我的意图了 : 更新的时候只刷新2019年的销售数据,然后再合并这三张表,获取一个完整的Orders表格,不就约等于只刷新新增数据了吗。没错!就是这样。

所以接下来,我们要做的就是: 合并这三张表格。

那么问题来了,应该在PQ里直接合并吗?

答案是否定的。

因为如果在PQ里以Orders2019作为主表格对它们进行合并,2018和2017两张表格虽然被取消了刷新资格,但是作为2019的附属表格,还是会被刷新,会被重新载入数据。

不过,在PowerBI里,我们还可以借助一个函数UNION来实现表格的合并。并且UNION可以帮助我们实现增量刷新的目的。

导入数据后,回到PowerBI操作界面,点击工具栏里的”新建表”,使用DAX函数创建一个新的表格 Orders。

数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"第6张

这里用到的DAX表达式为:

Orders =UNION('Orders 2017';'Orders 2018';'Orders 2019')

新表格创建成功后,来到关系视图,可以使用新创建的表格建立需要的关联关系。

数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"第7张

点击刷新数据验证一下三张Orders表格里,是否只有Orders2019被刷新。

数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"第8张

到这里,我的小技巧就施展完成了。

最后,大家别忘了在表格列表里隐藏 Orders 2017, Orders2018, Orders 2019 这三张表格,假装什么都没有发生过一样。

数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"第9张

或许看完之后你会说,这根本就不算真正的增量刷新。是的,这里我只是在”模仿”增量刷新,在PowerBI Desktop中只加载需要更新的表,同样可以缩短刷新的时间,这不就是我们期望的结果么?

利用这个方法确实部分解决了我的困扰。你也可以顺着这个思路,单独分出近一个季度,近一个月的数据,然后只刷新这部分数据。

感谢大家的阅读。

/推荐阅读/

01「PowerBI星球」内容合辑

02PowerBI数据分析应用:客户购买频次分布

03数据分析实战案例,帮你全面认识 PowerBI

免责声明:文章转载自《数据可视化之powerBI技巧(二十二)利用这个方法,帮你搞定Power BI"增量刷新"》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇vi/vim 常用技巧单精度与双精度下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

《特征工程三部曲》之一:数据处理

要理解特征工程,首先要理解数据(Data)和特征(Feature)的概念 概念 特征工程(Feature Engineering) 其本质上是一项工程活动,它目的是最大限度地从原始数据中提取特征以供算法和模型使用。 特征工程在数据挖掘中有举足轻重的位置 数据领域一致认为:数据和特征决定了机器学习的上限,而模型和算法只能逼近这个上限而已。 特征工程...

Apache NiFi之Kafka流数据到HBase

一.说明 在大数据平台的业务场景中,处理实时kafka数据流数据,以成为必要的能力;此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 测试使用了kafka0.10版本,所以NiFi中也选择对于版本 a).选择ConsumeKafka_0_10 在Processor...

某公司基于FineBI数据决策平台的试运行分析报告

一、数据平台的软硬件环境 二、组织机构和权限体系 组织机构:平台中已集成一套组织机构,可以建立部门、人员。也可以与现有系统的组织机构集成,将组织机构导入到平台中。 功能权限:通过配置功能点URL的方式实现各个用户相应的BI访问权限。用户第一次访问受保护的资源(某个功能点)时,会发出访问请求,服务器接收到请求后会验证用户权限,如果没有通过验证则返回登录页面...

Elasticsearch-索引新数据(创建索引、添加数据)

ES-索引新数据 0.通过mapping映射新建索引 CURL -XPOST 'localhost:9200/test/index?pretty' -d '{ "mappings": { "docs": { "_source": { "excludes": [ "query_content"...

可视化机器学习工具软件的比较分析研究

可视化机器学习工具软件的比较分析研究 Ø 摘要 近年来,随着人脸识别、语音识别等技术的突破性进展,隐藏在它们背后的底层技术也引起工程和研究人员的高度重视,譬如机器学习。然而,机器学习是一个入门门槛相对比较高的技术领域,大部分的工程技术人员和业务人员都聚焦在业务领域的特征提取,算法选择,参数调优和模型验证上,因此一个方便高效的可视化工具,对于降低用户的机器...

SQL Server数据导出Excel

https://www.cnblogs.com/D-jing/p/11558041.html 一、将查询到的数据导出为Excel 1、找到要导出的表 2、新建查询(可以查询所有,也可查询所需要的数据) 3、我们在查询结果的空白处右键单击,选择“将结果另存为”选项 4、这时候会弹出保存界面,默认文件类型为.CSV (PS:CSV是一种通用的、相对...