web | Java

迟到的数据该怎样处理?

千锋教育

一般的app数据采集可能会存在数据上报延时,因此数据会存在两个时间:数据生成的时间和服务器收到的时间。


由于我们底层数据都是按时间来做天的分区,那么该用数据生成的时间还是服务器收到的时间? 服务器收到时间。


如若用服务器时间。那么面对查询某app或者某用户某天的明细数据的时候这个如何操作? 有三种方式来处理: 


1. 不做处理,查询的时候,跨两天的分区来查。


2. 时候修补,比如每两天按照消息发送时间重新处理一遍数据。


3. 对于ods数据,不再做处理,在DW层按照消息发送时间来处理。