旅游网站系统设计购物型网站用dw做

旅游网站系统设计,购物型网站用dw做,wordpress 怎么登录地址,做公司网站哪家 上海后端程序员平时除了接触业务代码、中间件、存储等#xff0c;也难免会跟数仓有交集。下面结合笔者的经验和思考#xff0c;从后端程序员的视角看数仓、做个总结#xff0c;后续再跟数仓/BI argue的时候就不虚了#x1f603; 分成两部分介绍#xff1a;离线数仓、实时数仓…后端程序员平时除了接触业务代码、中间件、存储等也难免会跟数仓有交集。下面结合笔者的经验和思考从后端程序员的视角看数仓、做个总结后续再跟数仓/BI argue的时候就不虚了分成两部分介绍离线数仓、实时数仓。离线数仓离线数仓是最典型的数仓应用场景。后端服务产生了业务数据、监控埋点、日志等如果要做统计分析就要先离线采集到数仓再通过SQL做聚合查询。 离线数仓的重点在于统计分析历史存量数据做合理的业务域划分、数据分层、数据分区。数据采集需要采集的数据包括业务数据、监控埋点、日志等。业务数据一般存储在DB、或HBase可一次性把存量数据导入hive表后续定时扫描一段时间范围内的增量数据导入hive表监控埋点后端服务发出埋点消息采集程序消费消息、解析、最终导入到hive表日志可通过filebeat采集日志采集程序解析后、导入到hive表数据分层逻辑层面的水平数据分层ODS (Operational Data Store)原始数据一般不做任何加工DWD (Data Warehouse Detail)数仓明细数据在ODS的基础上做一些简单加工如数据清洗解析json格式字段、打平后存储DWS (Data WareHouse Summary)数仓汇总数据在DWD的基础上按维度做聚合宽表方便业务方使用ADS (Application Data Service)直接可用的报表应用数据离线数仓的数据分层类似于后端代码结构的分层设计比如分为接口层interface、逻辑层service、数据访问层repository。 数据分层可以隔离每层之间的依赖每层的变更只限于本层。比如mysql拆库迁移只需要更换ods表但无需改dwd表这样数据使用方不用感知数据源变更。 数据分层可以在DW层聚合数据提高数据使用方的效率、降低开发成本。后端程序员接触最多的是ods和dwd表ods表涉及到数据采集并且是归档删在线数据的前提dwd表可以用来排查历史数据因为json格式字段已打平所以方便做筛选查询数据分区按时间维度做垂直分区一般是日级或小时级分区取决于调度频率天级增量表包含某一天有变更的数据记录天级全量表包含某一天完整的数据记录相当于快照小时级增量表包含某一小时有变更的数据记录因为数据量较大所以不是所有的离线表都会永久保留。比如ods天级增量表可能仅保留最近n天、或最近n个分区而dwd天级全量表会merge增量数据可查到历史上的所有数据记录。离线数仓使用场景离线统计通过hive sql做复杂的关联查询、聚合查询底层会转成MapReduce任务查询HDFS里的hive表比如把多张事实表、维度表join起来做某个维度的数量加总、金额加总。事实表是业务活动的事件记录可以做聚合查询统计。维度表是元数据按维度做聚合分析max、countgroup by维度。事实表一般包含多个维度表的外键。后端刷历史存量数据需要先在离线统计符合条件的数据再导出id消息作为后端刷数据的输入依据后端归档删除在线数据后端在线数据不断膨胀当业务层面不再访问时需要做归档删除。一定要确保业务数据先被离线采集到、再删除在线数据否则就可能丢数据、找不回来了。 比如新增一个archive_status字段代表归档状态而非有业务含义的deleted字段初始值是0被软删后改成1那么如果hive表里记录的归档状态是1则代表该记录已被离线采集到可放心地删除对应在线记录。实时数仓有了离线数仓为什么还需要实时数仓呢主要还是为了时效性离线数仓最快是小时级如果需要秒级延迟就需要上实时数仓了实时数仓跑出来的结果可以被后端服务查询用于在线业务实时数仓的重点在于低延迟计算、exactly-once处理与后端应用结合可以实现很多功能。实时数仓构建流程使用flink把数据采集、数据计算、数据导出的流程串起来。这里引用一张某云厂商的实践教程图里面的数仓存储可替代为其它。 参考实时数仓搭建实时入仓mysql binlog、或业务事件触发实时数据流通过flink实时入仓数据计算通过flink关联join多个ods表得到dwd表再实时计算得到按维度聚合的dws表数据导出、对外提供接口查询计算结果可导出到实时数仓如Doris、Hologres等也可以导出到mysql、hbase、或redis并封装成RPC接口。这样后端服务可以查询实时数仓接口对外提供高qps查询实时数仓使用场景内部报表查询外部统计类查询典型的例如用户看到的 排行榜、多少人看过/加购/收藏/买过 等用户个性化推荐以上就是后端程序员需要了解的数仓知识了欢迎关注、转发、点赞。