当前位置:数码通 > 科技

每天百万到千万级的数据流水,做汇总和数据可视化图表,后台应该如何做技术选型?

来源于 数码通 2023-09-26 03:48

每秒大概实时数据几千上万条汇入,需要对数据做分析和汇总之后在前端做数据可视化展示,统计跨度包括过去两小时,上一天,上一周,一个月,原始数据只做分析不修改,后台技术方案如何选型?

我个人目前想的是,数据接入用mq做削峰,每天用定时任务生成上一天的汇总数据,当天的数据放redis实时分析,原始数据存储放mongodb,太久之前的数据从mongo移到文件存储中。

是否有更好的方案?这种场景适合用ES吗?

登录后参与评论