当前位置:

首页 - 人工智能开发 - DDE（deeptime digital earth）日志分析系统

DDE（deeptime digital earth）日志分析系统

价格：电联

发布公司:广州幻方量化人工智能科技有限公司

联系人:熊凯

联系电话:1326923****

查看完整联系方式

信息：

广州幻方量化人工智能科技有限公司

联系人:熊凯联系电话:1326923****

公司地址:广州市花都区穗达路12号之一401室

查看公司主页

信息详情

DDE（deeptime digital earth）是由王坚院士主导的服务于全球知识学者的一个智能化地球分析平台，提供了Data、Knowledge、Workflow等功能模块，方便用户自由组合设计自己的算法模型。为了了解用户在平台上的使用习惯和使用深度，开发用户日志分析系统，从而更好的优化平台，提高用户满意度。
责任描述：
项目研发负责人，负责整个研发项目进度管理，任务分配，工作协调等。
平台架构设计和搭建实施，整个数仓层面开发任务。
项目详设概设需规、数仓开发指导文档等编写。
日志系统开发流程
1、数据采集：用户行为日志采集和解析（flume），业务数据同步（DTS/datax）；
用户浏览页面日志数据通过flume实时采集到kafka，也为后续拓展实时业务做准备，再通过flume将数据同步到HDFS存储，结合同步的业务数据，作为日志分析系统的数据源。
2、数仓开发（维度建模）：
a)数仓模型事实表、维度表划分；结合业务模块，分别对大平台页面访问、Data、Knowledge、Workflow等进行数据域划分。
b)数仓分层设计ODS层、DWD层、DWS层、ADS层；HDFS日志和业务数据作为ODS层，按主题域对数据进行过滤拆分得到各子域数据表作为DWD层，轻维度的日聚合处理作为DWS层，针对个性化报表设计开发ADS层表一一映射。
c)数仓构建流程：数据调研、数据清洗，明确数据域，构建业务总线矩阵，明确统计指标，维度模型设计，汇总模型设计；
3、用户行为路径分析；根据用户对网站浏览埋点数据的分析，对每个用户每日记录按时间间隔做session划分，网页去重，正负向路径统计，计算SV、PV，最终得到路径转化率及各节点转化率。
4、调度任务配置（airflow）；在k8s环境创建容器调度。

当前位置:

DDE（deeptime digital earth）日志分析系统

广州幻方量化人工智能科技有限公司

相关推荐

大型低代码平台、AI应用平台或自动化系统

人工智能文章创作

跨媒体政务知识引擎

微服务流转系统

移动用户离网预测

Ai视觉识别系统

人力工时系统

全国网络运营管理平台

信息详情

联系我们