2022-11-13
2022-09-30
2022-11-15
2022-11-21
2022-11-21
更新时间:2024-03-07 10:43:34 发布时间:24小时内 作者:文/会员上传 下载docx
2022-11-13
2022-09-30
2022-11-15
2022-11-21
2022-11-21
项目时间:20_-05 - 至今
项目名称:基站运营数据实时分析处理系统
项目描述:项目介绍使用技术:hdfs+spark+hive+mysql+sqoop+flume项目描述:数据源通过ftp服务获取文件形式基站数据,利用flume对该文件目录进行实时采集,然后采用flume与sparkStreaming对接,sparkStreaming通过设置每个批处理的间隔时间,将流式计算分解成一系列批处理作业,实时的交给sparkStreaming清洗处理,获得实时的基站告警数据以及基站流量数据展示并存储到HDFS上,对保存在HDFS的数据利用hive建立外部分区表,通过定时任务执行,统计一天的基站告警信息;利用sqoop工具将结果存入MySQL,供前端展示。我的职责大数据工程师参与需求分析,平台环境搭建 ,基站告警统计 ,基站流量监控。
项目时间:20_-11 - 至今
项目名称:鹿鸣呦呦即时通讯系统 | 项目工具:ubuntu
项目描述:项目介绍鹿鸣呦呦是一款定位于高端资源与人脉的对接平台,基于MQTT协议开发的,含聊天、商机、人脉与一体的即时通讯软件我的职责hadoop、spark、hbase、redis,服务器集群环境搭建维护,项目短信、隐私、商业圈功能性模块开发.flume日志信息收集处理。
工作时间:20_-03 - 20_-02
公司名称:简历本信息科技有限公司 | 所在部门: | 所在岗位:软件开发工程师
工作描述:软件开发:责任描述:1、参与项目的需求分析和项目构建。2、参与商品展示模块及搜索系统模块的开发及测试3、搜索系统服务接口的开发,及solrCloud的安装及配置4、使用Redis数据库做缓存
工作时间:20_-09 - 至今
公司名称:简历本信息互动有限公司 | 所在部门:数据部 | 所在岗位:大数据开发工程师
工作描述:1参与公司大数据平台的搭建与配置。2.根据业务需求对移动设备数据和社交数据进行多维度分析,得出用户行为与游戏运营的各项指标。3.将分析处理后的数据落地到RDBMS中,接入业务使用,为公司产品部门和高层决策在广告领域的创新应用、商业效果改进等提供数据服务支持。4.使用SparkSQL高效分析处理用户行为数据。5.平台的日常维护与优化。
项目时间:20_-07到至今
项目名称:x校园贷后端 | 项目工具:linux操作系统搭载的tomcat、jvm、mysql、redis、solr
项目描述:项目介绍此项目为一大学生校园贷款的后台,包括后台管理系统及前后端交互系统。而后台管理系统则包括员工(权限)管理系统、风控系统,此两个系统垂直交叉、相互协同。而前后端交互系统则主要负责app端(用户端)数据与数据库数据协同交互。此系统通过数据库的一致性达到各系统之间的解耦,同时保证了数据的一致和完备。而且根据业务需求在风控系统中嵌入了一个自行研发的风控模型,达到了业务与系统的和谐统一。我的职责1.接收前端传入的数据、处理后存入数据库2.查询数据库数据、处理、封装成相应接口供pc端、app端调用3.横向拦截逻辑处理(如sso等)
项目时间:20_-09到至今
工作时间:20_-06 - 20_-05
公司名称:七分简历信息科技有限公司 | 所在部门: | 所在岗位:大数据开发工程师
工作描述:我在项目组任职大数据开发工程师,每天的工作是将我们所获得的数据,根据业务需求使用mapreduce对源数据进行清洗,例如我们项目组在游戏推广阶段需要统计推广渠道带来的用户数,进而对渠道进行分析,我就需要对logstash抽取的数据做一个清洗,得到需要的字段,并且按照渠道标识对输出文件分区,将相同渠道的用户账号信息写入到一个文件中。最后我们将hive分析出的渠道注册用户数与spark分析出的渠道登陆用户数做一个关联分析,分析出玩家注册到登陆之间的转化率,通过转化率可以判断出渠道是否存在刷量导致注册转化率低。除此之外我们还会将各渠道的用户信息表与玩家充值表根据userID(玩家账号的唯一标识)做一个join分析,分析出各渠道玩家的充值情况。通过各种维度对营销渠道的效果进行分析,从而更加合理地确定投入策略,最小化用户获取成本。在游戏运营后我们会从用户行为,营收状况,用户粘性分析三个主要的方面分析游戏运行状况,对于用户行为分析,我们可以分析玩家的游戏时间分布,从而合理的安排游戏运营活动,从而提高活动参与度,提高收益。根据不同需求可再进一步将时间细分。针对营收状况,我们会分析玩家的充值情况以及付费结构等。分析针对用户粘性分析,我们主要从次日留存着手,分析玩家的留存情况。
熟悉Java编程,有良好的算法和编码能力,熟悉面向对象编程;熟悉JavaWeb, JDBC, 熟悉Http协议; 熟悉Springmvc,Spring,MyBatis,了解Struts2, Hibernate等开源框架; 熟练使用Eclipse、SVN、Maven项目管理和项目构建工具。 熟悉应用服务器软件Tomcat等容器配置和部署,能够使用Linux操作系统;掌握JavaScript,Ajax,jQuery等前台开发技术;掌握MySql,熟练掌握sql语句。 掌握分布式文件系统fastDFS原理、fastDFS的Java接口应用;掌握solr集群搭建及solrJ集群版的Java接口应用;掌握redis集群搭建及redis集群版Java接口的应用 了解集群下的并发解决方案,支持(HA)高可用(采用nginx,lvs) 关于数据库的大数据量问题可采用水平拆分,库表散列,支持数据库的容灾及备份;会采用分布式缓存解决数据库压力。
将本文的Word文档下载到电脑
推荐度: