主题大数据工作(七篇)

主题大数据工作一

1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;

3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;

4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码;

任职要求：

1、本科及以上计算机相关专业毕业;

2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括storm、sparkstreaming等;

3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验;

4、掌握常见数据流接入工具，包括flume、kafka等;

5、熟练掌握基本的linux操作系统和某种脚本语言编程(如shell等);

6、掌握一种或以上实时处理语言，如java、scala、python等，有scala经验者优先;

7、有实际大规模数据(tb级以上)处理经验优先;

主题大数据工作二

职责：

1、负责公司大数据/hadoop/hive/hbase/flink等离线实时数据平台运维保障;

2、负责内部大数据自动化运维以及数据化运营平台开发工作;

3、负责hadoop/hbase等系统的业务监控、持续交付、应急响应、容量规划等;

4、深入理解数据平台架构，发现并解决故障及性能瓶颈，打造一流的数据平台;

5、持续的创新和优化能力，提升产品整体质量，改善用户体验，控制系统成本。

6、善于表达、理解客户数据服务需求，具备数据需求转化落地能力。

任职要求：

1、大学本科及以上学历，计算机或者相关专业;

2、深入理解linux系统，运维体系结构，精于容量规划、性能优化;

3、具备一定的开发能力，精通一门以上脚本语言;(shell/perl/python等)，熟悉java等开发语言一种及以上优先;

4、具备很强的故障排查能力，有很好的技术敏感度和风险识别能力;

5、能够承受较大的工作压力，以结果和行动为准则，努力追求成功;

6、熟悉hadoop、hbase、hive、spark、tez等原理并具备管理，配置，运维经验;

7、熟悉分布式系统设计范型，有大规模系统设计和工程实现的了解者优先。

8、具有运营商流量数据加工处理经验者优先。

主题大数据工作三

大数据模式下的精准营销

于大部份营销者来说，网站再定向(onsite retargeting)是其中一个最重要的营销手段，所谓网站再定向的意思是对曾访问您网站的用户进行宣传，在他们浏览网络时向其展示广告。此手段之所以重要是因为在第一次接触中真正转化为购买的只占2%，而没有产生购买就离开网站的人群体高达98%。网站再定向的威力在于它能够帮助你吸引很多的潜在客户，由于这些用户之前已经访问了您的网站一次，这意味着他们确实对您的产品和服务感兴趣。当你不断向这些用户显示相关的广告，将能够吸引他们回访并完成购买。理论上，网站再定向技术听起来完美，但执行起来，却可能让很多广告主走入死胡同，因为它只能够覆盖到旧有的访客，而无法接触新访客。对于广告主来说，网站再定向是一把双刃刀，它虽然能带来绝佳的roi，却由于覆盖度不足，会在无形中扼杀销售机会。

其实无论是广告数据或购买行为数据，网络都能记录下来，而网络的实时记录特性，让它成为当下广告主实现定位营销的不二之选。随着技术不断革新，广告主精细化定位的需求也不断得到满足。在随后的篇幅中，我们会简单地对比几大定位技术，并通过电商案例分析来讨论如何让这些数据技术协同起来，促成客户从浏览广告到掏钱购买的转化，实现广告主的收益最大化。

网络营销的精细化定位潜力只有在大数据的支持下才能完全发挥出来。图中的数据金字塔划分出了数据的四个层级。最底层是广告表现数据，是关于广告位置和其表现的信息。具体而言，就是广告位的尺寸、在网页的位置、以往的点击率、可见曝光(viewable impreion)等指标。

再上一层就是受众分类数据。如今，市场上的数据提供商可以通过用户的线上和线下的行为，来收集到广告受众的兴趣、需求等数据。这些不会涉及个人真实身份的信息会被分析，并划分为不同的群組，例如性价比追求者、网购达人等。有了受众分类数据，广告主可以在互联网上按自己的需求和品牌的特性来投放。受众分类数据的针对性更强，也能带来比单纯依赖广告表现数据更好的点击率与转换率，因为它提供了消费者行为和偏好等宝贵信息。

第三层是搜索动机数据。搜索再定向是个用于发掘新客户的技术。它的出现让我们能够发掘出那些很可能会购物的用户，因为他们已经开始搜索与广告主产品相关的信息了。那些具有高商业价值的数据可以进一步被筛选出来，广告主可以将具有高购买意愿的人们再定向到自己的产品信息上来。

而位居数据金字塔顶端的是站内客户数据，这指的是用户在广告主网站上的用户行为数据，包括了用户浏览的页面，下载的信息，以及加入购物车的商品等数据。网站用户通常是那些已经了解过品牌并且对公司也熟悉的一群人。

对于广告主来说，金字塔四层的数据都独具价值。举例而言，广告表现数据是每个广告主都首先会关注的信息，因为这些信息在大多数广告管理平台和广告交易平台都能轻易获得的。同时，那些与用户需求和偏好相关的数据，能够助力广告主更好地实现精细化营销。因此，要想针对性地影响消费者购买路径的每个过程，我们就需要把这四层的数据分析整合，才能制定一个更全面的营销方案。

以下，我们将分享一个真实的案例，让广告主明白应当如何打通各层数据，制定覆盖消费者购买路径的精准定位的营销方案。

案例分享

背景：爱点击的客户，国内最知名的电子商务网站之一，希望能提高roi(投资回报率)和线上交易数量

挑战：客户已经使用了网站再定向技术来实现一个较好的roi，但是，从再站内定向所带动的交易数量开始有下降的趋势。

优化策略︰利用多重数据的整合，提升转化漏斗每一阶段的人群数目，以提升总转化量

第一步：网站再定向

广告主会发现网站内再定向带来的购买转化量有限，这是因为大部份广告主只会再定向曾经将商品加入购物车的访客。要想提升网站再定向的效果，最优的方法是根据用户浏览过的页面进行属性分类，并呈现具有针对性的内容。具体参考下图：

有了全面的追踪和分类，再定向受众数量的基数大幅增加。在短短两个星期内，交易数量显着提升，尤其是来自老访客的成交量更是大幅提升44%。

第二步：搜索再定向(search retargeting)及购买第三方受众分类数据

一方面，再定向可以有效地召回老访客，增大重复进入网站及购买的可能性。但同时，广告主还应该考虑怎么能增加新访客，以保证转化漏斗有足够的新增流量。

首先，我们利用搜索关键词捕捉有兴趣的用户，然后储存有关的用户数据，最后，在交易平台上将合适的广告呈现给该用户。此外，我们还会关注第三方受众分类数据中那些有着同样行为特征的用户信息，整合在一起进行精准投放。

在进行搜索再定向及购买受众数据后，新客户所带来的成交大幅度上升254%，广告效果花费cpa下降29%，同时增加该网站整体的浏览量。

第三步：利用机器学习(machine learning)进一步扩大客户的数量

用户来进行定位广告投放。xmo的算法可以对比客户的crm消费者数据与第三方受众数据，并预测出哪些网络用户会有特定的购买倾向。在这个案例中，xmo能通过机器学习来不断产生新的受众，平均每周能够细分出一个有着230万样本的人群。通过将广告投放到我们已有的目标受众群和由机器学习锁定的新目标受众，我们可以看到非常喜人的广告效果，虽然cpa轻微上升14%，但新客户成交量大幅增长26%说明了机器学习能有效地为广告主发掘新客户。

什么是机器学习(machine learning)? (摘自维基百科wikipedia) 机器学习是人工智能的核心，根据数据或以往的经验，通过设计算法来模拟背后机制和预测行为，并获取新的数据。这是一个重新组织已有的知识结构使之不断改善自身性能的过程。研究者可以

通过机器学习来抓取现有数据的特征来预测未知的概率分布，找到新的具有相同特征的数据并加入库中。机器学习中最关键的就是开发出能智能识别复杂模式并能智能化决策的算法。

观点总结

多渠道数据的整合可以在两方面帮助广告主提高广告表现。

首先，此举可以增加广告受众总数，并会为广告主赢得源源不断的访问量。第二，多渠道数据整合后的定向还能促进消费者购买漏斗的每一个过程，广告主通常利用网站再定向技术来召回“购物车放弃者”或者流失的老客户，但实际上，广告主应该把注意力放在现有客户和新客户的比例。 总而言之，从搜索动机数据，到受眾分类数据，到最终的机器学习，都能促进购买漏斗的顶端访客数量的增加。结合上创意的策略定制、精准的位置选择，客户的转化率将会提高，广告主也将挖掘出更多的商机。

主题大数据工作四

职责

1、负责企业级大数据平台、数据云服务的设计与开发;

2、基于大数据生态圈，支持智慧交通等大数据场景应用实现;

3、负责公司大数据产品的设计、封装与落地;

4、负责学习大数据相关算法研究、实现与应用

任职要求

1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验，3年以上大数据架构设计、开发经验;

2、精通大数据生态圈的技术，包括但不限于mapreduce、spark、hadoop、kafka、mongodb、redis、flume、storm、hbase、hive，具备源码级问题解决和集群优化改造能力;

3、熟悉常用编程语言，包括java、python、scala等;

4、具有很强的技术研发和创新能力，能有效把握技术发展方向，有较强的执行能力、学习能力、沟通能力、适应能力，责任心强;

主题大数据工作五

职责：

1. 负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策

2. 参与数据挖掘和建模相关核心算法的代码实现

3. 负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施

5. 负责数据库设计、应用架构设计、核心技术选型等工作

6. 协调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行

7. 培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题

任职要求：

1. 熟悉大数据和数据仓库的系统架构设计方法

2. 熟练使用并理解hadoopspark架构及生态。(hadoop，hive，hbase，elasticsearch，kafka，sparkflink等)

3. 熟悉分布式系统架构，有分布式实时、离线和机器学习平台的架构和开发经验，具备海量数据清洗、分析处理及存储的实践经验

4. 熟练使用java，具有大规模分布式系统调优经验

5. 熟悉ai相关算法，熟悉机器学习、深度学习。熟悉ai学习开源框架(tensorflow、pytorch等)者优先;

6. 具备良好的团队合作精神，对工作充满激情。

7. 熟悉fusioninsight平台开发经验者优先

主题大数据工作六

职责：

1、负责规划科技大数据平台及科技数据入库自动化的方案设计;

2、负责大数据平台的开发和维护，以及对外服务接口的开发;

3、负责大数据平台的优化和改进工作。

任职要求

1、计算机相关专业本科及以上学历，5年以上开发经验，其中3年以上为互联网、大数据相关的开发经验;

2、熟知hadoop生态圈体系，精通hadoop/spark/storm/kafka中的一项或几项，深刻理解mapreduce的运行原理和机制，有mpi经验者尚佳;

3、熟悉elasticsearch、redis、hbased等相关数据库的构建和操作，尤其是数据库集群的构建和操作，熟悉neo4j者尚佳;

4、具有机器学习相关项目经验者优先。

主题大数据工作七

职责：

1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化，不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。

2.负责制定大数据平台调用约束和规范;

3.负责大数据方向技术难题的解决，以及代码质量的把控;

4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养，分享技术经验，撰写相关技术文档指导和培训工程师。

任职要求：

1.热衷于大数据技术，并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;

2.熟悉服务器基本知识，能够评估系统硬件性能瓶颈;

3.掌握linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题，并能提供解决问题的理论依据;

4.精通java服务器编程，熟悉jvm原理，对数据结构和算法设计有较为深刻的理解;

5.精通elasticsearch、redis、hadoop、kafka、zookeeper、yarn、hbase、spark底层架构，熟悉原理、源码、集群部署，包括参数优化、bug修复，贡献过代码或提交过bug者优先

6.具备数据中心资源管理、监控、调度等系统研发经验者优先，具备分布式系统研发经验者优先;

7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;

8.具有良好的文档编写能力，可进行方案设计、架构设计。

推荐阅读：

　　有关信访工作条例版及感悟(5篇)

　　推荐欢迎领导莅临本公司还是我公司指导工作和感想

　　最新新教师岗前培训心得范本(2篇)

　　如何写联谊活动策划方案(二篇)

　　对于开展春节走访慰问会议记录实用(10篇)

　　军训检讨不守纪律(推荐)(6篇)