2022-12-17
2022-12-17
2022-12-14
2022-12-17
2022-12-13
更新时间:2024-01-29 20:03:46 发布时间:24小时内 作者:文/会员上传 下载docx
2022-12-17
2022-12-17
2022-12-14
2022-12-17
2022-12-13
1)负责公司软件产品整体架构的设计和关键功能实现
2)负责公司架构长期看护以及优化;
3)负责软件部门各模组间的协调配合;
4)提高巩固软件代码质量;
5)负责大数据流式框架的设计、优化及部署;
6)规划研发部门员工的技术发展路线并提供必要的帮助和指导
任职资格:
1)本科及以上学历,计算机相关专业,5年以上工作经验;
2)频繁换工作,比如一年一个公司,请绕路;
3)3年以上产品架构经验,主导过产品的成功上线;
4)对底层设备通讯协议,b/s系统,手机app开发等都有一定的了解;
5)对各种主流语言c#\java\pathon有一定的了解
5)精通各种大数据架构,并深入研究过其中一种,有storm\kafka等流式实时处理经验为佳
6)能够承担较强的工作压力,有良好的自我驱动能力和责任感;
7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。
职责:
1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;
2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;
3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作
5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;
6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。
任职要求:
1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉bi平台、大数据系统相关技术架构及技术标准;
2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;
3.熟悉大数据相关技术:hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;
4.熟悉制造企业信息化系统及相关数据库技术;
5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;
6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;
7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。
职责:
1、 负责大数据仓库、数据集市的规划及实现,负责大数据中台的设计和核心开发工作;
2、 负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为公司的业务提供大数据底层平台的支持和保证;
3、 大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;
4、 研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线
任职资格:
1、 精通数据建模、数据标准管理、元数据管理、数据质量管理;
2、 有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;
3、 熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、flink、spark等;
4、 性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力; 在数据业界有一定的影响力优先,具有风控经验背景的人优先;
5、 具备独立的深度思考能力,给出结合实际情况的较为理想的技术解决方案。
高校教育大数据的分析挖掘与利用
摘 要,本文从高校教育大数据的汇聚融合与挖掘应用的角度,分析了如何运用教育大数据技术推动大学管理和人才培养的创新改革的思路和方法。首先,分析了教育大数据对高校现代化、精细化、规范化管理的4个价值,其次,给出了高等教育大数据技术平台的基本技术架构,第三,结合教育大数据实际应用,介绍了陕西省高等教育质量监管大数据中心、mooc中国、西安交通大学教学质量综合监控与评价三个典型案例,最后,提出了教育大数据分析挖掘中的3项基础性关键技术
关键词,高等教育,大数据,分析,挖掘
高校大数据分析挖掘至少有四个典型价值, 一是使得大学的管理更加精准高效,可以朝着智慧治理、分类管理、过程监控、趋势预测、风险预警的方向发展,真正实现基于大数据分析规律的精准治理,改变管理的模糊性, 二是可以更加准确地分析评价课堂教学的质量,过去我们对课堂、对老师的评价是定性和模糊的,而在大数据智慧课堂的模式下,可以真正实现采集样本的持久化,采集方式
的多元化,挖掘手段的多样化,分析技术多维度,通过这些方式可以提高课堂教学的质量, 三是使得教和学更加智慧,更加有效。对学生来说,老师可以了解学生学习的进展情况,发现学习兴趣点,以及对老师讲的哪些内容理解或者不理解,学习路径分析及课程推荐等等。对教师而言,不仅可以跨校跨地域分享他人的优秀课程,而且可以对学习者进行精准分类,进行个性化指导, 四是资源服务的个性化、精准化推荐与服务,学习绩效的个性化评价,以及个性化教学管理,个性化手机内容推送等等,这些功能将有效提升教与学的效率和质量
首先,我们对高等教育大数据技术平台有一个总体的顶层设计,如图1所示。这不仅是学校自己要有一个大数据的管理平台或者是数据中心,而且也是面向区域乃至全国的平台。教育部评估中心正在努力建立国家级高等教育教学质量监控大数据中心,陕西省也是这样考虑的。数据来自高校、教育管理部门以及行业、第三方、企业用人单位等等各方面采集的数据,该数据平台既有大学的业务数据、课程资源,也有政府部门的统计数据,还有学生网上学习的日志数据,用户产生的ugc数据,比如微信、微博、论坛等等的数据,基于大数据平台,开展面向学习者、面向高等教育管理机构、教师、高校等提供服务,并和教育部评估中心、主管部门等
进行数据交换与对接
显然,这样一个大数据平台必须是一个高性能的计算平台,没有这样的基础设施一切无从谈起,所以去年我们学校花了很大的力气做了两件事,一个是把校内二级单位原来小的集群计算进行整合,形成学校统一的高性能云计算平台,既面向校内的科学研究、人才培养提供服务,其实也可以为社会提供合作共建共享模式。目前,我们已建立了一种自我造血机制,四两拨千斤,以这个平台吸引更多的外部资源,努力扩展平台的性能和应用
目前,我校的高性能平台除了应用于材料、航天、能动、信息等大型科学计算之外,还开展了以下三项典型的大数据应用
案例1,陕西省高等教育质量监控与评估大数据应用
图2所示的是陕西省高等教育的整体架构。其数据基础是来自陕西省100多所高校的各种办学状态数据,有将近700个表格,以及陕西省教育厅各个职能部处的各种各样的管理数据,此外还有行业第三方提供的数据,包括招生、就业数据等等,这个平台上我们开展预测预警、查询在线分析、信息发布、统计决策等等,主要是为省级教育管理部门、评估机构、教育管理机构提供各种各样的办学状况的分析、统计、关联分析
建设全省高等教育大数据服务平台,实时采集各高校的办学状态数据,其根本目的是为了汇聚全省各高校的办学状态数据,打破数据孤岛,融合各方数据,实现横向关联比较、纵向历史分析,提供精准服务,支持科学决策
首先,该平台面向省教育厅提供了11项功能,从根本上解决了原来各处室间的数据孤岛的问题,实现了数据融合,横向关联,纵向融通,这个数据和各个高校是实时融通的,为省教育厅领导和职能部处提供了领导仪表盘、各职能处室的专项服务、81张高基表及年报年鉴表格的自动生成、绩效分析、招生就业及办学指标计算、教育评估等功能,从根本上解决了数据碎片化及其治理问题
其次,面向全省高校辅助决策,为高校领导以及校内各个职能部处提供了系列功能,包括办学情况综合分析和在线查询,专业结构分析比较,校级的教学质量监控评测体系,教师管理等等,这些功能非常实用,这是大学实现精细化、规范化、现代化管理的必备基础。以我校为例,我们过去教师的数据可能在人事处、教务处、科研院等学校的职能部门,采取本平台以后,把教师有关的所有数据都进行了融合,打通了所有原来割裂的数据。从去年开始,我们学校的职称评聘,年度考核全部基于这一平台,全部在大数据里,建立健全了基于数据驱动的精准化服务,解决了数据碎片化历史遗留问题,实现了从管理信息化向服务信息化的根本转变
第三,为本科教育教学评估及专业认证提供技术支撑。鉴于本平台能提供比较全面的高校办学状态数据,便于专家在进校之前全面系统地掌握学校办学的情况,找到问题,精准查看验证,提高效率,给高等教育评估提供了重要支持。基于本平台,我们成立了中国西部高等教育评估中心,接受陕西省教育厅指派的省属本科高校的审核评估和专业论证。如果没有这一高等教育大数据平台的支撑,工作量和难度是极其巨大的,甚至难以实现
案例2,mooc中国技术平台
mooc中国成立于20_年1月,到目前为止已经有121所高校加入,理事单位40家,会员单位80家。该平台的宗旨是,做政府想做的,做社会愿意做的,做单一高校做不了的事情。例如,真正解决校际资源共享、学分互认等,开拓远程教育国际化等未来发展的难题。 图3给出了mooc中国的技术框架。其核心是互联网+教育,实现互联网教育从1.0到2.0的升级。基于这一平台,既要开展网络教育业务的国际化,比如我们牵头成立的“丝路大学联盟”,其目的之一是借助mooc中国平台,实现网络教育业务的国际化,通过mooc中国平台,面向“一带一路”国家开展开放教育和技能培训
到目前为止,mooc中国已经有了9911门课程,用户将近600万,其中光it培训的有500多万,学历教育在读
学生50多万
案例3,西安交大教育教学大数据分析挖掘与应用
学校非常重视教育信息化技术融入和应用到教育教学之中,去年一次性建成了80个智能教室,把物联网技术、云计算技术应用于智能教室和教学一线,基于物联网技术实现教室设备的集中管理、智能控制,同时,将互联网技术深度融入到教室的管理当中,除了多媒体的直播录制功能以外,还提供了学生考勤和专家的精准督导,通过云平台来集中管理各个教室,比如说开投影机、关电源、关多媒体设备等等,都可以通过后端的云平台集中管控,真正实现教室管理的数字化、智能化、精细化,提升了教学保障的能力,也大大提高了教室管理的效率。更重要的是,这些教学的过程数据可以全程采集下来,获得数据,有了这些数据,就可以做精准化分析服务,建立西安交大教学质量大数据监测中心 目前,我校的教学大数据主要包括两大部分,一是教师在授课过程中的全程录制的课堂实况,二是学生在学习过程中产生的大量日志数据。基于这个平台,我们可以开展教育教学的大数据关联分析,开展课堂教学质量的综合评价,实现正面激励、负面惩戒、精准督导,实现教学评价从模糊宏观到量化精准、从每学期制到持续常态、从部分随机到全面覆盖、从事后评价到实时动态的根本转变。通过评价激励老师敬畏课堂,评选精品课堂、示范课堂,在全校内进行正面
表彰,另外也作为教学质量评价的重要依据,包括教师的职称晋升,评选最喜爱的老师等等
此外,本系统还为学院领导和管理部门提供了针对性的信息服务与决策支持,以数据说话,量化分析,改变了以前我们的模糊评价,采取多维度、全覆盖、持续化、精细化的过程评价与监控
首先,介绍一下大数据人工智能的基本原理。前段时间,alphago战胜世界围棋冠军这一故事炒得很热。这对我们的教育科研工作者提出了一个重要的课题,到底人工智能会不会战胜人类的智能,将来教师存在的主要价值是否还有必要,863计划正在研究一个项目,到20_年,人工智能软件参加高考得分要超过一本线,这就是说,计算机教出来的机器软件参加高考都能达到一本线以上。这就引起我们的思考,这是一个深层次的方向性问题。当然我们今天不是谈这个问题,而是我们要看看alphago的原理,其核心是价值计算函数,用收益函数来判断围棋下一步该落子到哪里其收益是最大的,其中采用了人工智能深度学习方法。alphago并非天生聪明,其实他的智慧是分三步完成的, 第一步,给alphago输入了3000万个人类围棋高手的棋谱和走法,任何一个人是不可能记住3000万个棋局的,只有人工智能才能记住 第二步,alphago自己和自己对弈,在对弈过程中找到自己的薄弱点,进而改进和完善,这其实和人的学习原理类似
第三步,才是人机对弈,从职业选手到世界围棋冠军,通过这样不断的对弈完善算法,校正学习,使得alphago具有强大的智能计算能力。alphago的难点在哪,其关键在于在一个巨大的落子空间选一个最大的收益点,或者落子点,称之为movepicker,,函数,这个空间很大,有10170次方,在如此庞大的计算空间中选择最优函数,只能依靠高性能计算平台
alphago为我们研究大数据问题提供了思路和启发。我们在研究教育大数据问题中需要着力攻克以下理论与技术难题
第一,大数据造成了严重的认知碎片化问题。比如,大家在百度搜糖尿病会检索出4440万个数据源,谁也看不过来,并且里面还有一大堆真假难辩的数据。所以,碎片化知识的聚合是一个非常基础的难题,高度的碎片化降低了知识的可用性,造成了分布性、动态化、低质化、无序化等典型的问题
一方面是知识的碎片化,另一方面是每个人的兴趣和需求还不一样。所以,资源的碎片化整合以及个性化推荐是今后人工智能中的关键问题。我们的思路是,一方面,我们要
从资源的角度把无序、分散、低质的资源进一步重组以后形成知识点,形成有序的知识地图,另一方面,要对学习过程进行跟踪,实现兴趣、个性、情感等方面的动态分析与挖掘,两者结合起来,建立基于用户兴趣和个性的资源推荐,最后实现个性化精准过滤,通过知识地图面向用户提供导航学习,从而缓碎片化知识的问题。开展这一研究也要建立庞大的基础数据,就像刚才讲的alphago,光靠智能软件肯定不可能那么聪明,需要建立庞大的知识地图、知识图谱,并将其放到了国际开源社区和开放数据平台之上 第二,碎片化知识的聚合问题。其目的是解决“既见树木,又见森林”的问题,破解“学习迷航”、“认知过载”的问题。我们正在承担国家自然科学基金重点项目,研究如何将多源、片面、无序的碎片化知识聚合成符合人类认知的知识森林,找出主题与主题之间的认知关系,最后形成一个知识森林,其中需要解决主题分面树的生成、碎片化知识的装配、知识森林生成、学习路径选择与导航等有关知识地图、知识图谱构建与应用等许多基础性关键技术
第三,学习行为的分析和挖掘技术。网上学习最大的好处我们可以把教师和学生所有的教与学的行为记录下来,讨论、作业、习题、笔记及进度记录下来,有了这些数据,我们可以进行后续分析,开展学习行为的特征识别和规律发现等等,既可以跟踪挖掘某个个体的学习规律,也可以找出一
个群体、一个小组的特征和规律。针对不同的课程,开展课程点击率、学习人群、知识关注点、学习时间等的分析与跟踪,刻画一个学生学习的过程,从时间、空间和课程知识导航的角度,甚至围绕某个知识点,研究学习者的特征、行为、交互等相互之间的关系,为老师深化课程改革、探索以学生为中心的教学设计具有非常重要的意义
教育是全人类、全社会发展的基础性事业,随着互联网+技术全面渗透和深度融入教育教学,不仅产生了大量的课程资源和学习内容,而且还产生了巨量的教育教学管理数据、行为数据、服务数据,蕴藏着巨大的价值,亟需我们开展深入研究,可谓前景广阔,挑战巨大,
,编辑,王晓明,
大数据时代下的财务管理
acca(特许公认会计师公会)与ima(美国管理会计师协会)近日联合发布的一份新报告指出,“大数据将如何(而不是在何种程度上)影响商业世界?”是会计师和财会专业人士最应该问自己的一个问题。
这篇名为《大数据:机遇和风险》(big data: its power and perils)的报告阐述了各种规模的企业、政府以及监管机构利用这种非结构化信息财富的可能性,但也指出了大数据所带来的法律和道德上的潜在风险。
大数据的优势
在acca和ima最近开展的一次调查中,有76%的亚太地区受访者和62%的全球范围内受访者认为大数据对企业未来极其重要,具备赋予有远见卓识的企业超越竞争对手优势的潜能。企业和政府可以收集到的数据量和数据种类正在快速增长,提供了一个潜在的信息宝库。组织、理解和分析大数据的能力成为企业进行重大投资的核心任务。
acca中国事务总监梁淑屏表示:“问题不在于大数据的重要性何时凸显,事实上其重要性已经不容忽视。能够分析和应用这类信息,才是潜力之所在。大数据是财会行业近几年面临的最大机遇。财务部门运用其分析技能,能够为高级管理层提供更多变量的实时动态,这将使他们跃居企业战略核心位置。”
“财务职能部门不应该仅限于提供年终报告,这个问题我们已经讨论了多年,而大数据让我们的想法变为现实。此外,财务职能部门的道德管理工作也会变得至关重要。结合其分析技能和职业道德,财务职能部门最终将成为企业战略和成功的基石。”
大数据不仅在私营部门显示出不可估量的价值,它还能使审计人员和监管机构更容易发现大规模的欺诈情况。监管部门已经开始在其调查中使用大数据了。
大数据的危险
“大数据为企业带来巨大机遇,但我们必须记住,政府和个人需要高度重视隐私问题。”ima负责研究部门的副总裁raef lawson博士(美国注册管理会计师,美国注册会计师)指出,“我们已经注意到有这样的高调抗议活动,反对组织持有数据,甚至某些时候出售数据。对于财会专业人士来说,引导他们的企业小心避开道德和法律的雷区至关重要。”
职责:
1、负责spark, hadoop, flink等开发和优化。
2、参与前期需求沟通和分析,以产品化开发的思维,完成需求分解和数据架构设计。
3、与研发和数据科学家合作保证产品定义清晰,按时完成产品上线。
4、能够洞察市场状况,与各部门合作转化为基于大数据挖掘的新策略或方案.
5、主动创造和发掘新的基于大数据挖掘产品商业模式.
任职要求:
1、全日制本科及以上学历,计算机软件相关专业,5年以上开发经验,3年以上架构经验
2、精通hadoop/mapreduce/spark/hbase/flink/hive/r/mahout等分布式数据存储和分布式计算平台原理,流式计算开发,有开源二次开发经验者优先。
3、精通大数据挖掘、机器学习.熟练掌握java/perl/python至少一种编程语言。
4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;
5、良好的跨部门沟通合作能力,解决不同观点能力并取得结果。具备敏锐的互联网产品理解力,学习能力和逻辑思维能力强;
6、较强的自我驱动力、推动和协调能力,强烈的责任心和团队合作精神;
职责:
1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;
2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;
3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;
4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;
任职要求:
1、本科及以上计算机相关专业毕业;
2、精通离线和实时数据处理流程,掌握离线数据处理框架hive、impala、spark-sql等,掌握实时数据处理常用技术工具,包括storm、sparkstreaming等;
3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验;
4、掌握常见数据流接入工具,包括flume、kafka等;
5、熟练掌握基本的linux操作系统和某种脚本语言编程(如shell等);
6、掌握一种或以上实时处理语言,如java、scala、python等,有scala经验者优先;
7、有实际大规模数据(tb级以上)处理经验优先;
职责:
1、负责公司大数据产品的架构设计,包含数据收集、数据存储、数据应用,并完成相关架构设计文档的撰写;
2、参与规划从数据源到数据应用的整体流程,并参与相关产品的决策;
3、负责解决核心技术问题,对技术方案进行决策;
4、负责大数据研发团队建设、人才梯队培养和技术团队管理;
5、积极了解业界发展,研究与跟踪大数据新技术发展方向。
任职要求:
1、精通goldengate for bigdata相关理论,具备大型数据利用的生产实战经验;
2、精通数据驱动的理论,设计并生产上线相关数据驱动的产品;
3、精通常用消息中间件的使用,例如kafka/rocketmq/apache pulsar,有解读相关源码者优先;
4、掌握hadoop、spark生态体系相关产品的使用,掌握mapreduce编程或spark编程;
5、了解传统数据仓库理论及相关etl工具,例如kettle/datastage;
6、熟悉oracle、mongodb、mysql数据库的使用;
7、扎实的java语言基础,熟悉java开发工具和调试工具的使用;
8、良好的团队协作精神,有能力对团队在软件设计、实现和测试方面进行指导;
9、良好的逻辑分析能力和沟通能力,执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神,有一定的推动能力;
10、计算机科学、信息技术或相关领域本科以上学历,具有5年以上数据平台项目开发经验,3年以上的架构设计经验,具有大数据平台应用大型项目架构设计经验优先;
将本文的Word文档下载到电脑
推荐度: