大数据技术有哪些 (大数据技术有哪些层面以及每个层面的功能)
1.引言
随着大数据大数据技术快速发展，大数据已经成为新的生产力引擎，被广泛地应用到了各个行业，大数据技术对计算机应用产生了深远的影响。中职计算机应用技术专业是培养信息技术技能人才传统专业，开设历史长，培养人数多，同时也存在专业脱离当前产业技术快速发展问题。为此，本文提出计算机应用技术专业开设大数据技术与应用方向，人才培养定位在大数据运维、大数据开发和大数据挖掘3大岗位的技术技能人才培养，同时，基于岗位需求和典型工作任务分析，构建大数据技术与应用方向专业课程体系。
2.专业建设背景
大数据是帮助企业利用海量数据资产，实时、精确地洞察未知逻辑领域的动态变化，并快速重塑业务流程、组织和行业的新兴数据管理技术。2016年12月，工信部公布《大数据产业发展规划（2016-2020年）》。2021年5月，国家发改委发布《全国一体化大数据中心协同创新体系算力枢纽实施方案》。随着移动互联网、大数据、物联网等信息技术产业发展日新月异，信息传输、存储、处理能力快速上升，导致数据量的指数型递增。传统简单抽样调查分析已无法满足当下对数据时效性、海量性、精确性的需求。大数据的出现改变了传统数据收集、存储、处理挖掘的方式，数据采集方式更加多样化，数据来源更加广泛、多样化，数据处理方式也由简单因果关系转向发现丰富联系的相关关系，同时，大数据还能基于历史数据分析，提供市场预测，促成决策。
3.专业建设内容
3.1产业对接
社会经济与产业的发展直接体现在对人才的需求上，中职教育培养什么样的人才，从事什么样的岗位是专业建设的首要问题。通过对行业调研、分析大数据产业生态链与社会人才需求，对接大数据产业与服务支持行业。由于各行业的IT服务对大数据的要求切实存在且又各不相同，因此其服务的行业领域可以宽泛的属于各个行业。专业涉及核心内容仍属大数据领域，因此主要的服务行业可以归并到大数据基础设施与平台，云软件，云服务领域。
3.2人才培养目标设置
为了提高人才培养的质量适应中国经济转型发展，大数据技术与应用专业以学生的知识基础、能力水平、毕业素质以及今后的可持续学习与发展为立足点，将本专业的培养目标从5个层面进行了设置，如下表所示。根据培养目标再细化毕业生的毕业要求，细分毕业指标点，确保培养产业需要的人才，培养社会发展需要的人才。
大数据技术应用专业培养目标
3.3创新人才培养模式
人才培养模式是专业建设的基础，本专业以项目任务和工作流程为引领、岗位需求和职业技能要求为依据，融入职业资格证要求，构建“四方多元三证并行”的工学结合的人才培养模式，如图2所示。其中四方为：政府、行业、企业、学校。多元指“嵌入式培养+N”的培养模式，即与政企校合作信息安全人才培养的多元培养模式。三证并行：大数据技术与应用专业学生需取得毕业证书、英语证书、职业资格证书三证。
“四方多元三证并行”工学结合人才培养模式
3.4课程体系建设
3.4.1.高质量课程体系是培养综合职业能力的关键
在新的历史发展时期，课程体系建设必须走高质量发展道路。只有建设了高质量的课程体系，才能培养学生的综合职业能力，以适应企业对招聘人才的需要，而综合职业能力是由专业能力、方法能力、社会能力、个人能力等多方位能力构成，注重学生综合职业能力的培养，就必须在新的人才培养模式下构建高质量课程体系。学生职业能力的形成和发展，必须参与特定的职业活动或模拟的职业情境，通过对已有的知识、技能、态度等的类化迁移，并得到特殊的发展与整合，从而才能形成职业能力。目前，职业教育的课程建设必须打破传统学科系统化的束缚，将学校教学、工作过程与学生的能力和个性发展联系起来。同时引入校企合作模式，使职业教育冲破校园的围墙，从单纯的学校教育向学校教育与企业实践相结合转变，构建以能力为本位的高质量课程体系。
3.4.2构建与课程体系相匹配的实训基地是落实综合职业能力培养的前提
职业教育课程体系改革是一个必然的发展方向，为此建设好课程体系后，提供与改革的课程体系更匹配的实训基地就必须提上日程了。实训教学是培养学生创造能力、开发能力、独立分析和解决问题的能力，全面提高中职学生素质的重要教学环节。学生通过实训，得到良好的技能训练，掌握当前一线所需要具备的综合职业能力，能够畅通就业通道，提高就业竞争能力。只有加强实训基地的建设，才能达到培养社会急需的，能将最新的科学技术成果与生产实际相衔接的高技能人才的目的。而实训基地建设是一个纷繁复杂的系统工程，在建设过程中必须从就业导向的角度思考，抓住主干，剖析出实训基地的重要部分，并与专业课程建设和改革相结合，构建与课程体系相匹配的实训基地，实现高等职业教育的人才培养目标。
3.5大数据课程体系
人才培养方案是专业教学的纲领性文件,是日常教学的行动指南，而课程体系是人才培养方案的重要组成部分。构建基于综合职业能力内涵相对应的专业课程结构，建设以专业课程体系为核心的实训基地，是目前职业院校培养高就业学生的首选途径，具体思路如下。
3.5.1优化大数据技术应用专业课程体系结构
课程的体系结构是提高教学质量的核心，优秀的课程体系结构，能保证对学生能力的培养更加合理化、系统化、有序化，能保证教学内容、教学方法的质量。优化后的大数据技术应用专业课程体系结构，如图1所示：
图1大数据技术应用专业课程体系结构
3.5.2将实践课程体系转化为实践教学体系
根据学生的实际情况和教学的需要，针对课程体系的逻辑结构，对课程体系进行适当的调整调整，做到教师更有利于教，学生更容易学。完成实践课程体系转化成实践教学大数据技术应用专业。大数据技术应用专业基础实训教学方面，Linux操作系统、网络布线技术等课程组成基础的核心课程，而计算机网络技术、大数据开发基础和数据库技术作为后续专业技能方向奠定基础，专业基础课实训内容下图所示：
大数据技术应用专业核心实践教学内容：要在理论学习的基础上突出综合运用能力的培养，围绕大数据基础技术及专业方向，设立多样化的实验项目。注重培养团队精神以及创新能力的培养，强化培养学生的创新能力，科研素养和团队协调能力。针对每一门专业核心课程，结合相对应的课程设计，以此达到巩固学生的学习成果以及提高学生实践能力。
3.5.3把实践教学体系提炼为典型工作任务
典型工作任务提炼过程主要由学校教师协助企业行业专家完成，由企业行业一线技术人员根据工作经验总结归纳而来。一个职业一般由10～20个典型工作任务构成，典型工作任务是指一个职业的具体工作领域，具有完整工作过程的一类工作，同时这些任务一般都是有挑战性的，而且完成工作的过程能够提高工作能力。另外这些任务还需要有一定的代表性，符合职业发展与人才成长规律 （生手、熟手、能手、高手），经过反复讨论修改逐渐提炼出典型工作任务。提炼后的大数据技术应用专业典型工作任务如下：
3.6大数据实训室建设
大数据技术应用专业的培养目标是培养掌握大数据基础理论知识、掌握大数据平台搭建、数据采集与预处理、数据存储和数据分析及可视化等知识和技能、动手能力强、适应各种岗位工作的复合应用型人才，从事数据爬取、数据清洗、系统搭建、系统维护、解决方案设计等工作。由于大数据知识体系的庞杂性、应用性、实践性等特点，实验室和实训基地在教学过程中起的作用远比其他学科来得重要。在进行基本理论知识教学之后，实验室能够提供给学生动手实践的平台，将理论知识转为实际操作。结合企业人才需求，从数据采集、数据预处理、数据存储、数据分析、数据可视化“五维”角度为专业学科建设提供平台及教学实验环境的支撑。数据采集实训区：满足大数据技术应用专业数据采集的实验学习，覆盖计算机网络、网络爬虫、大数据采集技术的教学实验。
数据预处理实训区：满足大数据技术应用专业数据预处理的实验学习，覆盖Scala、Java、大数据清洗与ETL技术的教学实验。数据存储实训区：满足大数据技术应用专业数据存储的实验学习，覆盖数据仓库、数据库、消息中间件的教学实验。数据分析实训区：满足大数据技术应用专业数据分析的实验学习，覆盖Python数据分析基础、Spark、Flink大数据分析的教学实验。数据可视化实训区：满足大数据技术应用专业数据可视化的实验学习，覆盖网页图表制作与可视化、Python数据可视化、可视化工具的教学实验。
3.6.1大数据理实一体教学平台
云课堂是唯众凭借十多年在职业教学领域耕耘，以“微服务、虚拟化、全栈云”三大核心技术为支撑，助力学校高水平专业建设。该平台采用微服务架构，将平台服务精准分为公共基础、公共应用、专业应用服务。公共基础服务精确为字典、banner、用户权限、文件、认证、网关、订单、转码、平台运营、学校运营、日志、登录、搜索等；专业应用服务精确为KVM虚拟化、容器虚拟化、代码评测、工具、资源、环境等；公共应用服务精确为课程、考试服务、云盘、云优选、题库、活动、工具等。不同的微服务进行因材施教和按需施教，可以非常方便教师实施个性化的教学模式、具体的教学内容、针对性的教学流程，精细赋能Ｗeb前端框架应用教学。
老师利用平台非常方便构建多层次、立体化的教学课程资源，拓宽了学习渠道，极大地调动了学生参与学习的积极性，提高了教学效率，实现了老师在家、在办公室、在教室都可轻松进行无差异环境备课，实现了与学生的“课前”“课中”“课后”和校内校外有机结合的网络在线学习、在线实践操作，并逐步形成课堂教学与云教学相结合的混合式教学模式。该平台在教学中的应用，打破了校园时空限制、教学环境限制，可实现学生的远程学习和弹性自主学习，远程实训和弹性自主学训。
唯众云课堂充分利用KVM和容器等多种虚拟化技术进行精准化教学，根据不同的教学内容选用不同的虚拟化技术、不同硬件资源，如GPU、CPU、算力、不同的实验环境，对不同软件开发语言（C、Java、Python、html等）、同一课程的不同阶段开展精细化教学。唯众云课堂还可根据教学的需求进行公有云、私有云、混合云等不同方式的部署，可以适应学校各种不同的复杂网络环境和资产入库需求而且性价比高、稳定性强。平台还将科研、技能大赛、1+X认证等全流程无缝衔接各种计算机网络、智能化安防、物联网、人工智能等前端应用场景，更加高效开展具有多种功能的开放式、全流程、理实一体化的Web前端教学平台。基于唯众云课堂的“6+6”互动教学流程如下图所示。
3.6.2大数据实训内容
Ø Flink实训内容Flink大数据分析实战内容：Flink批处理实现Word Count、Flink流处理实现Word Count、Flink集群部署、编写程序实现DataStream转换、Flink处理迟到数据、使用处理函数实现Top N、Flink实现多流转换、Flink实现状态编程、使用Table API和SQL实现WordCount
Ø Hadoop生态系统实训内容Hadoop生态系统及其开发实训内容：配置Linux系统、配置Hadoop、用命令实现HDFS文件操作、编写MapReduce程序实现词频统计、Zookeeper集群的安装部署、HBase集群的安装部署、Hive安装部署、Hive Shell操作、Flume安装与应用、Storm集群的安装与配置
3.6.3大数据实训室建设清单
4.结束语
大数据技术是一门应用性创新型的综合性学科，在中职大数据技术实训室建设上必须重视理论教学与实践教学环境相匹配，重视学生的实际操作动手能力的培养，中职大数据技术实训室建设应符合以下目标：
（1）实训室管理简单化、智能化、规范化与高效化，提高设备维护效率，实现硬件资源共享。大数据技术实训室应建设成为操作方便简单，运行与维护成本降低，实现网络设备资源共享，整合现有设备，提高设备利用率，操作与管理应向智能化、规范化与高效化方向发展。
（2）具备先进性、开放性与可扩展性。大数据技术能够在新技术发展的同时，不断更新实训室的功能，保持先进性，满足学生随时搭建实验环境需要，满足学生自主学习的平台需要，大数据技术本质也是网络技术发展的延伸，因此要考虑日后的可扩展性与兼容性，以便于实训室系统功能的扩展和延伸。
（3）开放互动式、网络资源共享型的安全网络实训基地。大数据技术实训室要在满足基本共性的基础上结合本校网络专业人才培养目标进行建设，改变传统教学方式，最终要成为面向全国的实训基地，可以实现网络资源共享，建设成为开放型、互动型的网络化实训基地。
以上是 大数据技术有哪些 (大数据技术有哪些层面以及每个层面的功能) 的全部内容，来自【游乐园】，转载请标明出处！
