什么是数据工(gōng)程师?
数据工(gōng)程师设计、构建和优化大规模数据收集、存储、访问和分(fēn)析系统。它们创建数据科(kē)學(xué)家、以数据為(wèi)中(zhōng)心的应用(yòng)程序和其他(tā)数据消费者使用(yòng)的数据管道。
这个IT角色需要大量的技(jì )术技(jì )能(néng),包括SQL数据库设计和多(duō)种编程语言的深入知识。数据工(gōng)程师还需要沟通技(jì )能(néng),以便跨部门工(gōng)作(zuò),了解业務(wù)领导者希望从公(gōng)司的大型数据集中(zhōng)获得什么。
数据工(gōng)程师通常负责构建访问原始数据的算法,但要做到这一点,他(tā)们需要了解公(gōng)司或客户的目标,因為(wèi)使数据策略与业務(wù)目标相一致非常重要,尤其是在涉及大型复杂数据集和数据库时。
数据工(gōng)程师还必须知道如何优化数据检索,以及如何為(wèi)利益相关者开发仪表板、报告和其他(tā)可(kě)视化。根据组织的不同,数据工(gōng)程师也可(kě)能(néng)负责传达数据趋势。较大的组织通常有(yǒu)多(duō)个数据分(fēn)析师或科(kē)學(xué)家来帮助理(lǐ)解数据,而较小(xiǎo)的公(gōng)司可(kě)能(néng)会依赖数据工(gōng)程师来担任这两个角色。
数据工(gōng)程师的角色
根据Dataquest,数据工(gōng)程师可(kě)以扮演三个主要角色。这些措施包括:
多(duō)面手:通常為(wèi)小(xiǎo)团队或小(xiǎo)公(gōng)司工(gōng)作(zuò)的数据工(gōng)程师作(zuò)為(wèi)公(gōng)司中(zhōng)為(wèi)数不多(duō)的“以数据為(wèi)中(zhōng)心”的人之一,身兼数职。这些通才通常负责数据处理(lǐ)的每一步,从管理(lǐ)数据到分(fēn)析数据。Dataquest表示,对于任何希望从数据科(kē)學(xué)过渡到数据工(gōng)程的人来说,这都是一个很(hěn)好的角色,因為(wèi)小(xiǎo)型企业通常不需要為(wèi)规模而设计。
以管道為(wèi)中(zhōng)心:通常在中(zhōng)型公(gōng)司中(zhōng),以管道為(wèi)核心的数据工(gōng)程师与数据科(kē)學(xué)家一起工(gōng)作(zuò),帮助利用(yòng)他(tā)们收集的数据。Dataquest称,以管道為(wèi)中(zhōng)心的数据工(gōng)程师需要“对分(fēn)布式系统和计算机科(kē)學(xué)的深入了解”。
以数据库為(wèi)中(zhōng)心:在大型组织中(zhōng),管理(lǐ)数据流是一项全职工(gōng)作(zuò),数据工(gōng)程师专注于分(fēn)析数据库。以数据库為(wèi)中(zhōng)心的数据工(gōng)程师跨多(duō)个数据库使用(yòng)数据仓库,并负责开发表模式。
数据工(gōng)程师职位描述
数据工(gōng)程师负责管理(lǐ)和组织数据,同时关注可(kě)能(néng)影响业務(wù)目标的趋势或不一致性。这是一个技(jì )术性很(hěn)强的职位,需要编程、数學(xué)和计算机科(kē)學(xué)等领域的经验和技(jì )能(néng)。但是,数据工(gōng)程师还需要软技(jì )能(néng)来向组织中(zhōng)的其他(tā)人传达数据趋势,并帮助企业利用(yòng)其收集的数据。数据工(gōng)程师最常见的职责包括:
开发、构建、测试和维护體(tǐ)系结构
使體(tǐ)系结构与业務(wù)需求保持一致
数据采集
开发数据集流程
使用(yòng)编程语言和工(gōng)具(jù)
确定提高数据可(kě)靠性、效率和质(zhì)量的方法
对行业和商(shāng)业问题进行研究
使用(yòng)大型数据集解决业務(wù)问题
部署复杂的分(fēn)析程序、机器學(xué)习和统计方法
為(wèi)预测性和规范性建模准备数据
使用(yòng)数据查找隐藏模式
使用(yòng)数据发现可(kě)以自动化的任務(wù)
基于分(fēn)析向利益相关者提供更新(xīn)
数据工(gōng)程师vs.数据科(kē)學(xué)家
数据工(gōng)程师和数据科(kē)學(xué)家经常密切合作(zuò),但发挥着截然不同的作(zuò)用(yòng)。数据工(gōng)程师负责开发、测试和维护数据管道和数据架构。数据科(kē)學(xué)家利用(yòng)数据科(kē)學(xué)从大量结构化和非结构化数据中(zhōng)发现见解,以塑造或满足特定的业務(wù)需求和目标。
数据工(gōng)程师vs.数据架构师
数据工(gōng)程师和数据架构师的角色密切相关,经常混淆。数据架构师是将业務(wù)需求转化為(wèi)技(jì )术需求并定义数据标准和原则的高级幻想家。他(tā)们可(kě)视化并设计组织的企业数据管理(lǐ)框架。数据工(gōng)程师与数据架构师合作(zuò)创建该愿景,构建和维护数据架构商(shāng)的数据框架指定的数据系统。