DataWorks_大数据开发治理平台_阿里巴巴数据治理最佳实践-阿里云
DataWorks基于阿里云ODPS/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
覆盖数据开发治理的全生命周期简单易用全图形化界面,SQL为主的数据开发方式
开放OpenAPI定制化对接能力产品功能全链路数据开发治理平台,阿里巴巴大数据建设方法论沉淀智能数据建模DataWorks智能数据建模沉淀阿里巴巴数据中台建模方法论,以维度建模为基础,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行诠释,让数据仓库的建设向规范化,可持续发展方向演进。让数仓规范快速落地数仓分层规划与模型设计结合,多个数仓复用一套规范模型设计与数据研发相融合,快速生成规范的表与代码快速构建数据模型支持逆向建模,解决已有数仓建模冷启动的问题同时支持可视化/excel/代码等多种建模方式提供应用层模型建模工具,降低数仓管理的复杂性提升数据指标创建效率通过界面拖拽可视化批量创建指标指标重复性检测、避免指标重复计算查看文档全域数据集成DataWorks数据集成作为大数据平台上下云的核心枢纽,将不同系统的数据相互打通,实现数据自由离线或实时流动, 并致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力,繁杂业务背景下的数据同步解决方案。50+种丰富的异构数据源支持关系型数据库、文件存储、大数据存储、消息队列等50种数据源不限制链路,读写插件都支持离线、实时同步全场景覆盖全增量一体化实时同步,全量增量数据自动合并支持分库分表离线实时同步齐备的网络解决方案提供所有网络场景下的同步解决方案支持跨产品、跨账号、跨云、数据同步查看文档高效数据开发DataWorks数据开发(DataStudio)与运维中心面向各引擎(MaxCompute/Hologres/EMR/CDP等)提供可视化开发的主界面,赋予用户智能代码开发、多引擎混编工作流、规范化任务发布的强大能力,让用户轻松构建离线数仓、实时数仓与即席分析系统,保证数据生产的高效与稳定。大幅提升工作效率非技术人员1~2小时即可掌握完整的数据研发流程无需维护各类开源技术栈,释放更多人力专注于业务数据生产稳定性保障每日稳定调度千万级多引擎、多语言任务智能基线保障数据产出,全链路任务诊断提供更规范、科学的开发模式高效的多人协同任务开发模式规范且安全的任务发布上线流程查看文档主动数据治理DataWorks数据治理包含数据治理中心、数据质量、数据地图等多个产品,覆盖事前、事中、事后的数据生命周期,通过数据治理健康分、质量规则、数据大血缘等能力,将书面的数据治理规范落地成平台化的产品能力,让数据治理不再一个 “阶段性项目”,而是一个“可持续的运营项目”。数据治理量化评估从计算、存储、研发、治理、安全5个方面提供健康分数据治理成效可量化可追溯,提供资源消耗与异动分析数据治理问题自动发现和预防阿里巴巴数据治理经验沉淀,提供开箱即用的治理模板事前治理,内置检查器在数据开发环节提前干预数据治理问题快速处理提供存量治理问题列表并提供修复引导内置37种表级、字段级数据质量规则模板,自动判定动态阈值波动支持数据大血缘,表/字段级数据链路查询与排错查看文档全面数据安全DataWorks数据安全能力融合了蚂蚁集团数据保护伞,具备金融级数据安全与合规能力博亚体育,覆盖数据全生命周期安全管理过程,帮助客户从数据采集、传输、存储、处理、交换等多方面构建数据安全治理体系,满足诸如互联网、金融、制造、政企行业的数据安全管理要求。安全法规产品化落地40+基于各类安全法规提供数据安全保护指导项内置智能金融数据识别模型,满足金融数据安全分级要求细粒度权限控制支持工作空间隔离、按角色赋权支持表、字段、API发布、数据导出、数据分析等高危操作权限审批敏感数据及风险识别与保护内置50多种敏感信息识别模板,完整的日志审计能力数据脱敏与分类分级,数据水印可追溯数据泄露行为内置10+种风险识别规则分析数据处理活动中所面临的风险查看文档快速分析服务DataWorks数据分析与服务旨在为企业提供全面的数据分析与服务共享能力大数据。数据分析可以便捷地连接各类数据源、提供电子表格、SQL查询、自助分析、SQLNotes等多种数据分析能力,满足日常取数分析需求。数据服务支持零代码将数据表生成数据API,同时支持函数计算和服务编排,可将API服务一键发布至API网关,实现安全稳定的数据共享开放。简单快速的数据分析支持MaxCompute、Hologres、EMR等多种数据源自助SQL查询,支持电子表格直接进行快速预览,数据的上传与下载零代码快速构建API支持通过可视化的向导模式生成API,也支持通过SQL脚本模式编写复杂查询逻辑生成API高效的服务编排提供拖拽式的工作流编排能力,以串、并行和分支等结构编排多个API及函数服务为工作流,创建复杂API查看文档应用场景互联网游戏金融新零售内容资讯数字政府电力方案描述互联网业务变化与增量速度都非常快,通过DataWorks+阿里云ODPS构建 简单、灵活,弹性的技术架构满足业务发展需求。业务场景构建实时离线一体化数据仓库推荐、风控、分析等实时业务业务价值支持弹性伸缩,成本下降30%简化纷繁复杂的多种大数据技术架构推荐搭配使用方案描述随着游戏项目生命周期越来越短, DataWorks对接数据湖, 让游戏行业从粗放式的运营走向实时、精准、经济、高效的 数据化运营体系。业务场景多源设备数据采集分析数据综合治理业务价值游戏行业全链路分析支持实时决策及调整推荐搭配使用方案描述随着金融行业发展,传统的离线数仓已经越来越难以满足 业务的实时诉求,通过DataWorks构建实时数据仓库, 推动行业大数据业务化运营转型。立即购买业务场景实时客户分析及精准推荐实时营销活动分析及监控业务价值构建客群标签画像,直观描述群体特征减少重复营销成本,提高ROI推荐搭配使用方案描述为了快速数智化转型,拥抱新零售,新零售企业通过DataWorks构建数据中台,可以帮助企业降低TCO的同时,更好的依托云上生态,实现数据资产业务化闭环。业务场景新零售数据中台建设业务多维分析业务价值业务数据化,全域数据中台构建数智底座数据业务化,数据综合治理驱动业务增长推荐搭配使用方案描述互联网进入下半场,流量的精细化运营成为大部分企业的挑战,通过DataWorks+PAI构建白盒化智能推荐解决方案,提高点击转化效果。业务场景电商/资讯/广告/视频/社交等推荐业务推荐模型训练加速及精准度提升业务价值提高推荐点击率转化加速AI业务落地及发展推荐搭配使用方案描述随着新冠疫情等黑天鹅事件的发生,对政府敏捷性与灵活性提出了更高的要求。DataWorks数字政府解决方案与 DataQ等生态产品的结合, 助力政府协同化、数字化,智能化,协助政府更好服务社会公众。业务场景政府数据中台建设健康码等数据业务支撑城市大脑数据底座业务价值与生态结合博亚体育,通过产品的高度成熟化,将理论与实践相结合,推动政府治理精细化,服务便捷化,响应敏捷化,民生普惠化。推荐搭配使用方案描述为了加快建设“三型两网、世界一流”发展战略,通过整体电力解决方案,进行数据中台规划与建设,构建电力行业新一代信息基础平台,带动公司IT和数据资源建设、应用及运维向企业级转变。业务场景一云多Region数据中台架构统一运营运维管理业务价值建设电力一朵云,形成“IT资源服务中心”和“数据服务中心”,实现运营“两级协同”,满足公司泛在电力物联网建设需求。推荐搭配使用客户案例服务数万家各类国家级/省市级平台、央国企、世界500强、中小企业了解更多class=ace-link ace-link-primary style=text-decoration: none;>
国家电网总部+27家省(市)公司PB级数据中台,通过全链路治理与监测运营体系,加快电网整体数字化转型升级class=ace-link ace-link-primary style=text-decoration: none;>
大润发大润发与阿里云合作启动数据中台项目,15天完成400TB+数据迁移,并基于飞天平台构建了独有的数据中台体系class=ace-link ace-link-primary style=text-decoration: none;>
客如云客如云依托阿里云大数据平台低成本地建设新零售数据中台,并构建实时大屏、商家画像等应用产品赋能商家客户分贝通利用DataWorks数据建模进行整个数仓的规范化设计,让数据仓建设从“人治”走向“法治”权威评测通过国内外研究机构多项产品能力评测PreviousIDC 2021阿里云以23.4%份额获得2021中国数据治理平台市场份额第一
阿里云在数据治理领域主要提供自主研发的全链路大数据开发治理平台 DataWorks。DataWorks 是中国市场上较早的数据治理平台型产品,从 2009 开始在阿里巴巴内部不断积累数据治理经验,并在阿里云上对政府、能源、金融、互联网、零售等博亚体育多个行业的客户进行方法论与产品化的输出博亚体育。
阿里云凭借MaxCompute、DataWorks、AnalyticDB产品的现博亚体育有能力、产品战略、市场表现三项优势,进入Forrester Wave 2021 Q1云数据仓库卓越表现者象限,成为入选此次评测的唯一中国厂商,并由竞争者象限跃升至卓越表现者象限。从产品现有能力看,阿里云比肩以及领先于领导者象限的部分云厂商。
阿里云首个通过评测,并达到最高等级先进级(3级)。本次评测共涉及10个能力域,44个能力项和577项技术要求。全方位覆盖大数据平台的数据存储、数据集成、数据管理与治理、数据开发、数据处理及分析、数据服务、高可用、平台管理、系统运维、数据安全等能力。
阿里云一体化大数据智能计算平台ODPS(Open Data Platform and Service)入选世界互联网领先科技成果,10余年来持续迭代,提供了实时离线一体、流批一体、湖仓一体、大数据+AI一体的多场景能力,是业界少有的完全自主研发,支持10万级服务器并行计算、百万级CPU可扩展大数据智能计算平台。DataWorks作为ODPS统一开发治理平台提供服务。
依托于EMR、OSS、DataWorks产品组合的数据湖,满分通过了信通院云原生数据湖评测,评测分数排名第一,解决方案全面兼容HDFS,湖权限和生命周期管理能力升级。DataWorks on EMR全链路数据湖治理解决方案提供了基于EMR数据湖的一站式湖开发、运维、治理平台,帮助用户快速基于阿里云数据湖构建自己的数据中台。
DAMA(国际数据管理协会)是非营利性、专注数据管理和数字化的全球性专业组织,协会自 1980年成立以来,逐渐成为业界的标杆和权威。目前协会在全球有会员2万人,分会52个。DataWorks凭借全链路数据治理产品体系,丰富的行业客户最佳实践案例,满足数据治理中关于规范、稳定、质量、管理、安全、分析、服务等各个方面的诉求。
活动中涉及“折扣”、“优惠”、“×折”或“省××元”,指相同规格产品的价格在本次活动与无任何活动时的比较。
免费使用基础版,部分免费按量资源,高效的大规模数据开发治理协同工具,集团内用户数月活超过5万人
DataX商业版,支持全增量离线实时一体化同步,高效稳定的云上大数据同步工具
利用关系建模站在全企业角度对企业内众多实体进行抽象,设计一整套符合3NF的模型。
保障数据服务API调用时的高并发、高可用、高稳定,实现更加安全稳定的数据查询及共享。
FunctionStudio上新功能——UT测试、全文搜索、自动代码生成片段
DataWorks支持CDH(Cloudera Distribution Hadoop)重磅发布
DataWorks数据集成新增全增量一体化实时同步到AnalyticDB MySQL 3.0的功能
数据集成一键实时同步至MaxCompute/Hologres突破1000张表限制