随着数字经济时代的到来
率先善用数据资源的企业
注定将会获得更强的竞争力
进而在大浪淘沙的商业市场中
捕捉更多机遇,抢占鳌头!
随着企业数字化转型的不断深入,数据对于业务的价值和重要性也逐渐凸显。无论所在的行业、规模的大小,企业都希望通过更加智能化的方式利用数据,更多的挖掘出数据背后所隐藏的价值,为企业的发展服务。
然而,管理好、利用好数据并非一件容易的事情。业务系统和应用逐年增多,管理难度加大,数据量暴增。越来越多有远见的企业意识到,只有不断提升底层数据基础平台的性能和能力,才能构建数据驱动的业务。与此同时,构建统一的数据管理标准,使用有效的数据开发工具,使得企业数据获取的过程高效便捷。面对这些数据管理的共通性挑战,谁能够率先找到合适的方法应对,更好的应用数据就成为重要的企业核心竞争力指标。针对企业在数据管理和数据价值挖掘方面的需求,滴普科技在亚马逊云科技上打造的FastData Cloud 实时湖仓平台基于现代数据栈的建设思路,全面整合了从数据源到数据分析以及数据价值实现的完整链路,帮助企业建立统一治理、流批一体、湖仓一体的云原生数据智能平台,打造高弹性扩展、实时高处理性能、低运维成本、操作和体验更优的云原生数据智能平台,实现海量数据实时分析,让数据平台真正成为支撑企业数字化转型的核心基础设施。
滴普科技通过云上提供的计算能力和基于人工智能帮助企业降低数据准备与数据分析门槛,即使是普通业务人员,也可以自助在 FastData Cloud 中完整实现从数据源的接入,到数据预处理、建模和服务完成整个数据分析过程,并方便结果分享。支撑多种数据源的接入和管理,让 FastData Cloud 可以通过轻量化的数据接入服务与算法识别表之间的关系,快速生成表关联。搜索分析引擎是基于 NLP 技术的创新,可自动将自然语言转化 SQL 实现自然语言搜索分析。高效实时反馈搜索结果支持即席查询,用户无需长时间等待数据分析结果。FastData Cloud 内置实时运算在对3000万行规模的数据进行常规查询可做到秒级响应。亚马逊云科技所提供的计算能力基于与英特尔十多年的工程合作关系,在云上构建定制硬件以确保亚马逊云科技服务能够在针对客户工作负载进行优化的平台上运行。图:滴普科技基于亚马逊云科技构建的 FastData Cloud在选择合作的云服务提供商时,亚马逊云科技是我们的首选伙伴。我们可以无缝对接亚马逊云资源,包括 Amazon S3 的数据湖存储、支持开源大数据框架的 Amazon EMR 服务打造一站式大数据分析服务。我们的 FastData Cloud 解决方案采用存储、计算分离架构,即使在海量数据之上,也能实现高性能高并发的处理与查询需求。再结合增强数据准备、探索式分析、高效反馈结果等简单易用的产品功能,助力企业客户的业务人员及时做出决策。”——刘波
FastData DataFacts 产品总经理
滴普科技基于亚马逊云科技构建的 FastData Cloud 功能
敦煌网是全球领先的在线外贸交易平台,专注小额 B2B 赛道,为跨境电商产业链上的中小微企业提供从店铺运营、流量营销、仓储物流、支付金融、客服风控、关检汇税到业务培训等环节的全链路赋能,打造集相关服务于一体的全平台、线上化外贸闭环模式,极大降低中小企业对接国际市场的门槛,在赋能国内中小产能的同时惠及全球中小微零售商。在业务发展初期,敦煌网客户主要采用第三方机房服务器托管方式为业务提供支撑,随着业务和数据量的增长,算力瓶颈无法实现高效伸缩、大量数据资产无法实现自上而下的高效管理,企业需要更加智能化的方式来挖掘更多的来自大数据的价值。针对敦煌网的业务现状与需求,亚马逊云科技合作伙伴滴普科技为客户提供了包括数据平台咨询与建设的完整方案,帮助客户构建符合当前业务需求和未来发展的新一代大数据平台,以解决电商数据源多样、数据量大、数据类型多的管理难题,并在云上借助 Amazon S3 统一数据湖与 Amazon EMR 统一的数据框架服务实现数据的快速采集、存储、安全管理与大数据处理。在数据治理方面,滴普科技将 FastData Cloud 实时湖仓平台中的数据智能开发平台 DataFacts 嵌入客户业务中,为客户的数据工程师提供包括数据集成、数据治理、数据开发、数据目录能力,从而实现数据价值可持续释放。图:滴普科技为客户提供的数据智能开发平台与亚马逊云科技融合架构- 在成本方面,通过 Amazon EMR 弹性可扩展的云上大数据解决方案替代传统本地托管的服务器,实现业务高峰期生产环境资源的扩展,并可在集群空闲时期自动实现缩放节点和关闭集群,将此前高昂的基础设施成本转化为更灵活的业务运营成本。
- 在数据开发效率方面,客户借助滴普科技 FastData Cloud 进行可视化的界面协同开发,调度支持日均百万级的大数据任务执行,并实现了嵌套 DAG,采用更加灵活的子 DAG 任务混合编排方式,为 DAG 下存在多层级子 DAG 嵌套使用的复杂调度场景提供更灵活与稳定的支持。
- 在数据安全方面,通过 FastData Cloud,帮助客户使用平台的能力对脚本进行统一的可视化管理,使增删改操作可追溯,保证了数据开发的脚本在平台的开发与测试、生产环境的开发权限控制,从而增强了业务数据集的安全性与平台操作的审计能力。
- 在数据治理能力方面,通过 FastData Cloud 提供的能力,客户利用数据建模围绕数据标准保证数据在建模与开发环节的质量。通过 Amazon EMR 与 FastData Cloud 的结合,很好地形成了统一的数据资产地图,实现端到端的数据一站式治理。
目前,滴普科技 FastData Cloud 一站式云原生大数据分析平台已经上架亚马逊云科技Marketplace,企业客户能够通过订阅的方式快速获得该解决方案,并得到来自滴普科技和亚马逊云科技的技术支持。未来,亚马逊云科技合作伙伴滴普科技将继续在数据基础平台与数据治理等方面保持紧密合作,共同推出更多的产品和服务,立足中国,面向全球,助力中国企业出海,助力其大数据平台建设稳中有升,成就中国品牌全球发展。
北京滴普科技有限公司(deepexi.com)成立于2018年,是领先的数据智能服务商。滴普科技以最新的数据智能技术为基础,以数据的业务价值为核心,为客户提供数据智能领域的大数据基础软件产品与服务。滴普科技的核心产品——实时湖仓平台 FastData,全面整合了从数据源、数据分析到数据价值实现的完整链路,帮助企业建立统一治理、流批一体、湖仓一体的云原生数据智能平台,实现海量数据实时分析,成为支撑企业数字化转型的核心基础软件设施。FastData Cloud 云服务产品,以云原生部署、弹性计费的商业模式,帮助客户提供按需组合式数据工具搭建。DEEPNOVA 开发者社区聚焦数据架构领域,与开发者共同探讨核心基础设施平台能力的技术发展趋势。
亚马逊云科技和英特尔之间拥有14年以上的合作伙伴关系,专注于开发、构建及支持专用于管理成本和复杂性、加速实现业务成果并进行扩展的云服务,以满足当前和未来的计算要求。英特尔的中央处理器产品为部署在亚马逊云科技上的多种云计算服务提供基础。由英特尔® 至强® 可扩展处理器提供支持的 Amazon Elastic Compute Cloud (Amazon EC2) 实例在整个亚马逊云科技覆盖地理区域内提供范围最广、全球性覆盖和可用的计算实例。