使用了Hadoop集群作为公司的数据湖架构,数据湖和数据仓库的区别是什么数据湖就是一个集中存储数据库,在数据仓库中存储数据之前定义架构,Hadoop集群成本仅仅是公司之前所部署的IBMNetezza数据仓库系统的十分之一,一、区别：数据湖作为一个集中的存储库,Razorsight首先建立专门用于数据存储的集群,由Razorsight数据科学家进行分析;集群具有五个生产节点和120 TB的存储容量,将可视化层和Razorsight分析结果数据转移到数据湖架构中。
什么是数据湖泊
数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。
如何区别数据库、数据中台、数据湖
数据湖、数据仓库和数据中台，他们并没有直接的关系，只是他们为业务产生价值的形式有不同的侧重。
一、区别：
数据湖作为一个集中的存储库，可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中，可以存储数据不需要对其进行结构化，就可以运行不同类型的分析。
数据仓库，也称为企业数据仓库，是一种数据存储系统，它将来自不同来源的结构化数据聚合起来，用于业务智能领域的比较和分析，数据仓库是包含多种数据的存储库，并且是高度建模的。
数据中台是一个承接技术，引领业务，构建规范定义的、全域可连接萃取的、智慧的数据处理平台，建设目标是为了高效满足前台数据分析和应用的需求。数据中台距离业务更近，能更快速的相应业务和应用开发的需求，可追溯，更精准。
二、关系：
数据湖、数据仓库更多地是面向不同对象的不同形态的数据资产。而数据中台更多强调的是服务于前台，实现逻辑、标签、算法、模型的复用沉淀。
数据中台像一个“数据工厂”，涵盖了数据湖、数据仓库等存储组件，随着数据中台的发展，未来很有可能数据湖和数据仓库的概念会被弱化。
三、小结：
数据空间持续增长，为了更好地发挥数据价值，未来数据技术趋于融合，同时也在不断创新。
数据湖和数据仓库的区别是什么
数据湖就是一个集中存储数据库，用于存储所有结构化和非结构化数据。数据湖可用其原生格式存储任何类型的数据，这是没有大小限制。
数据仓库是位于多个数据库上的大容量存储库。它的作用是存储大量的结构化数据，并能进行频繁和可重复的分析。
数据科学家
可能会用具有预测建模和统计分析等功能的高级分析工具。而数据仓库就是数据仓库非常适用于月度报告等操作用途，因为它具有高度结构化。在架构中数据湖通常，在存储数据之后定义架构。使用较少的初始工作并提供更大的灵活性。
在数据仓库中存储数据之前定义架构。这需要你清理和规范化数据，这意味着架构的灵活性要低不少。
其实数据仓库和数据湖是我们都需要的地方，数据仓库非常适用于业务实践中常见的可重复报告。当我们执行不太直接的分析时，数据湖就很有用。
如何搭建数据湖架构
Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据“我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数据湖架构。”Garnto的团队一天中需要收集5000多万条美国零售交易数据，并分发到20个节点的集群中,这些节点运行在Cloudera的Hadoop分布式机架上，使用Pentaho的数据集成工具。从银行和信用卡公司收集到的数据，会被传入设计好的预测模型中，以确定个体持卡人所需的优惠券。Edo的业务伙伴每周通过电子邮件发出优惠券，这些优惠券会在产生对应消费时生效。每日的数据构建时间缩减到大约四个小时，Garnto表示，根据正在运行模型的复杂性，Edo的数据分析师能“在几分钟或几小时内完成他们的工作。而以前，他们可能累的要死。但数据湖上并不总是阳光灿烂，一帆风顺的。起初，Edo只有一个员工具有Hadoop MapReduce编程框架的经验。公司联合Chicago总部和Nashville分部，对其他员工进行Hadoop技术内部培训，但后来这使得他们不得放弃了熟悉的数据查询方式。“我们花了很多时间更新这一过程。”Garnto说。创建一个保证原始数据一致性和生成标准化分析数据集的两步程序也需要花时间去解决。目前拥有包含450亿条记录(总共255TB的数据)的集群，已成为Edo业务操作的核心，对于这个集群，Garnto需要小心管理，谨慎添加新的Hadoop生态技术。否则，对公司某个部分的调整可能会影响整个系统对其他部分的工作处理。数据湖使实时分析成为了可能Webtrends公司是另一家数据湖的使用者，该公司收集并处理网站、手机、物联网上的活动数据。这家位于波特兰的公司于2014年7月部署了基于Hortonworks的Hadoop集群，目前正在试用阶段，计划在2015年初完全实现。它最初只支持了一个叫Explore的产品，让企业营销人员做客户数据的专项分析。Webtrends产品架构主管PeterCrossley表示，每个季度大约有500 TB的数据添加到60个节点的集群中，现在总共有1.28 PB。随着时间的推移，Webtrends计划使用Hadoop平台代替自有的数据网络附加存储平面文件系统。Crossley表示，使用Apache Kafka消息队列和自动化脚本处理技术，互联网点击流数据可以涌入集群和并在20至40毫秒内做好分析准备工作。因此，报表和分析过程几乎可以在瞬间开始，这比老系统快得多。Hadoop集群还支持进阶分析，且能降低25%到50%的硬件成本。Crossley表示，采用数据湖概念需要公司内部在管理和使用Webtrends为客户收集的信息时做到“思路上的转变”。之前，该公司主要使用数据存储构建通用报表。但是，一个数据湖与其说是一个真理，不如说是真理的来源，在其之上，您可以构建多个数据集以供不同的分析用途。Webtrends也不得不认真考虑其数据湖的架构和数据治理过程，以防止Hadoop集群变成“数据沼泽”，正如Crossley所说。刚刚进入系统的原始数据结构十分松散(+微信关注网络世界)，但是应该有非常严格的规则来规定其应该是什么样子。此外，他的团队已经将集群分成三个不同的层次：一个用于原始数据，第二个用于日增量数据集，另一个用于存储需要被纳入的第三方信息。基于不同的数据集细节，每一层次都具有自己的数据分类和治理策略。对你的数据保持控制Razorsight公司CTO Suren Nathan还指出，建立和管理一个Hadoop 数据湖需要具备良好的纪律性和组织性。否则系统很快就会变成一个失控的垃圾场，就像一个由很多文件组成的SharePoint，没有人知道如何找到这些文件。Razorsight为电信企业提供了一组基于云的分析服务，2014年第二季度开始使用运行在Hadoop集群上MapR技术。客户组、操作和网络数据通过自有工具被输入到系统中，通过Spark引擎的处理后，由Razorsight数据科学家进行分析;集群具有五个生产节点和120 TB的存储容量。和Webtrends类似的，Razorsight数据湖被分割成三个分区。在Razorsight的案例中，一个数据湖能够存储不到六个月的数据，另一个包含旧的但仍然活跃的数据，第三则存储不再使用的但需要保留的信息。目前，在这两个活动区域中有超过20 TB的数据。为了保证系统工作平稳，Razorsight招聘了具备分布式系统的数据治理和开发经验的新员工，同时也培训现有员工使用Hadoop，Spark和相关技术的能力。目前是迁移到新平台的阶段。每TB大约花费2000美元，Hadoop集群成本仅仅是公司之前所部署的IBMNetezza数据仓库系统的十分之一。但Nathan表示，Razorsight首先建立专门用于数据存储的集群，然后再进入处理和准备阶段。因为Netezza硬件和IBM SPSS分析软件之间存在的紧密联系，分析建模和数据可视化仍会存在于旧的系统中。建模将保持现状，但Nathan预计到今年年底，将可视化层和Razorsight分析结果数据转移到数据湖架构中。转自网界网：来自TechTarget中国的作者：Craig Stedman分享转自网界网：