现代数据栈是云原生应用程序的调集，它们作为企业数据根底架构的根底，成为安排处理数据的现实标准。就像工业价值链相同，现代数据栈包含不同的组件，一切组件都彼此相关。在之前的博客中对现代数据栈进行了高档概述，但每个组件都值得具体重视。让我们从头开端：数据集成。这篇博客将经过答复以下问题来总结数据集成的首要方面：
跟着企业生成和搜集的数据量持续呈指数级增加，公司需求整合这些数据以使其有意义。有用的数据集成意味着从不同来历（如依据云的应用程序、出产数据库、实时数据馈送等）提取数据，并创立一个会集、共同的信息视图。
我烦扰在这篇博客 [ 1 ] 中评论了这两种技能之间的差异。ETL（提取、转化、加载）和 ELT（提取、加载、转化）是两种最盛行的数据集成技能，用于将数据传输到共同的方针，如数据库、数据库房、数据湖或数据库房 .
正如我在之前的博客 [ 2 ] 中说到的，由于本地存储处理方案的本钱很高，因而首选 ETL 办法。将未转化的数据加载到这些库房的本钱太高，导致安排在提取数据后当即进行所需的数据转化。可是跟着云核算的鼓起，存储变得廉价得多。因而无需在将数据加载到库房之前履行更改。让我们更具体地介绍这两种不同的技能。
ETL 是一种数据集成技能，其间数据从源体系中提取、转化并加载到共同的方针中。在云数据库房鼓起之前，ETL 是首选办法。可是由于 ETL 的多重缺陷，ETL 很快被抛弃并被 ELT 替代。ETL 的缺陷或许如下：
由于只要转化后的数据存储在目的地，因而安排需求事前知道他们将怎么运用数据来进行恰当的修正。修正这些要求或许十分耗时且本钱昂扬。
在曩昔几年中，数据量和数据需求急剧增加。不幸的是许多 ETL 流程无法扩展以恰当匹配这些重负载。在处理许多数据时，一些常见的过错是加载不相关的数据和由于 CPU 缺乏和串行数据处理而不是并行数据处理而导致的瓶颈。
在 ETL 中，管道一次提取和转化数据，一旦数据源中的形式发生改变，就会中止。例如当一个字段被删去时。这会危害转化数据所需的代码，并且一败如水由数据工程师从头编写。
将许多原始数据加载到存储中时，数据安全性或许会成为一个问题。办理用户对存储在数据库房中的原始数据的拜访关于应对这一应战至关重要。
由于数据以最少的处理方式存储，因而或许需求额定的过程来保证您恪守抢先的安全协议，包含 GDPR 和 HIPAA。
ELT 是一种数据集成办法，其间数据从源体系中提取，加载到方针体系，然后依据安排的需求进行转化。这种办法的中心特点是数据在整个提取和加载阶段坚持不变，使团队一直可以拜访原始的原始数据。这种办法的首要优势在于，跟着安排内数据的需求和用处发生改变，可以运用存储体系中可用的可随时拜访的原始数据相应地从头转化数据。除了防止安排在将数据加载到库房之前了解数据需求的困难之外，ELT 还为数据工程师供给了更多的数据剖析自主权，由于他们无需修正管道来从头转化数据。
今天有多种数据存储选项可用。数据集成的应战之一是评价挑选是什么，请记住每种技能都是不同的，旨在满意不同类型的数据存储和处理要求。让我们具体介绍三种最常见的数据存储选项。
数据库房。数据库房可以界说为用于存储和剖析来自不同来历的许多信息的数据存储库。最重要的是，数据库房一般用于商业智能和数据剖析。这是由于数据库房已针对跨大型结构化数据集运转剖析进行了优化。假如安排不需求办理非结构化数据，这是上上选。
数据湖。数据湖是用于存储许多非结构化数据的体系，其间未界说数据的用处。该处理方案以较低的本钱存储许多数据。可是这是以进行有用和快速剖析的或许性为价值的。因而假如方针是存储许多未界说用处的非结构化数据，那么将数据集成到数据湖中或许是上上选。
Lakehouse。Lakehouse 是一种新的存储架构，它结合了数据库房的数据办理功用和数据湖的灵活性和较低的本钱。假如安排将获益于数据库房和数据湖的功用，这将是上上选。
商场上有几种不同的数据集成东西。或许很杂乱，并且或许取决于许多不同的变量。让我们扼要介绍一下在挑选数据集成东西时需求考虑的一些事项：
开源与专有：两者之间的挑选或许很杂乱。专有软件是指公司具有的软件。另一方面开源是指任何人都可以拜访和修正的软件。这意味着开源连接器适用于更大规模的数据源，但专有连接器一般质量更好。
标准化形式和规范化：来自 API 的数据未标准化。规范化可最大极限地削减重复数据、简化查询并防止数据修正问题。相反，标准化保证数据在内部是共同的。
主动化。一般来说，好的数据东西应该总是尽量削减人工干预。数据集成东西应具有主动架构搬迁、主动调整 API 以及快速高效地吸取、仿制和交给数据的功用。
用例。需求运用数据集成东西完结哪些作业？数据集成东西可用于数据创立、数据管道、虚拟化、整理、发现、实时等。因而了解需求关于挑选正确的数据集成东西至关重要。
将数据从源头转移到目的地是数据工程师作业的要害部分，它使公司可以取得一系列优点，例如：在安排中创立单一的现实来历，下降安全和运营危险，取得改变数据的才干数据具有相同的东西和办法等。可是数据质量问题可以并且常常在这个要害阶段完成。当从外部体系提取数据时，团队对这个外部体系在做什么是视若无睹的。因而无法控制这些外部体系何时更改 API 或形式。并且作为这些不同来历的顾客，一败如水知道什么时候发生了改变，因而需求这种可见性，由于数据集成是起点。并且假如没有满足快地注意到一些反常情况，那么不良数据终究会与其他数据一同呈现。因而从一开端到数据可观测性，保证整个数据传输过程中的数据可靠性至关重要。
要采纳预防性办法并在数据进入消费之前从源头检测问题，需求数据血缘。简而言之，数据从一侧抵达，从另一侧传出。因而假如在数据生命周期的任何阶段检测到过错，需求知道问题出在哪里。这是保证在遇到问题时可以敏捷做出反响的办法。
让我们经过一个实践的比如。数据集成中十分常见的一个用例是测验全面了解客户。安排与其客户的每个接触点都散布在十多种不同的 SaaS 服务中——产品数据库、付出数据库、付出处理器等等，需求会集一切数据源。可是由于有许多来历，因而犯错的或许性很高。假如没有恰当的数据可观测性和血缘，那么将看到反常而不知道它们来自哪里。所以要处理这些问题，数据工程师需求花许多时刻去排查问题出在哪里，才干终究排除故障。关于数据工程师来说，这或许会糟蹋许多时刻，他们大部分时刻都忙于调试，而不是从事发明价值的活动。因而拜访杰出的数据血缘至关重要，由于它可以快速进入上游并查看哪里出了问题，然后使团队可以当即康复。
数据集成东西使企业可以经过打破数据孤岛来充分发挥其潜力。经过数据集成，公司可以将最重要的信息整合到一个当地，然后进步功率和出产力。数据集成关于安排创立单一现实来历、下降安全和运营危险以及坚持数据共同性至关重要。尽管集成来自多个不同来历的数据可以使安排可以做出成功的事务决议计划，但它也或许导致数据质量欠安。假如从数据集成阶段开端的数据问题没有得到敏捷处理，它们将使安排的一切数据变得不可靠。出于这个原因，在现代数据栈的这个阶段烦扰具有杰出的数据可观测性实践是至关重要的。
