James Le Jan 11·41 min read
早在2021年9月，我参加了第二届年度 Modern Data Stack Conference，Fivetran的社区活动，该活动汇集了数百名数据分析师、数据工程师和数据领导者，分享下一代分析的影响和经验。演讲者分享了他们的分析团队所经历的转变，他们启用的新见解和工具，以及他们为推动整个组织的洞察力而采用的最佳做法。
在这篇长篇博客回顾中，我将对会议中我认为最有用的14场会议的内容进行剖析。这些讲座分为4个类别，分别针对4个角色：数据工程师、数据分析师、产品经理和数据团队负责人。让我们深入了解一下吧
今天，大多数企业都在为数据和人工智能项目奋斗。挑战从架构开始。你需要建立出四个不同的栈来处理你不同的数据工作负载。它们是不同的技术，通常不能很好地协同工作。整体生态系统进一步阻碍了这种架构的复杂性。有许多不同的工具来支持这些不同的架构（数据仓库，数据工程，流处理，和数据科学/ML）。传统上，在数据仓库中，你处理的是专有的数据格式。假设你想启用高级用例。在这种情况下，你必须在不同的栈中移动数据，这变得非常昂贵，资源密集，而且从治理的角度来看，很难管理。
你的数据团队感受到所有这些复杂的问题。因为这些系统是孤立的，你的团队最终也变得孤立。沟通变慢了，阻碍了创新和速度。团队最终会有不同版本的真相，因为他们不得不不断地在各地复制数据。其结果是多个副本，没有一致的安全/管理模式，封闭的系统，以及断开连接/低生产力的数据团队。
核心问题是这些堆栈所建立的技术。大多数企业都是在数据湖和数据仓库中成长起来的，有不同的目的。
Jason Pohl认为，统一上述两个系统可以改变我们对数据的思考方式。 Delta Lake是一个你可以在摄入数据后集中管理数据的地方。它提供了你期望从数据仓库获得的可靠性、性能和治理。它还提供了数据湖的开放性、可扩展性和灵活性。通过Delta Lake，你处理的是一个更有逻辑性的表的构造。
的独特之处在于 Databricks Lakehouse Platform在3个不同方面是独一无二的。
以下是Databricks Lakehouse平台的关键组成部分。
客户数据平台（CDP）是一个旨在保存你所有客户信息的数据库。更具体地说，它是为帮助公司激活营销自动化而特意建立的。数据从多个来源（如你的CRM、产品、网站等）提取，经过清理，并结合起来创建一个单一的客户档案。这种结构化的数据然后被提供给其他营销系统。
Tejas Manohar认为，有六个关键原因，你应该选择你的数据仓库而不是现成的CDP。
让我们深入挖掘每一个问题。
数据仓库拥有你所有的数据
无论你是D2C品牌、B2B SaaS公司、电子商务市场，甚至是像Capital One这样的大型银行，你的客户数据很可能已经在一个数据仓库里了。你的CDP应该是数据仓库的一个原因是，你的数据仓库已经是你的CDP。
现成的CDPs需要几个月的时间来实施
建立CDP需要大量的工作。在开始之前，你需要首先确定所有要在不同数据源中追踪的数据。然后，你需要实际跟踪它，这需要工程师编写大量的跟踪代码。除此之外，CDP要求你使用他们的事件跟踪库，而这些库只支持CDP所理解的僵化的数据模型（账户、用户和事件）。由于这些原因，一个CDP的实施需要一年多的时间，这并不罕见。
如前所述，你的仓库已经是你的CDP，这意味着这个 "实施 "步骤大部分已经发生。数据已经存在，它以一种适合你的业务的方式进行建模，并且已经准备好同步到SaaS工具。
你的数据团队喜欢你的仓库
CDPs以营销团队为目标，主要向CMO销售。归根结底，营销人员并不是解决CDP复杂数据问题的正确角色。
自助访问和数据民主化很重要，但它们是跨职能的。数据团队应该负责了解你公司的数据模型，并建立干净的数据模型供其他人使用。营销团队应该被授权分析客户行为，并在没有数据团队瓶颈的情况下对客户群体进行迭代。CDPs没有认识到这一点，相反，他们给了营销人员巨大的能力，而没有数据和工程团队的流程或护栏。
你的业务需要灵活性
CDPs是围绕僵化的数据模型建立的。以Segment Personas为例，它只提供两个核心对象 - 用户和账户。更重要的是什么？一个用户只能属于一个账户。在现实中，数据模型并不那么曲高和寡。用户可以在多个账户中，而账户可以有子账户、业务单元等。除了用户和账户之外，21世纪的公司还有自己的专有对象和层次结构。
隐私问题
随着监管的加强以及对数据隐私和数据安全的关注，没有真正的内部CDP产品。CDP提供对客户数据的限制性访问，而数据仓库提供对数据的无限制访问。最好的公司认识到，利用客户数据是一种竞争优势。因此，他们应该拥有自己的数据。
现代数据栈是最佳实践
因为CDP是为了和他们的专有生态系统打好关系而建立的，每个CDP都必须通过专有的产品功能独立解决这些问题。你需要运行的转换往往不存在，所以你别无选择，只能提交一张支持票。然而，如果你的CDP是你的数据仓库，你可以使用SQL以任何你希望的方式转换你的数据，并使用像dbt on top这样的工具来系统地编码和执行这些转换。
Tejas的公司Hightouch符合现代数据栈的反向ETL类别。反向ETL解决了分析的 "最后一英里 "问题：使数据可操作。虽然ETL和ELT将数据从源头移入数据仓库（如Fivetran），但反向ETL将建模的数据从仓库移回SaaS工具中。比如说。 Hightouch Audiences让营销人员能够访问数据仓库。
然后，该讲座讨论了两个使用案例，分别来自 Blend(由 William Tsu)和 Auto Trader(由 Darren Haken)采用Hightouch的两个用例。
混合用例
混合有两个主要挑战：数据孤岛和缓慢的内部工具。
Blend公司的解决方案是采用Fivetran和Hightouch。Fivetran的价值在于能够将Salesforce、Marketo、Asana、NetSuite和Lever拉进来，然后将历史上不同部门的数据混合在一起进行分析。然后，Hightouch将数据推送出去，确保每个人都能看到相同的指标。
因此，Blend的财务部门能够提前四天结清服务团队的账目，将团队的财务报告时间减少一半。Blend公司的运营团队合并了数据源，以提供强大的、全业务的数据分析。简而言之，Hightouch实现了团队和工具之间的协调，推动了更好的协调，影响了Blend的底线。
Auto Trader 汽车交易商用例
Auto Trader的目标是通过创建一个统一的360度客户视图来统一他们的客户数据。这里最大的动机是在他们的产品和营销部门内激活数据，用于个性化、重定向和产品实验。这也使他们的数据科学家能够通过预测来丰富他们的客户数据。其他原因包括为客户做正确的事情--数据治理和隐私，以及控制发送给第三方的数据--只将匿名用户发送给广告网络。
然而，他们遇到了一些挑战。他们使用了一个叫Snowplow的工具来追踪他们产品内的用户，但他们仍然有许多客户数据的孤岛--营销、销售和广告工具。每个岛都有重复的受众。每个广告平台的整合工作都增加了（不得不在每个工具中重建受众和转换事件）。因此，工程瓶颈减缓了营销团队的实验能力。
Auto Trader想要一个可组合的、更精细的CDP，所以他们的解决方案是采用Hightouch Audiences来同步到平台和创建受众。它由Auto Trader在BigQuery上的数据仓库提供动力，并为Facebook和Google编制付费广告受众和转化率，从而丰富了他们的数据科学团队的预测结果。
Utsav Kaushish分享了他作为创业公司的早期分析员工所学到的东西，如 Zenefits和 User Interviews.他的MVP分析堆栈包括Fivetran（用于ELT），Amazon Redshift（用于仓库），以及Mode Analytics（用于BI）。这个堆栈可以快速建立（几天，而不是几周），成本小，而且需要最小的维护。在这个阶段获得早期胜利是至关重要的。Utsav区分了大赢（对文化和团队成长很重要）和小赢（对效率很重要）。
大赢的例子包括：
小赢的例子包括：
Utsav在会谈的最后分享了他希望自己能以不同方式做的一些提示。
在 Chick-fil-A在美国，企业分析团队是以分散的方式设立的，以支持不同的垂直领域，如营销、供应链、金融服务和整个企业的分析。数字化转型和技术团队为所有要进行的分析工作设置了核心基础设施。 Korri Jones强调这两个团队之间的强大伙伴关系，以促进组织的分析项目。
当大流行病发生时，许多妈妈和爸爸的餐馆受到了极大的冲击。清洁和食品安全对顾客来说变得更加重要。数字化订餐、在线菜单、外卖等等，从奢侈品变成了必需品。供应链出现了严重的中断，同时也出现了人才争夺战。
作为一个企业，Chick-fil-A需要决定如何支持和保护业主/经营者、他们的员工和他们所服务的社区。他们还想创造和浮现出由于大流行病造成的餐厅运营问题。因此，他们依靠自己的预测专长，对业务和品牌做出更明智的决定，同时加倍努力支持他们的员工和家庭。
为了保持公司和客人的健康，Korri的团队有两个主要目标。
从这些目标中，通过将数据整合到企业的行动计划中，确定COVID的趋势、关闭、国家授权是很重要的。以下是Chick-fil-A在大流行期间优先考虑的分析项目。
关键的结果是，不是通过工具和技术，而是通过更紧密的合作，更迅速地将业务洞察力交付给需要的人。因此，他们加倍关注通过卓越数据保护企业、业主/经营者、员工和客户。同时，他们正在扩大他们的ML工程团队，以支持不断增长的流程自动化和预测工作。
如上所见是一个常见的云数据平台的旅程。
如果你让目前几乎所有的数据工程领域的领导者在白板上画一个 "现代 "的数据架构，你肯定会得到类似以下的东西。
然而。 Jeremiah Hansen认为，这种架构已经存在了近10年，没有什么变化。这种架构包括三个主要部分：数据仓库、数据湖和数据集市。
但是 Snowflake Cloud Data Platform已经极大地改变了数据格局，并消除了为你的每个工作负载拥有独立系统的必要性。Snowflake 可以成为您的 data warehouse，数据集市和数据湖。这要求我们在数据工程领域以不同的方式思考我们一直在做什么。它要求我们理解为什么我们一直在以某种方式做事，并挑战我们的假设。
Jeremiah 注意到，当数据架构师开始使用 Snowflake 时，他们继续回到基于传统系统 的数据架构设计，仅将 Snowflake 用作数据仓库，或可能扩大一点，包括一些数据集市。大多数人继续主张在Snowflake之外维持一个单独的基于文件的数据湖，甚至在从头开始建立一个数据湖。但是，当Snowflake可以取代所有这些系统时，为什么还要继续这样想呢？
为了向前迈进，我们需要停止从现有的系统类型来考虑数据，如传统的数据仓库、数据集市和数据湖。这样做是没有帮助的，在企业数据景观中引入了一个不自然的、人为的边界。
在高层次上，你可以将所有的企业数据归入以下逻辑数据区。
基于系统的旧思维将使数据工程专业人员被锁定在旧的做事方式中，并将继续分裂数据景观。没有必要用 Snowflake 将数据区划分为不同的、孤立的数据系统，如湖、仓库和市场。而不是沿着系统的思路，我们应该考虑一个单一的平台，用于所有的企业数据，如 此。
Snowflake 云数据平台可以支持您所有的数据仓库、数据湖、数据工程、数据交换、 数据应用和数据科学工作负载。仅仅支持其中前两个工作负载，您就可以将您的数据仓库、数据集市和数据湖整合到一个单一的平台。
Lauren Anderson的数据和洞察力团队是如何在 Okta的数据和洞察力团队一直在教每个员工如何将企业数据作为第二语言来使用。他们的首要目标是通过赋予企业可信的数据和分析能力，使数据民主化，以做出及时的、数据驱动的决策。他们实现这一目标的途径是创建一个公民数据分析员社区。为了创建和支持这个社区，劳伦的团队需要实施和维护现代的分析技术/环境，提供一个数据所有权和数据质量跟踪和补救的框架，并通过培训活动实时支持用户。
首先，他们确定了三个角色：消费者（通过集中式报告门户按需查看高级KPI，并能在BI工具中查看报告），创造者（利用认证的数据源发布和分享报告，并能进行临时分析），以及开拓者（能访问生产和预生产数据，能创建和发布数据源，甚至能带来自己的数据）。
同样重要的是，授权业务部门拥有数据所有权，并依靠主题专家来确保数据是高质量的资产。劳伦的团队启用了一个数据托管人和数据管理人的网络，以实现定义的标准化，并解决质量改进方面的问题，从而使这三个角色可以消费、探索并做出明智的决定。该团队通过提供数据质量记分卡来支持这一过程，管理人可以在每月和每季度的会议上使用该记分卡来监测数据质量，以确保每个人在优先事项上保持一致。该团队还为标准指标和定义提供了一个中央储存库。
他们还举办年度分析日等活动，用Udemy课程提供培训课程，并维持专门的Slack频道用于分析讨论。
最后，当一份报告、一个数据集或一个预测模型准备就绪时，他们通过确保适当的监控自动化和质量评估，提供了一条通往生产的道路。如果有人看到报告上有 "经okta数据和洞察力验证 "的水印，他们就知道他们可以根据报告做出可信的决定。
截至目前，Okta每月有47%的BI工具参与，10%的人在创造内容，1%的人在开拓。随着他们继续朝着确保现代技术堆栈的方向发展，通过降低创建和分享高质量数据内容的门槛和持续的鼓励/培训，Okta的分析师社区一定会在洞察力方面成长和成熟。
Gabi Steele的首席执行官和联合创始人。 Data Culture该公司的使命是使企业能够利用数据解决问题，并建立持久的数据文化。他们提供全栈实施、部分数据团队服务、数据战略（CDO即服务）、定制数据可视化和讲故事，以及从头开始雇用数据团队。
一般来说，当进入组织时，他们的目标是帮助组织达到其下一阶段的数据成熟度，缩小基础设施和业务需求之间的差距，并授权业务拥有和社会化我们所实施的工作。
Gabi将企业的数据成熟度分为以下4个阶段。
虽然大多数企业表示他们所做的决策中大约有30%是由数据提供的，但高达73%的公司数据没有被用于分析。加比认为，建立一个持久的数据文化需要一个由受启发的员工组成的社区，他们被授权使用数据来解决问题。
Brittany City是一个定量数据分析员。 Asurion- 一家位于纳什维尔的领先供应商，为手机、消费电子产品、家用电器和珠宝提供设备保险、保修和支持服务。该公司在超过15个国家运营，有50多名官员为超过3亿的客户提供服务。
你左边的图显示了数据如何流向Asurion的利益相关者。一个客户会收到一个新的设备，由于某种原因被运回给Asurion。这就变成了重新发货的数据（错误的颜色、错误的尺寸、低质量等等）。这些数据会被制作成报告，然后交给利益相关者--在设备运到客户手中之前，负责监督维修和检查的质量部门。这些报告必须有效地解释正在发生的事情，以便利益相关者能够将其提交给供应商（苹果、三星AT&T、Sprint等）。
分析师需要有清晰的数据知识和优秀的数据产品给利益相关者。Asurion有三种类型的数据产品。
布列塔尼的团队所面临的路障包括来自临时请求的几个重复的Excel和SSRs文件，重复的每周Excel任务，以及Power BI仪表盘不能为利益相关者提供全面的支持。鉴于这些路障，她的团队未来的努力需要删除不必要的文件，将Excel和SSRS文件合并到Power BI仪表盘中以讲述一个完整的数据流故事，创建新的仪表盘以自动化每周的Excel文件请求，并通过过滤器和教育更新当前的仪表盘。
Archer Newell是一个高级数据分析师，在 Fivetran.在Fivetran，分析师是业务用户与数据栈之间的桥梁。他们与不同部门合作，了解他们的挑战，并将其转化为认证的数据集。在建立数据集后，他们建立仪表盘，并代表用户进行临时分析，有时会拖慢事情的进展。与其让分析师扮演这个中间人的角色，不如把这些工具直接放到业务用户的手中，这样他们就可以提出和回答自己的数据问题，甚至开始自己为报告做贡献，这样会更有效率。
分析师可以做的第一件事是通过创建良好的文档来支持这一点，所以用户可以弄清楚存在哪些数据集和度量。接下来，他们需要额外的教育和数据素养，以实际帮助用户将数据投入使用。
为了长期采用商业智能工具，用户需要能够很容易地找到有用的数据，这样他们就可以把这些工具作为他们日常工作的一部分。在Fivetran，55%的人每周使用仪表盘（70%以上不包括工程IC）。
分析师还可以在教育用户如何使用BI工具和如何解释结果方面发挥很大作用，使他们能够放心地根据这些数据做出决策。
产品主导型增长是一种商业方法，在这种方法中，用户的获取、扩展、转换和保留都主要由产品本身来驱动。它创造了全公司范围内各团队（从工程到销售和营销）围绕产品的一致性，作为可持续、可扩展业务增长的最大来源。
Boris Jabes(的首席执行官 Census)认为，即使你不在产品职能部门工作，你也应该关心PLG。每个PLG公司都必须处理三种力量：越来越多的用户，越来越多的渠道，以及越来越多的时间段。考虑到数据影响着PLG的每一个团队（销售、支持、客户成功、设计、营销和工程），产品导向的增长本质上意味着数据导向的增长。数据团队应该利用现代数据栈，包括事件跟踪、转换、可视化、云仓库、运营和ELT。
但是，我们如何才能从部署现代数据栈到达到增长和利润呢？鲍里斯强调，增长是一个反馈的循环，以了解用户的行为和如何推动你的产品向前发展。
Buddy Marshburn(数据工程经理在 Loom)说明了他公司的一个PLG用例。Loom是一个视频信息工具，可以让你即时与你的团队分享你的屏幕和视频。
设计Loom的数据基础设施以支持PLG需要四个不同的步骤。
Lucas Thelosen谈到现代商业智能的时候，他做了一个非常翔实的演讲，现代商业智能以多种方式使企业（更好的结果，增加敏捷性，分析成熟度）和专业人士（职业发展，战略增长，数据产品管理）受益。现代商业智能的核心是由人（数据文化）、流程（数据产品管理）和技术（现代数据栈）组成。分析性成熟度是将这些不同元素结合在一起的主题。以一种简化的方式，分析成熟度包含了事后观察（已经发生了什么？
不幸的是，从技术角度来看，传统工具并不是为现代商业智能设计的。
Looker被设计为API优先和云原生，以整合到现有工作流程中。它还有一个语义建模层，用于企业范围内的治理，以及一个用于访问实时数据的数据库内架构。它的功能包括。
从传统BI工具迁移可以帮助企业从传统报表工具过渡到现代数据平台。Looker已经与1000多个客户合作，在迁移项目上有丰富的经验。他们通过成熟的（遗留）到Looker的迁移策略使迁移过程变得简单。
从流程的角度来看，数据产品管理意味着像产品一样管理数据。这个过程需要。
从人的角度来看，一个强大的数据文化有这些要素。
联系客服
