FanDuel 如何采用现代的 Amazon Redshift 架构以服务关键业务工作负载

关键要点

在这篇文章中，我们将介绍 FanDuel 如何将其架构从 DC2 节点升级到现代的 Amazon Redshift 架构，带来了更强的计算能力，更低的成本，并满足了日益增长的业务分析需求。

这篇文章由 Sreenivasa Munagala、Matt Grimm、Dhaval Shah、Luke Shearer、Ranjan Burman 和 Sidhanth Muralidhar 共同撰写。

在这篇文章中，我们分享了 FanDuel 如何将架构从 DC2 节点转变为现代的 Amazon Redshift 架构，涵盖了使用 RA3 实例、Amazon Redshift 数据共享 和 Amazon Redshift Serverless 的情况。

关于 FanDuel

作为 Flutter Entertainment 的一部分，FanDuel 集团是一家提供体育博彩、日常幻想体育、马赛和在线赌场的游戏公司。该公司在多个美国州和加拿大省份运营体育博彩业务。FanDuel 首先通过日常幻想体育例如 NFL 足球在美国开创了自己的市场。

随着 FanDuel 业务的扩展，其分析需求也日益复杂。越来越多的分析师和业务用户寻求全面的数据解决方案，以便在多个业务领域中心化数据。之前各个产品特定的、通常是本地的数据仓库迅速变得过时。FanDuel 的数据团队解决了创建新数据存储的问题，以在一个地方集中数据，并确保统一的数据线索。新的全球数据平台的核心是 Amazon Redshift，迅速成为所有分析的信任数据存储，用户能够评估风险、盈利能力以及交叉销售机会，乃至对整个业务进行全球分析。

FanDuel 在 Amazon Redshift 的历程

FanDuel 的第一个 Redshift 集群采用了密集计算 (DC2) 节点，这一选择比起密集存储 (DS2) 节点来说，使其在复杂查询中受益于更强的计算能力。随着 FanDuel 的不断成长，他们的数据工作负载也随之增大。这意味着他们需要不断扩展以支付用户在日常决策中所需的性能。FanDuel 开始通过不断增加节点和实验工作负载管理(WLM)来应对这一挑战，但很快明显他们需要采取更具意义的措施来满足用户的需求。

2021 年，自 2018 年首次使用 Amazon Redshift 以来，FanDuel 的工作负载几乎增加了三倍，他们开始评估 RA3 节点与 DC2 节点的优势，以利用存储和计算的分离，并以更低的成本提供更好的性能。FanDuel 希望转向 RA3 节点，主要是为了分离存储与计算，并评估数据共享，以期望将不同的计算资源引入数据中，减少用户在主集群上的竞争。FanDuel 决定启动新的 RA3 集群，前提是他们确认该集群的性能与现有的 DC2 架构相当，从而能够独立扩展存储和计算资源。

2022 年，FanDuel 将重点转向使用数据共享。数据共享 允许运行在 Redshift 数据仓库中的实时数据以安全方式进行共享，支持读取和写入预览。这意味着工作负载可以隔离到各自的集群，从而实现更优化的架构设计、工作负载管理配置和成本优化。以下图展示了这一架构。

为了实现数据共享架构，计划是首先为数据工程师建立消费集群的开发和测试环境，迁移关键的遗留代码至 dbt。FanDuel 希望工程师能够访问生产数据集，以测试其新的模型并与旧有的 SQL 代码集匹配结果。他们还想确保拥有足够的计算资源，以便并发运行多项作业。在看到数据共享的优势后，他们在 2022 年春季启动了第一个生产消费集群，以处理其他分析用例。这一集群共享大多数来自主生产集群的架构和表。

转向数据共享架构的好处

FanDuel 从数据共享架构中获得了诸多好处，工程师们可以访问真实的生产数据以测试其作业而不影响生产者的性能。由于通过数据共享架构分离工作负载，FanDuel 的查询并发能力翻了一番，查询排队数量降低，最终提升了端到端的查询时间。FanDuel 收到了关于新环境的积极反馈，并迅速获得了提升工程效率、减少生产中部署后性能问题的好处。他们初次尝试数据共享被认为是一个成功的案例。

鉴于首次消费集群在数据共享架构中成功推出，FanDuel 寻求另外机会，以满足其他用户的需求并开发新的目标消费集群。在 AWS 的协助下，FanDuel 开展了一项全面的策略，以保护其提取、加载和转换 (ELT) 作业。这一方案涉及到实施工作负载隔离并分配专用集群，作为数据共享架构中的生产者集群。同时，他们计划将所有其他活动迁移至一个或多个消费集群，而非使用数据工程团队所用的已有集群。

在 2022 年夏季，他们启动了第二个消费集群，期望将更资源密集的分析过程剥离出主集群。为了逐步赋能其分析师，他们允许其他用户创建和共享自己的对象。

随着日历从 2022 年翻至 2023 年，多个发展改变了 FanDuel 的架构环境。首先，FanDuel 启动了针对体育博彩数据的初始事件驱动流工作，让他们能够以比此前的传统批处理方法更低的延迟将数据微批处理到 Amazon Redshift。这使他们能够在更早的服务水平协议(SLA)下生成 CSuite 收入报告，这对数据团队而言是一个很大的成功，因为这是在超级碗之前所从未完成的事情。

FanDuel 引入了一项新的内部关键绩效指标(KPI)，称为查询效率，用来衡量用户等待查询完成的时间。随着工作负载呈指数增长，FanDuel 发现该 KPI 也随之上升，尤其是在风险和交易工作负载方面。

在与 AWS 企业支持和 Amazon Redshift 服务团队合作下，FanDuel 很快意识到，风险和交易用例是转向 Amazon Redshift Serverless 的完美机会。Redshift Serverless 提供了针对数据量变化、并发用户和查询复杂性等方面的可扩展性，能够根据需求自动扩展计算资源。由于计费只在运行查询时产生，它也意味着不需要承担未使用计算资源的费用。Redshift Serverless 还完全管理工作负载管理 (WLM)，使用户可以仅关注其希望的查询监控规则 (QMR) 和使用限制，从而进一步减少管理数据仓库的需要。看到 Redshift Serverless 对于其风险和交易工作负载的好处后，FanDuel 还迁移了一些其他工作负载，例如商业智能 (BI) 仪表板和风险与交易 (RT)。

在数据共享架构中引入 Redshift Serverless 的好处

通过结合数据共享和无服务器架构，FanDuel 能够在需要时灵活扩展其最关键的工作负载。Redshift Serverless 的自动 WLM 允许用户在无需配置 WLM 的情况下开始工作。借助 Redshift Serverless 的智能和自动扩展能力，FanDuel 可以专注于其商业目标，而不再担心数据仓库的容量。这一架构减轻了单一预设的 Redshift 提供集群所带来的约束，减少了 FanDuel 在数据仓库容量和 WLM 配置上的管理需求。

在成本方面，Redshift Serverless 使 FanDuel 能够优雅地处理最繁重的工作负载，采用按需付费模式，只有在数据仓库使用时才会付费，同时实现计算和存储的完全分离。

通过引入工作负载隔离和 Redshift Serverless，FanDuel 能够更详细地了解每个团队的计算需求，而不受 ELT 和竞争工作负载噪声的干扰。这使得在消费者上进行全面的分析工作变得可行，同时大大减少了竞争并利用最具成本效益的配置进行管理。

以下图示展示了更新后的架构。

结果

FanDuel 对风险和交易 (RT) 工作负载的重新架构和管理，结合数据共享和 Redshift Serverless，使得最关键的业务 SLA 完成速度提升了三倍，同时总体工作负载的查询效率提高了 55。这些 SLA 改进为 FanDuel 带来了十倍的业务成本节约，使他们能够更快地为产品、商业和市场等其他垂直部门提供业务见解。

结论

通过利用带有数据共享的 Redshift 提供集群和无服务器端点，FanDuel 能够更好地扩展和运行分析工作负载，而无需管理任何数据仓库基础设施。FanDuel 对未来与 Amazon 的合作充满期待，兴奋地开启与 Redshift Serverless 的新创新之旅，并不断优化机器学习和自动扩展等功能。

如果您是 Amazon Redshift 的新用户，可以在 Amazon Redshift 上探索演示、其他客户故事和最新功能。如果您已在使用 Amazon Redshift，请联系您的 AWS 账户团队以获取支持，并了解 Amazon Redshift 的最新动态。

关于作者

Sreenivasa Munagala 是 FanDuel Group 的首席数据架构师，负责定义 Amazon Redshift 优化战略，并与数据分析团队合作来解决关键业务问题。

Matt Grimm 是 FanDuel Group 的首席数据架构师，引导公司向基于事件的数据驱动架构转型，集成流数据与批量数据，同时支持其机器学习平台和开发团队。

Luke Shearer 是 Amazon Web Services 的云支持工程师，专注数据洞察分析领域，每天与 AWS 客户合作，努力为每位客户识别最佳解决方案。

Dhaval Shah 是 AWS 的高级客户成功工程师，专注于将最复杂、最苛求的数据分析工作负载引入 Amazon Redshift，拥有超过 20 年的数据库和数据仓库技术经验，热衷于开发高效且可扩展的数据分析云解决方案，以推动客户的业务价值。

Ranjan Burman 是 AWS 的高级分析专家解决方案架构师，专注于 Amazon Redshift，帮助客户构建可扩展的分析解决方案，拥有超过 17 年的数据库和数据仓库技术经验，热衷于通过云解决方案自动化并解决客户问题。

Sidhanth Muralidhar 是 AWS 的首席技术客户经理，致力于与大型企业客户合作，将其工作负载迁移到 AWS，并且对客户架构设计以实现成本、可靠性、性能和运营卓越高度关注。同时，他也对数据分析领域有浓厚的兴趣。