DynamoDB の基礎と設計 / DynamoDB Design Practice

© 2021, Amazon Web Services, Inc. or its Affiliates. All
rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon DynamoDB の基礎と設計実践で学ぶ Amazon Web Services Japan G.K. Snr. Serverless Specialist Kensuke Shimokawa

rights reserved. 内容 • Amazon DynamoDB の概要 • Amazon DynamoDB の構成 • Amazon DynamoDB の設計 • DynamoDB の設計シミュレーション

rights reserved. インターネット規模のアプリケーションの特徴ユーザー 100 万人以上データボリューム TB、PB、EB データの局所性: グローバルパフォーマンスミリ秒、マイクロ秒リクエスト頻度数百万アクセスモバイル、IoT、デバイススケール Up and down エコノミクス従量制料金開発手法 API アクセス Key-value Relational Document Graph

rights reserved. Amazon DynamoDB あらゆる規模に対応する高速で柔軟な NoSQL データベースサービス大規模なパフォーマンス • 1 秒あたり数百万のリクエストを処理 • マイクロ秒のレイテンシーを実現 • 自動化されたグローバルレプリケーションエンタープライズ対応 • ACID トランザクション • 保管時の暗号化 • オンデマンドバックアップおよび復元 • NoSQL Workbench サーバー管理が不要 • メンテナンス不要 • 自動スケーリング • オンデマンドキャパシティーモード

rights reserved. 大規模アプリケーションでのパフォーマンス

rights reserved. 1 秒あたり数百万件のリクエスト数兆件の商品ペタバイト規模のデータ 1 桁ミリ秒のRead/Write レイテンシー大規模アプリケーションでのパフォーマンスペタバイト規模でも1 桁ミリ秒でアクセス

rights reserved. 1 ミリ秒のばらつきのみ安定した低レイテンシー 1 秒あたり数百万件のリクエストリクエスト量が多い大規模アプリケーションでのパフォーマンスリクエスト量が多いときでも安定した低レイテンシー

rights reserved. 完全マネージド、高可用な DynamoDB のキャッシュさらに高速化 - マイクロ秒のレイテンシー何百万リクエスト/秒もの規模までスケール可能 API 互換アプリケーション DAX DynamoDB 大規模アプリケーションでのパフォーマンス Amazon DynamoDB Accelerator (DAX)

rights reserved. 大規模アプリケーションでのパフォーマンスグローバルテーブル高性能でグローバルに分散されたアプリケーションを構築するローカルテーブルへの低レイテンシーの読み込みと書き込みマルチリージョンの冗長性と弾力性設定が簡単で、アプリケーションの書き換えは不要

rights reserved. 大規模アプリケーションでのパフォーマンス重要な理由 • 将来の保証: 先行投資や推測作業なしに、10 倍へ拡張 • カスタマーエクスペリエンスの向上 : 顧客が依存する大規模でミッションクリティカルなアプリケーションのパフォーマンスとアップタイムを向上 • リスクの軽減 : ダウンタイムが数百万ドルの損失に相当するミッションクリティカルなアプリケーションのスケーリングに関する課題を回避

rights reserved. サーバー管理が不要

rights reserved. サーバー管理が不要メンテナンス不要これらを管理する必要がなければ何ができるか？セキュリティ • オペレーティングシステムのパッチ適⽤ • データベースのパッチ適⽤ • アクセスコントロール • 監査 • 暗号化 • コンプライアンス耐久性 • サーバー、ラック、データセンターの維持 • ハードウェア障害時にデータを迅速に再スプライシング • バックアップと復元の管理可⽤性 • ⾼可⽤性の設定 • モニタリング • クロスリージョンレプリケーションパフォーマンス • パフォーマンスのチューニング • インデクシング • インメモリキャッシュスケーラビリティ • キャパシティープランニング • ホストのプロビジョニング • ホストの修復とリタイア

rights reserved. 削減自動スケーリングポリシー必要に応じてスケーリングスケジュールでスケーリングサーバー管理が不要自動スケーリング

rights reserved. キャパシティープランニングは不要使⽤する読み取り / 書き込みスループットを指定する必要がありません予測不可能なワークロードに最適オンデマンドで 0 から毎秒数万リクエストにまでスケーリング従量課⾦制リクエストごとの料⾦サーバー管理が不要オンデマンドの読み取り / 書き込みキャパシティー

rights reserved. サーバー管理が不要重要な理由リスクの軽減 • もう容量が不足することはありません。 • ミッションクリティカルなアプリケーションを停止する運用が発生することはもうありません。 • マネージドなバックアップと復元、ポイントインタイムリカバリ、グローバルテーブルでデータを保護します。コストの節減 • 24 時間年中無休のデータベースオペレーションをサポートするスタッフは高価です。 • インフラストラクチャはスケーリングにはコストがかかります。 • エンタープライズライセンスのコストは急速に増加する可能性があります。 • 未使用のキャパシティーに対して支払う必要はありません。手間の低減 • オペレーションが遅くなることはありません。 • サーバーを操作することなく、すぐに大量の容量をプロビジョニングします。 • 難しいキャパシティーの予測で時間を無駄にしません。 • 使用している DynamoDB のバージョンは常に最新かつ最高の状態になります。

rights reserved. エンタープライズ対応

rights reserved. ACID 保証によるアプリケーションコードの簡素化⼤規模なワークロードに対してトランザクションを実⾏するレガシー移⾏を加速 ACID トランザクション

rights reserved. 完全マネージド型で簡単なセットアップ、テーブルレベルの暗号化 Amazon VPC エンドポイント経由でセキュアに DynamoDB にアクセスエンタープライズ対応保管時の暗号化デフォルトですべてのテーブルを暗号化

rights reserved. ポイントインタイムリカバリ (PITR) による継続的バックアップ長期保存とコンプライアンスのためのオンデマンドバックアップパフォーマンスに影響を与えずに、数PB のデータを即座にバックアップエンタープライズ対応バックアップと復元

rights reserved. スケーラブルで高性能なデータモデルの構築に役立つクライアントアプリケーションクエリの開発とテストの簡素化データモデルの可視化と DynamoDB オペレーションの実行に役立つ GUI ベースのツール Windows および macOS で使用可能エンタープライズ対応 NoSQL Workbench

rights reserved. エンタープライズ対応重要な理由 • イノベーションの解放 : エンタープライズのお客様は、最終的にレガシーデータベースでは間に合わない、デジタルトランスフォーメーションプロジェクトの規模要件に行き当たります。 • 迅速な移行 : エンタープライズのお客様は、スタートアップの速度で新しいテーブルを作成したり、既存のテーブルをスケールしたりできます。 • リスクの軽減 : ダウンタイムが数百万ドルの損失に相当するミッションクリティカルなアプリケーションのスケーリングの課題を回避します。業界をリードする SLA に裏づけられたアップタイムに Amazon.com が利用しているのと同じ��クノロジーを活用します。 • バージョニングの排除 : DynamoDB では、常に最新バージョンを使用できます。通常、DynamoDB のコンポーネントを平日に少なくとも 1 つデプロイします。常に最新のセキュリティ、耐久性、可用性、およびパフォーマンスの向上を実現しています。

rights reserved. AWS のデータベースサービス ※一部抜粋 Amazon RDS Amazon Aurora Amazon DynamoDB Amazon Redshift Amazon Neptune Amazon ElastiCache

rights reserved. Key-Value とはキーとバリュー（値）という単純な構造 Key1 Value1 Key2 Value2 Key3 Value3 1 対 1 • テーブルのデータ量に関係なく高速なレスポンス • 1 日に 10 兆件以上のリクエスト処理可能 • 毎秒 2,000 万件を超えるリクエストをサポート Amazon DynamoDB

rights reserved. Amazon DynamoDB の特徴 • フルマネージド型の NoSQL データベースサービス • 3つの Availability Zone に保存されるので信頼性が⾼い • 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 • ストレージの容量制限がない • 料⾦体系（キャパシティを定義する場合）設定した Read キャパシティユニット Write キャパシティユニット（無料枠あり） + ストレージ利⽤料 ( + オプション機能料⾦ ) https://aws.amazon.com/jp/dynamodb/pricing/ 参考） Amazon DynamoDB 料金

rights reserved. Amazon DynamoDB の用語 Partition Key ↓ Sort Key ↓ Customer ID Order ID 20001 name=AWS⼊⾨ 1 20002 name=AWS⼊⾨ count=100 20002 name=漫画AWS 20003 name=応⽤AWS day=2019/8/31 1 2 1 Primary Key ※Partition Key のみの場合も（後述） Item Attributes ※Primary Key 以外は Item 間で不揃いであっても問題ない Table

rights reserved. Amazon DynamoDB におけるテーブル設計① • DynamoDB では2種類のプライマリーキーをサポートする • Partition Key • Partition Key & Sort Key ◆Partition Key Product ID 1001 price=3,240 1002 name=応⽤ AWS 1003 day=20191224 publisher=x出版 1004 name=漫画 AWS price=980 Customer ID ◆Partition Key & Sort Key Order ID 20001 name=AWS⼊⾨ 1 20002 name=AWS⼊⾨ count=100 1 20002 name=漫画 AWS 2 20003 name=応⽤ AWS day=2019/8/31 1 ↑Partition Key （同じPartition Key の Item は登録できない） ↑Partition Key （Partition Key と Sort Key がともに同じ Item は登録できない） ↑Sort Key name=AWS⼊⾨

rights reserved. Amazon DynamoDB におけるテーブル設計② • DynamoDB では2種類の Secondary Index を利⽤することができる • Local Secondary Index (LSI) • Sort Key 以外に絞り込み検索を⾏う Key を持つことができる • Partition Key はベーステーブルと同じ / Sort Key が異なる • Global Secondary Index (GSI) • Partition Key 属性の代わりとなる、Partition Key をまたいで検索を⾏うためのインデックス Customer ID (Key以外のスキーマはItemごと) ◆Local Secondary Index の例 Order ID 20001 Book Name: AWS⼊⾨ 1 Price: 2,160 20001 Book Name: 応⽤AWS 2 Price: 3,240 ↑LSI - SK 「ある顧客のあるオーダー」以外に、「ある顧客の幾らのオーダー」も検索可能になる参考） BlackBelt シリーズ: Amazon DynamoDB https://d1.awsstatic.com/webinars/jp/pdf/services/20170809_AWS-BlackBelt-DynamoDB.pdf ↑LSI - PK

rights reserved. Amazon DynamoDB におけるテーブル設計③ • キャパシティユニットの考え⽅ • Read: 1ユニットにつき、最⼤4KBのデータを1秒に1回読み込み可能（強い⼀貫性を持たない読み込み設定であれば、1秒あたり2回） • Write: 1ユニットにつき、最⼤1KBのデータを1秒に1回書き込み可能ピーク時は、 1KB以下のデータが秒間80回書き込まれる ◆考え方の例 ☺ 少し余裕をみて Write キャパシティは 100 にしよう参考）結果整合性のある読み込み / 強力な整合性のある読み込み https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/HowItWo rks.ReadConsistency.html Amazon DynamoDB

rights reserved. Amazon DynamoDB におけるデータの操作方法 • HTTPベースのAPIで操作を⾏うデータの作成・PutItem ・BatchWriteItem ◆API の例データの更新・UpdateItem ※対象ItemのKeyを指定する単⼀データの取得・GetItem ※対象ItemのKeyを指定する複数データの取得・Query ・Scan https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developergu ide/HowItWorks.API.html 参考） DynamoDB API https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/bp-query-scan.html 参考）クエリとスキャンデータのベストプラクティス Amazon DynamoDB

rights reserved. 補足: この先数ページで前提となる DynamoDB の知識とベストプラクティス • テーブルの数は最小限に留める • 一箇所にあるデータに、テーブルやインデックスを通じアクセスすることで望む形のデータが入手しやすいように構成 • キャパシティユニットの効率向上 • テーブルを分けるべき例外はある • DynamoDB は Primary Key （Partition Key(PK)、または PK + Sort Key(SK) の複合）でデータを識別し、アクセスする • Scan または Query 等のAPI利用 • グローバルセカンダリインデックスは元テーブルから非同期レプリケーションされる別テーブルのような存在 • 1テーブルや1インデックスに複数種類のアイテムをもたせてもよいし、1属性に複数種類の値を入れてもよい https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/develop erguide/best-practices.html その他の知識やテクニックはドキュメントや前述の参考資料を参照のこと

rights reserved. RDB の設計（モデリング）プロセス業務分析と論理データモデリング物理データモデリングアプリ・SQL 設計、実装 • 対象ドメイン（業務、サービス）の事実を洗い出し、概念的→論理的にデータモデリング • One fact in one place に則って正規化を実施 ER 図等 • 論理データモデルを元に、DBMS での実装を意識した情報を追加、定義 • 物理キー設計、データ型、制約、DDL 定義などテーブル定義書等 • アプリケーションからは SQL を通じて柔軟にアクセス実際のクエリ追加要件が⽣じたら︖ • モデルを拡張する

rights reserved. DynamoDB の設計（モデリング）プロセス業務分析とデータのモデリングアクセスパターン設計 Table と Index 設計クエリ条件設計 • 対象ドメインのデータをモデリング • RDB 設計と同じく ER 図による概念と論理レベルの整理は有効 ER 図等 • ビジネス要件からアプリケーションで必要な機能とデータ（アクセスパターン）を整理する • 「従業員情報を ID で検索する」などユースケースリスト等 • ユースケースを満たせるテーブルおよびインデックスのスキーマを設計するスキーマ定義書等 • クエリの詳細を設計、定義する • ユースケースごとに利⽤するパラメータ、インデックス、検索条件などを書き出すクエリ条件定義書等追加要件が⽣じたら︖ • サービスに合わせてテーブル・インデックス設計を変更する • 他のサービスと連携する etc

rights reserved. DynamoDB の設計（モデリング）プロセスそれぞれのプロセスを実例を交えてもう少し詳しく見てみよう

rights reserved. 1. 業務分析とデータのモデリング → ER 図 Audible eBook Sync Service (from re:Invent 2018 session) • ユーザーが Audible eBooks のセッション情報を保存出来る • eBook 及び audio product のユーザー毎のマッピング • スパイクする負荷に対応するため多くのキャパシティが重要 • 多数のアクセスパターン対応

rights reserved. 2. アクセスパターン設計 → ユースケースリスト # Entity Use Case 1 CompanionMapping getCompanionMappingsByAsin 2 CompanionMapping getCompanionMappingsByEbookAndAudiobookContentId 3 CompanionMapping getCompanionMappingsFromCache 4 CompanionMapping getCompanionMappings 5 CompanionMapping getCompanionMappingsAvailable 6 AcrInfo getACRInfo 7 AcrInfo getACRs 8 AcrInfo getACRInfos 9 AcrInfo getACRInfosbySKU 10 AudioProduct getAudioProductsForACRs 11 AudioProduct getAudioProducts 12 AudioProduct deleteAudioProductsMatchingSkuVersions 13 AudioProduct getChildAudioProductsForSKU 14 Product getProductInfoByAsins 17 AudioFile getAudioFilesForChildACR 18 AudioFile getAudioFilesByParentAsinVersionFormat 19

rights reserved. 3. テーブル・インデックス設計 → テーブル定義書 TABLE Primary Key Attributes PK SK, GSI-3-PK GSI-1-PK GSI-2-PK Acr TargetACR AcrInfo1 AcrInfo2 EbookAsin ABOOKACR1 ABOOKACR1-v0 ABOOK-ASIN1 ABOOK-SKU1 MAP-EBOOKACR1 SyncFileAcr ABOOK-ASIN1 ABOOKACR1#TRAC K#1 ABOOK-ASIN1 ABOOK-SKU1 ABOOKACR1#TRAC K#2 ABOOK-ASIN1 ABOOK-SKU1 EBOOKACR1 EBOOKACR1 EBOOK-SKU1 ASIN

rights reserved. 3. テーブル・インデックス設計 → インデックス定義書 GSI 1 GSI Partition Key Projected Attributes GSI-1-PK Acr (Primary Table PK) TargetACR (Primary Table SK) ABOOK-ASIN1 ABOOKACR1 ABOOKACR1-v1 ABOOKACR1#TRACK#1 ABOOKACR1#TRACK#2 SyncFileAcr ABOOKACR1 MAP-EBOOKACR1 EBOOK-SKU1 ABOOKACR1 EBOOKACR1 GSI 2 GSI Partition Key Projected Attributes GSI-2-PK Acr (Primary Table PK) TargetACR (Primary Table SK) ABOOK-ASIN1 ABOOKACR1 MAP-EBOOKACR1 ABOOK-SKU1 ABOOKACR1 ABOOKACR1-v0 ABOOKACR1#TRACK#1 ABOOKACR1#TRACK#2 GSI 3 GSI Partition Key Projected Attributes TargetACR (Primary Table SK) Acr (Primary Table PK) TargetACR (Primary Table SK) ABOOKACR1-v0 ABOOKACR1 ABOOKACR1-v0 MAP-EBOOKACR1 ABOOKACR1 MAP-EBOOKACR1 ABOOKACR1#TRACK#1 ABOOKACR1 ABOOKACR1#TRACK#1 ABOOKACR1#TRACK#2 ABOOKACR1 ABOOKACR1#TRACK#2 EBOOKACR1 EBOOKACR1 EBOOKACR1

rights reserved. DynamoDB の設計（モデリング）プロセス業務分析とデータのモデリングアクセスパターン設計 Table と Index 設計クエリ条件設計 • 対象ドメインのデータをモデリング • RDB 設計と同じく ER 図による概念と論理レベルの整理は有効 ER 図等 • ビジネス要件からアプリケーションで必要な機能とデータ（アクセスパターン）を整理する • 「従業員情報を ID で検索する」などユースケースリスト等 • ユースケースを満たせるテーブルおよびインデックスのスキーマを設計するスキーマ定義書等 • クエリの詳細を設計、定義する • ユースケースごとに利⽤するパラメータ、インデックス、検索条件などを書き出すクエリ条件定義書等追加要件が⽣じたら︖ • サービスに合わせてテーブル・インデックス設計を変更する • 他のサービスと連携する etc 51

rights reserved. 4. クエリ条件設計 → クエリ条件定義書 # Entity Use Case Lookup parameters Table / INDEX Key Conditions Filter Conditions 1 CompanionMapping getCompanionMappingsByAsin audiobookAsin/ebookSku GSI2 GSI-2=ABOOK-ASIN1 None 2 CompanionMapping getCompanionMappingsByEbook AndAudiobookContentId ebookAcr/sku,version,format or audiobookAcr/asin,version,form at GSI-3 on TargetACR attribute OR PrimaryKey on Table GSI-3=MAP-EBOOKACR1 version=v and format=f 3 CompanionMapping getCompanionMappingsFromCa che ebookAcr/sku,version,format or audiobookAcr/asin,version,form at GSI-3 on TargetACR attribute OR PrimaryKey on Table GSI-3=MAP-EBOOKACR1 version=v and format=f 4 CompanionMapping getCompanionMappings syncfileAcr, ebookAcr?, audiobookAcr? GSI1 GSI-1=SyncFileAcr None 5 CompanionMapping getCompanionMappingsAvailable ebookAcr, audiobookAcr Primary Key on Table Acr=ABOOKACR1 and TargetACR beginswith "MAP-" 6 AcrInfo getACRInfo acr Primary Key on Table Acr=ABOOKACR1 and TargetACR beginswith "ABOOKACR1-v" 7 AcrInfo getACRs acr / asin,version,format Primary Key on Table Acr=ABOOKACR1 version=v and format=f 8 AcrInfo getACRInfos acr Primary Key on table Acr=ABOOKACR1 and TargetACR beginswith "ABOOKACR1" 9 AcrInfo getACRInfosBySKU sku GSI2 GSI-2=ABOOK-SKU1 10 AudioProduct getAudioProductsForACRs acr Primary Key on table Acr=ABOOKACR1 and TargetACR beginswith "ABOOKACR1" 11 AudioProduct getAudioProducts sku, version, format GSI2 GSI-2=ABOOK-SKU1 version=v and format=f 12 AudioProduct deleteAudioProductsMatchingSk uVersions sku, version GSI2 GSI-2=ABOOK-SKU1 version=v 13 AudioProduct getChildAudioProductsForSKU sku GSI2 GSI-2=ABOOK-SKU1 14 Product getProductInfoByAsins asin GSI1 GSI-1=ABOOK-ASIN1 15 Product getParentChildDataByParentAsin s asin GSI1 GSI-1=ABOOK-ASIN1 Acr=ABOOKACR1 and

rights reserved. 再掲：DynamoDB の設計（モデリング）プロセス業務分析とデータのモデリングアクセスパターン設計 Table と Index 設計クエリ条件設計 • 対象ドメインのデータをモデリング • RDB 設計と同じく ER 図による概念と論理レベルの整理は有効 ER 図等 • ビジネス要件からアプリケーションで必要な機能とデータ（アクセスパターン）を整理する • 「従業員情報を ID で検索する」などユースケースリスト等 • ユースケースを満たせるテーブルおよびインデックスのスキーマを設計するスキーマ定義書等 • クエリの詳細を設計、定義する • ユースケースごとに利⽤するパラメータ、インデックス、検索条件などを書き出すクエリ条件定義書等追加要件が⽣じたら︖ • サービスに合わせてテーブル・インデックス設計を変更する • 他のサービスと連携する etc

rights reserved. というわけで DynamoDB でよくある誤解の一つ「DynamoDB ってスキーマレスだから事前の設計いらないでしょ？」

rights reserved. というわけで DynamoDB でよくある誤解の一つ「DynamoDB ってスキーマレスだから事前の設計いらないでしょ？」 → いいえ。ちゃんとアクセスパターンに基づいた設計が必要です

rights reserved. 以下の画面を実現するデータモデルを考えようイベント検索イベントID: イベント名: AWS Loft Tokyo 会場: 開催日: 検索タグ: ID イベント名会場開催日タグ 2 DynamoDB勉強会 AWS Loft Tokyo yy/3/4 #DynamoDB #Serverless 14 サーバーレス設計勉強会 AWS Loft Tokyo yy/5/9 #Serverless #Lambda #Design ・・・ 33 API認証認可 Night AWS Loft Tokyo yy/6/23 #WebAPI #JWT #APIGateway #Auth #OAuth #OIDC #Cognito 検索結果 ※ この例題では、シンプルに各項⽬を完全⼀致で検索できるようにするものとし��す ※ 現実的には OpenSearch 等の利⽤も検討してください

rights reserved. 再掲：DynamoDB の設計（モデリング）プロセス業務分析とデータのモデリングアクセスパターン設計 Table と Index 設計クエリ条件設計 • 対象ドメインのデータをモデリング • RDB 設計と同じく ER 図による概念と論理レベルの整理は有効 ER 図等 • ビジネス要件からアプリケーションで必要な機能とデータ（アクセスパターン）を整理する • 「従業員情報を ID で検索する」などユースケースリスト等 • ユースケースを満たせるテーブルおよびインデックスのスキーマを設計するスキーマ定義書等 • クエリの詳細を設計、定義する • ユースケースごとに利⽤するパラメータ、インデックス、検索条件などを書き出すクエリ条件定義書等追加要件が⽣じたら︖ • サービスに合わせてテーブル・インデックス設計を変更する • 他のサービスと連携する etc 58

rights reserved. 1. データモデリング id (PK) name venue_id (FK) date Events id (PK) name Tags event_id (PK, FK) tag_id (PK, FK) EventTags id (PK) name address Venues -- もし SQL でアクセスするなら -- 例: 会場名とタグでイベントを完全一致検索 SELECT e.id, v.name... FROM Events e JOINVenues v ON v.id = e.venue_id JOINEventTags et ON et.event_id = e.id JOINTags t ON t.id = et.tag_id WHERE v.name = :vname AND t.name = :tname

rights reserved. 2. アクセスパターン設計 → ユースケースリスト # Entity Use Case 1 Events getEventByEventID 2 Events getEventsByEventName 3 Events getEventsByVenueName 4 Events getEventsByDate 5 Events getEventsByTag 6 Tags getTagsByEventID 7 Venue getVenueByEventID

rights reserved. まず、何も考えずにシンプルに DynamoDB に落とし込んでみると？

rights reserved. 3. テーブル・インデックス設計 - シンプルなパターン TABLE Partition Key Attributes EventID EventName VenueName Tags Date {EventID} {EventName} {VenueName} {TagName1, ...} {yyyy-mm-dd} ... ... ... ... ... • GetItem や Query が EventID にしか使えず、それ以外の属性で検索したいとき Scan + Filter で高コストになってしまう • Scan はテーブル・インデックス内を文字通りフルスキャンするため、パフォーマンスおよびコスト面のリスクがある • 項目数が少なく Scan で問題ないことが担保できている場合などを除き、一般に Scan でなく Query や GetItem / BatchGetItem の利用を検討すべきこの構成の懸念点 ※ {foo} は何らかの値が⼊っていることを⽰す

rights reserved. 3. テーブル・インデックス設計 - シンプル + GSI パターン TABLE Primary Key Attributes Partition Key GSI-1-PK GSI-2-PK GSI-3-PK GSI-4-PK EventID EventName VenueName Tags Date {EventID} {EventName} {VenueName} {TagName1, ...} {yyyy-mm-dd} ... ... ... ... ... • 各属性に Global Secondary Index が貼られたため Query が可能に ※ GSI はデフォルトで 20 個/テーブル。それ以上は上限緩和を申請この構成で解決した点 • GSI が増えることによる⾦銭（スループット+ストレージ）コスト増、管理コスト増 • 多くの GSI をアプリケーションが意識する必要がある ※ このスキーマが絶対にダメというわけではないが他の設計パターンを踏まえて検討すべきこの構成の懸念点

rights reserved. では、DynamoDB らしいテクニックを使ってみると？ - GSI オーバーローディング（GSI の多重定義）等

rights reserved. 3. テーブル・インデックス設計 → テーブル定義書 TABLE Primary Key Attributes PK, GSI-1-SK SK GSI-1-PK GSI-2-PK ID DataType DataValue VenueName VenueAddress {EventID} EventName {EventName} {EventID} VenueID {VenueID} {EventID} Date {yyyy-mm-dd} {EventID} Tag_{TagName} Tag_{TagName} {VenueID} VenueInfo {VenueName} {Address} • 1 項⽬内にフラットに属性を並べるのではなく、情報を縦に持つ • ⼀つの GSI に複数の検索要件をもたせる（GSI オーバーローディング） • GSI の数が少なくて済み、コストやクエリを最適化できるこの構成で解決した点

rights reserved. 3. テーブル・インデックス設計 → インデックス定義書 GSI 1 GSI Partition Key Projected Attributes GSI-1-PK GSI-1-SK (Primary Table SK) DataValue ID DataType VenueAddress {EventName} {EventID} EventName {VenueID} {EventID} Venue {yyyy-mm-dd} {EventID} Date Tag_{TagName} {EventID} Tag_{TagName} GSI 2 GSI Partition Key Projected Attributes GSI-2-PK (Primary Table PK) VenueName ID VenueAddress {VenueName} {VenueID} {Address} • 検索条件として指定したい属性をキーとする GSI を定義 66

rights reserved. 3.1 格納されるデータイメージ TABLE Primary Key Attributes PK, GSI-1- SK SK GSI-1-PK GSI-2-PK ID DataType DataValue VenueName VenueAddress E123 EventName DynamoDB勉強会 E123 VenueID V32 E123 Date yy/3/4 E123 Tag_#DynamoDB Tag_#DynamoDB E123 Tag_#Serverless Tag_#Serverless E145 EventName サーバーレス設計勉強会 E145 VenueID V32 E145 Date yy/5/9 E145 Tag_#Serverless Tag_#Serverless E145 Tag_#Lambda Tag_#Lambda E145 Tag_#Design Tag_#Design V32 VenueInfo AWS Loft Tokyo 目黒セントラルスクエア • 実際にはこのような値が入ることを想定 • この例の場合、E123 と E145 の２つのイベント情報。会場はどちらも V32 としている

rights reserved. TABLE Primary Key Attributes PK, GSI-1- SK SK GSI-1-PK GSI-2-PK ID DataType DataValue VenueName VenueAddress E123 EventName DynamoDB勉強会 E123 VenueID V32 E123 Date yy/3/4 E123 Tag_#DynamoDB Tag_#DynamoDB E123 Tag_#Serverless Tag_#Serverless E145 EventName サーバーレス設計勉強会 E145 VenueID V32 E145 Date yy/5/9 E145 Tag_#Serverless Tag_#Serverless E145 Tag_#Lambda Tag_#Lambda E145 Tag_#Design Tag_#Design V32 VenueInfo AWS Loft Tokyo 目黒セントラルスクエア 3.1 格納されるデータイメージ Query(ID = :eventId) で該当 EventID のアイテムが取得できる例: Table.Query(ID = "E123")

rights reserved. TABLE Primary Key Attributes PK, GSI-1- SK SK GSI-1-PK GSI-2-PK ID DataType DataValue VenueName VenueAddress E123 EventName DynamoDB勉強会 E123 VenueID V32 E123 Date yy/3/4 E123 Tag_#DynamoDB Tag_#DynamoDB E123 Tag_#Serverless Tag_#Serverless E145 EventName サーバーレス設計勉強会 E145 VenueID V32 E145 Date yy/5/9 E145 Tag_#Serverless Tag_#Serverless E145 Tag_#Lambda Tag_#Lambda E145 Tag_#Design Tag_#Design V32 VenueInfo AWS Loft Tokyo 目黒セントラルスクエア 3.1 格納されるデータイメージ Query(DataValue = :tagName) で該当タグを持つ Event の ID を取得できる例: GSI1.Query(DataValue = "Tag_#Serverless")

rights reserved. 4. クエリ条件定義 # Entity Use Case Parameters Table/Index API & Key Conditions 1 Events getEventByEventID {eventId} Primary Table Query(ID = :eventId) 2 Events getEventsByEventName {eventName} GSI-1 Query(DataValue = :eventName) 3 Events getEventsByVenueName {venueName} GSI-2, GSI-1 Query(VenueName = :venueName), Query(DataValue = :venueId) 4 Events getEventsByDate {date} GSI-1 Query(DataValue = :date) 5 Events getEventsByTag {tagName} GSI-1 Query(DataValue = :tagName) 6 Tags getTagsByEventID {eventId} Primary Table Query(ID = :eventId) 7 Venue getVenueByEventID {eventId} Primary Table, Primary Table GetItem(ID = :eventId and DataType = VenueID), GetItem(ID = :venueId and DataType = VenueInfo) • どのユースケースにはどの Table / Index を使い、どうデータを問い合わせるのか（GetItem? GetBatchItem? Query? Scan?）を列挙 • Filter Condition や Projection Expression などを記述してもよし

rights reserved. まとめ • サーバーレスアプリケーションにはスケーラブルな Amazon DynamoDB が使いやすい • 懸念事項を考慮の上で許容できるならその限りではない • DynamoDB のモデリングプロセスは 1. 業務分析してデータモデルを整理 2. ユースケース��スト 3. テーブル・インデックス設計 4. クエリ条件設計 • 公式ドキュメントのベストプラクティスを踏まえた上で設計に臨むべし

rights reserved. ぜひ参考資料を活用してください • Amazon DynamoDB 開発者ガイド（Link） • DynamoDB のベストプラクティス（Link） • Amazon DynamoDB のベストプラクティスに従うという 2019 年の計を立てる - Amazon Web Services ブログ（Link） • [AWS Black Belt Online Seminar] Amazon DynamoDB Advanced Design Pattern（資料 | 動画） • DynamoDBデータモデリング虎の巻 - misc.tech.notes （Link） • AppSyncを使いこなすためのDynamoDB設計パターン（Link）

rights reserved. Thank you よいサーバーレスライフを！

rights reserved. Appendix-1 かんたんドリル別解の例

rights reserved. Appendix-1. テーブル・インデックス設計 → テーブル定義書 TABLE Primary Key Attributes PK, GSI-1-SK SK GSI-1-PK ID DataType DataValue1 DataValue2 {EventID} EventName {EventName} {EventID} VenueInfo {VenueName} {Address} {EventID} Date {yyyy-mm-dd} {EventID} Tag_{TagName} Tag_{TagName} • GSI を⼀つにし、会場情報を ID で別持ちせず各 Event アイテム内に含めたパターン

rights reserved. Appendix-1. 格納されるデータイメージ TABLE Primary Key Attributes PK, GSI-1-SK SK GSI-1-PK ID DataType DataValue1 DataValue2 E123 EventName DynamoDB勉強会 E123 VenueInfo AWS Loft Tokyo 目黒セントラルスクエア E123 Date yy/3/4 E123 Tag_#DynamoDB Tag_#DynamoDB E123 Tag_#Serverless Tag_#Serverless E145 EventName サーバーレス設計勉強会 E145 VenueID AWS Loft Tokyo 目黒セントラルスクエア E145 Date yy/5/9 E145 Tag_#Serverless Tag_#Serverless E145 Tag_#Lambda Tag_#Lambda E145 Tag_#Design Tag_#Design

rights reserved. Appendix-1. テーブル・インデックス設計 → インデックス定義書 GSI 1 GSI Partition Key Projected Attributes GSI-1-PK GSI-1-SK (Primary Table SK) DataValue ID DataValue1 DataValue2 {EventName} {EventID} EventName {VenueID} {EventID} Venue {yyyy-mm-dd} {EventID} Date Tag_{TagName} {EventID} Tag_{TagName} {VenueName} {EventID} {VenueName} {Address}

rights reserved. Appendix-1. クエリ条件定義 # Entity Use Case Parameters Table/Index API & Key Conditions 1 Events getEventByEventID {eventId} Primary Table Query(ID = :eventId) 2 Events getEventsByEventName {eventName} GSI-1 Query(DataValue1 = :eventName) 3 Events getEventsByVenueName {venueName} GSI-1 Query(DataValue1 = :venueName) 4 Events getEventsByDate {date} GSI-1 Query(DataValue1 = :date) 5 Events getEventsByTag {tagName} GSI-1 Query(DataValue1 = :tagName) 6 Tags getTagsByEventID {eventId} Primary Table Query (ID = :eventId and DataType begins_with Tag_) 7 Venue getVenueByEventID {eventId} Primary Table GetItem (ID = :event and DataType = VenueInfo) • この設計でも列挙したユースケースリストの要件は満たせる • 本⽂中のパターンと何が違い、Pros/Cons は何なのか︖（続きは次ページ）

rights reserved. Appendix-1. と本文でスキーマの違いによってどんな影響がある？⽐較事項本⽂中のパターン Appendix-1 のパターン GSI の数 2 1 getEventsByVenueName を実装する際のアクセス回数 2 1 会場情報（VenueName, Address等）を修正する際のUpdate回数 1 登録された Event の数 ※ ビジネス要件次第。下記参照 • どちらがよい、悪いとは⼀概に⾔えない。要件と制約次第 • 例えば Appendix-1 パターンで会場情報を修正する必要が出た場合、次のような条件や考慮によって処理量やリスクは異なる • そもそも過去のイベントの会場情報まで含め修正す��きなのか︖ • ⼀度に修正すべきなのか︖（順次低スピードで修正すれば済むのか︖など） • 数⼗万、数百万アイテム程度ならバッチを⾛らせて更新してしまえばよいのでは︖

rights reserved. Appendix-2 途中で要件を満たせないことに気づいた失敗設計の例と失敗箇所当てエクササイズ ※ フィクションです

rights reserved. Appendix-2. テーブル・インデックス設計 - 失敗パターン TABLE Primary Key Attributes PK SK, GSI-1-PK GSI-1-SK EventID DataType DataValue {EventID} EventName {EventName} {EventID} VenueName {VenueName} {EventID} VenueAddress {VenueAddress} {EventID} Date {yyyy-mm-dd} {EventID} Tag_{n} {TagName}

rights reserved. Appendix-2. 格納されるデータイメージ TABLE Primary Key Attributes PK SK, GSI-1-PK GSI-1-SK EventID DataType DataValue E123 EventName DynamoDB勉強会 E123 VenueName AWS Loft Tokyo E123 VenueAddress 目黒セントラルスクエア E123 Date yy/3/4 E123 Tag_1 #DynamoDB E123 Tag_2 #Serverless E145 EventName サーバーレス設計勉強会 E145 VenueName AWS Loft Tokyo E145 VenueAddress 目黒セントラルスクエア E145 Date yy/5/9 E145 Tag_1 #Serverless E145 Tag_2 #Lambda E145 Tag_3 #Design

rights reserved. Appendix-2. テーブル・インデックス設計 GSI 1 GSI Partition Key Projected Attributes GSI-1-PK GSI-1-SK (Primary Table SK) DataType DataValue EventID EventName {EventName} {EventID} VenueName {VenueName} {EventID} VenueAddress {VenueAddress} {EventID} Date {yyyy-mm-dd} {EventID} Tag_{n} {TagName} {EventID}

rights reserved. Appendix-2. クエリ条件定義 # Entity Use Case Parameters Table/Index Key Conditions 1 Events getEventByEventID {eventId} Primary Table EventID = :eventId 2 Events getEventsByEventName {eventName} GSI-1 DataType = EventName And EventName = :eventName 3 Events getEventsByVenueName {venueName} GSI-1 DataType = VenueName And VenueName = :venueName 4 Events getEventsByDate {date} GSI-1 DataType = Date And Date = :date 5 Events getEventsByTag ※ここでやっと実現不可能なことに気づいた︕ 6 Tags getTagsByTagName 7 Tags getTagsByEventID 8 Venue getVenueByEventID • この設計だとなぜ getEvenetsByTag が実現できないのか︖（答えは次ページ）

rights reserved. Appendix-2. でなぜ getEventsByTag が満たせないのか GSI 1 GSI Partition Key Projected Attributes GSI-1-PK GSI-1-SK (Primary Table SK) DataType DataValue EventID EventName {EventName} {EventID} VenueName {VenueName} {EventID} VenueAddress {VenueAddress} {EventID} Date {yyyy-mm-dd} {EventID} Tag_{n} {TagName} {EventID} • TagName から Event 情報を引き当てるために Query(DataType = begins_with("Tag_") and DataValue = :tagName) のようなクエリをイメージしていたが、 begins_with 関数は Sort Key にしか使えない • Query(DataType = Tag_{n} and DataValue = :tagName) としようとしても、クエリ発⾏側からは {n} の値を定めることができず、 Partition Key が指定できない

DynamoDB の基礎と設計 / DynamoDB Design Practice

DynamoDB の基礎と設計 / DynamoDB Design Practice

More Decks by kensh

Other Decks in Technology

Featured

Transcript