処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
こんにちは、AI 基盤部の大谷です。 最近は兼務で MLOps 以外にも様々なシステムを構築しています。 弊社では全社的にオンプレミスからクラウドに、よりマネージドに寄せていこうという大きな指針が定められています。 (参考: フルスイングの記事 ) しかし、古くから運用されているサービスなどでは、未だにオンプレミスで構築されているものも少なくありません。 また、クラウドにホストされている場合でも、マネージドサービスを完全に活用しきれていない場合もあり、EC2 ベースの IaaS な構成はまだまだ多く存在しています。 とあるサービスでも、クラウド化はされているものの、マネージドサービスを活用しきれていないメール配信システムが運用されていました。 一般にメール配信システムは、挙動の違う複数のメールプロバイダにスムーズに配信するために多くのことを気にする必要があり、その分管理コストも高くなりがち
公開日 2024/05/28更新日 2024/07/25注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 現代のITサービスは、ユーザーに高品質で安定した体験を提供するために、より効率的で柔軟な技術選定が不可欠です。 本特集では、注目企業のシステムアーキテクチャ設計に携わるエンジニアの方々より、それぞれの技術選定における工夫と、未来を見据えた展望についてご寄稿いただいています。 各企業がどのように課題を乗り越え、開発生産性や品質を向上させるためにどのようなアプローチを採用しているのか ー この記事を通じて、実際の現場で活用される最先端の技術や戦略を学び、皆さんのプロジェクトに役立つ洞察を得ていただければ幸いです。 ※ご紹介はサービス名のアルファベット順となっております airCloset - 株式会社エアークローゼット エアークローゼットは日本初・国内最大級、女
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
こんにちは、カート決済部カート決済サービスブロックの林です。普段はZOZOTOWN内のカートや決済の機能開発、保守運用、リプレイスを担当しています。 弊社ではカートや決済機能のリプレイスを進めており、これまでにカート投入のキャパシティコントロールや在庫データのクラウドリフトを実現しています。 techblog.zozo.com techblog.zozo.com 本記事では新たにクレジットカード決済処理を非同期化したリプレイス事例を紹介します。 はじめに 背景・課題 非同期化のシステム構成 パターン1 - 完全非同期化パターン パターン2 - 非同期・同期切り替えパターン パターン3 - ポーリングパターン システム構成の決定 メッセージングサービスの選定 効果 今後の展望 まとめ さいごに はじめに 本章では、非同期化前のZOZOTOWNのクレジットカード決済を用いた注文処理の流れを説明
Railsで秒間1000コミットを捌くにはどうすればいいのか (Kaigi on Railsのフリースペースより) - joker1007’s diary
先日のKaigi on Rails中の雑談として @ima1zumi さんから、RDBに対して秒間1000コミットぐらいで処理が詰まってる場合ってどうするのが良いのか、という質問を受けまして、雑談の中で色々答えてたんですが、せっかくだから記事にまとめておこうと思います。 ちょっとしたKaigi Effectって感じですね。 今回のKaigi on Railsのトークの中では、 数十億のレコードを持つ5年目サービスの設計と障害解決 by KNR - Kaigi on Rails 2023 の話なんかは割と関連がありますね。ユーザーの行動履歴というのは、ユーザー数 * N * タイムスパンで増えていくレコードなので、書き込みとデータ量が爆発しがちです。トランザクションで堅牢に処理しなければいけないケースもそこまで多くないので、RDBだと書き込みに対する処理が過剰なケースが多い。実際のところこの
SQS + Lambda という⾮同期処理 ⻩⾦パターン再⼊⾨ #AWSDevDay / SQS-Lambda-DevDay2022
Talked at AWS Dev Day Japan 2022. - 解説動画 : https://www.youtube.com/watch?v=hT7Se0oFEkU - イベントページ: https://aws.amazon.com/jp/events/devday/japan/ - Pr…
Pythonによるイベントソーシングへの挑戦と現状に対する考察 / Challenging Event Sourcing with Python and Reflections on the Current State
Amazon Web Services ブログ サーバーレスマイクロサービスを構築するための設計アプローチの比較 AWS Lambda でワークロードを設計すると、コードレベルでもインフラレベルでも表現できるモジュール性のために、開発者に疑問が生じます。また、コードを実行するためにサーバーレスを使用するには、基盤となる機能コンポーネントからビジネスロジックを抽出するためのさらなる検討が必要です。この意図的な関心の分離により、堅牢なモジュール性が保証され、進化的なアーキテクチャへの道が開かれます。 この投稿は同期ワークロードに焦点を当てていますが、他のワークロードのタイプでも同様の考慮が当てはまります。API の境界を特定し、コンシューマと API について擦り合わせた後、その境界と関連するアーキテクチャを構成します。 Lambda 関数を使用して API を構成する最も一般的な 2 つの方
非同期処理を使いこなそう ! -第 2 回 非同期処理と同期処理の処理構造 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
皆さんこんにちは。プロフェッショナルサービス本部のデジタルトランスフォーメーションチームでマネージャーをしています堀場です。 さて、いきなりですが、先日、ふと、頭に思い浮かんだ単語があります。それがこちら。 「機能」「情報」「連絡」「手順」「時間」・・・ 25 年以上前に覚えた単語がふと出てきたわけで・・・・この後、何が続くかご存知でしょうか ? 答えは、「論理」「暗号」です。 これは、モジュール強度 (または凝集度) の段階を表すもので「暗号」は凝集度が低く「機能」がもっとも高いと定義されています。なぜ、思い出したのかは謎です。ちなみに、10 年前の資料ですが IPA が提供している IT 人材育成用の汎用コンテンツ の 講義ノート に簡単な解説がありましたので興味がある方は読んでみてください。 凝集度が高いほど、堅牢性、信頼性、再利用性が高く、コードの読みやすさなどの点で好ましく、凝集
Here I plan to share my technical knowledge and experience, as well as my interests in the subject. Please note that this tech blog is a space for sharing my personal views and ideas, and it does not represent the opinions of any company or organization I am affiliated with. The main purpose of this blog is to deepen my own technical skills and knowledge, to create an archive where I can record an
SQS を使った Python の非同期ワーカーは ndkale しかない - kawasin73のブログ
誰一人見捨てない!!! どうも、かわしんです。Celery は見捨てるんです。 この記事は Pythonその2 Advent Calendar 2019 の 15 日目の記事です。 やや強めのタイトルですが、AWS SQS を使った非同期ワーカーでまともな実装は ndkale しかないという内容です。Celery は論外です。 github.com 前半はディスってばっかりなので、ndkale のことだけを知りたい場合は途中の「大本命 ndkale」から読んでください 前提としての欲しい機能 まず、諸々をディスる前に非同期ワーカーとして欲しい機能をあげておきます。 正しく SQS を使って信頼性のあるタスク実行をする 即時再実行をする 複数のキューを使い分ける。また同じタスクでも動的に利用するキューを切り替えたい Dead Letter Queue も使えると嬉しい まず Celery を
[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO
こんにちは。サービスグループの武田です。 開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 何度か配信があり��すので視聴したい方はスケジュールを確認してみてください。 AWS re:Invent 2020 セッション概要 スピーカー Justin Pirtle（AWS Speaker） タイトル Scalable serverless event-driven architectures with SNS, SQS & Lambda SVS303 イベント駆動型のサーバレスアーキテクチャは、アプリケーションをシームレスに拡張して、ほぼすべての需要に対応できるようにし、従量課金と最小限の運用オーバーヘッドの恩恵を受けます
![[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO](https://cdn.statically.io/img/cdn-ak-scissors.b.st-hatena.com/image/square/1fc8bce7c66555564f1e060e786724d616daf7d8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-session-report.jpg)
[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 先日 (2020/06/10) 開催しました AWS Black Belt Online Seminar「サーバーレス イベント駆動アーキテクチャ」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200610 AWS Black Belt Online Seminar サーバーレスイベント駆動アーキテクチャ AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. オーダーサービスの例をとると、非同期になったことにより在庫が結果としてなかったなどの応答はどうやってクライアントに通知するべきでしょうか？ A. このような場合に備えて補償トランザクション
![[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services](https://cdn.statically.io/img/cdn-ak-scissors.b.st-hatena.com/image/square/42a8e52abaec9c9a8afbb465faacf28c1b13ec5c/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F06%2F16%2FThumbnail-1-1119x630.png)
非同期処理を使いこなそう ! - 第 1 回 非同期処理ってなんだろう ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、プロフェッショナルサービス本部クラウドアプリケーションアーキテクトの五十嵐です。 先日、Web で美味しそうな料理の写真を見かけ、自宅で作ってみることにしました。 大きく分けて以下の手順が必要でしたが、みなさまでしたらどのように調理を進めるでしょうか ? 鍋で水を沸騰させる 野菜を切る 野菜を茹でる 調味料で味付けをする 皿に盛り付ける 1. で鍋を火にかけた後、鍋の前で沸騰するのをじっと待ちますか ? 今回は次の手順が沸騰を待たなくてもできる「野菜を切る」のため、沸騰を待たずに 2. で野菜を切り始め、沸騰したことを確認してから 3. で野菜を茹で始めると思います。 このようにして、完成までの時間を短縮化させる工夫をするのではないでしょうか。「他タスク (今回は水の沸騰) の完了を待たなくても良いケース (野菜を切る)」と、「他タスクの完了を待つべきケース (野菜を茹でる)」
こんにちは！LayerXエンジニアの高際 @shun_tak です！ この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので（大歓迎です！）、Amazon SQSとGoの machinery を活用して非同期処理しているよ！ AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ！ では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
Amazon Web Services ブログ マルチテナントソリューションでAmazon SQSを使う AWS SaaS Factoryチームのシニアパートナーソリューションアーキテクト Raju Patel によって書かれた記事です。 モダンアプリケーションは、サービス統合、バッチ処理、またはワークフローオーケストレーションの一部として、キューイングに依存することがよくあります。キューは、システムの環境に拡張性と耐障害性を追加するうえ重要です。 これは、キューイング戦略をマルチテナントソリューションのワークロードにどのように適用するかを考える必要がある、Software-as-a-Service（SaaS）環境では特に当てはまります。SaaS アプリケーションのキューイングモデルを設計する際には、データの分離、パフォーマンス、および運用を考慮する必要があります。 多くの組織がアマゾンウ
[アップデート] Lambda イベントソースに FIFO キューが指定できるようになりました | DevelopersIO
関数の内容については、大栗の記事同様に以下のとおり設定しました。 from __future__ import print_function def lambda_handler(event, context): for record in event['Records']: print ("test") payload=record["body"] print(str(payload)) 次にイベントトリガーを設定します。「トリガーを追加」をクリックします。 トリガーに「SQS」を選択し、事前に作成しておいた FIFO キューを指定します。（記憶がうろ覚えですが、以前はここの選択対象に FIFO キューは表示されなかったと思います）。バッチサイズは 5 で検証してみました。 これで FIFO キューをトリガーとした Lambda 関数がセットできました。次にキューにメッセージを投入して、
![[アップデート] Lambda イベントソースに FIFO キューが指定できるようになりました | DevelopersIO](https://cdn.statically.io/img/cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
SQS には ApproximateAgeOfOldestMessage という、queue に存在する最も古いメッセージの、queue に入ってからの経過時間に関するメトリクスがあります。例えば queue の処理が遅延していることを検知したい場合、ApproximateNumberOfMessagesVisible よりも良い指標となる場合があります。ただ、このメトリクスの定義の詳細についてはドキュメントに載っておらず、ドキュメントに書かれている内容も正確さを欠くので実験を通して現在の挙動についてまとめてみました。 実験結果等を踏まえた ApproximateAgeOfOldestMessage の定義 結論から述べると、次のような定義と言えます。 メトリクスの対象メッセージは queue に存在するすべてのメッセージであり、invisible なものも含む メトリクスの値は queu
goqite is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler)
goqite (pronounced Go-queue-ite) is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler). $ go get github.com/maragudk/goqite See goqite on Github Examples Queue package main import ( "context" "database/sql" "fmt" "log" "time" _ "github.com/mattn/go-sqlite3" "github.com/maragudk/goqite" ) func main() { // Bring your own database connection, since you pr
Amazon SQSのロングポーリング設定でコストを99%削減した話 - Uzabase for Engineers
こんにちは。 NewsPicksエンジニアの美濃部です。 NewsPicksではAWSをインフラ基盤として利用しているのですが、この記事では実際に行ったSQSのコスト削減の話をしたいと思います。 結論から話すとタイトルにもありますが「SQSでメッセージを受信する時にはショートポーリングではなくロングポーリングにした方が大体においてコストが下がります」という内容です。 この話の発端はコスト削減の余地がないかを検討していてSQSのコストが高すぎないかと感じたところから調査が始まりました。SQSはAPIリクエスト数に応じた従量課金なのですがAPIリクエスト数を確認するとやはり多すぎると感じました。（ここはかなり感覚的なところなので何をもって多いと判断したかと言われると困るのですが） NewsPicksでは「SQS＋ワーカープロセス」で非同期処理を行うシステムがいくつかあり、これはよくあるワーカー
AWS CDKでAPIGateway/SQSと連携した2層LambdaをTypeScriptで開発してみる | DevelopersIO
Lambda/API GatewayをAWS SAMを利用して定義していた所に代わり、CDKを使ったプロジェクトがもっと普及してもいいんじゃないかな？と思い、AWS CDK(Typescript)を利用してサーバーレスアプリケーションを開発してみました。 どうも、もこ@札幌オフィスです。 最近CDKにお熱で、Lambda/API GatewayをAWS SAMを利用して定義していた所に代わり、CDKを使ったプロジェクトがもっと普及してもいいんじゃないかな？と思い、AWS CDK(Typescript)を利用してサーバーレスアプリケーションを開発してみました。 作る物 APIGateway / Lambdaを利用して、SQSにキューイングする一般的なサーバーレスアプリケーションを作ってみます。 API Gateway/Lambdaの構成だけでは味気ないので、SQSをイベントソースに処理用のL
[AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 先日 (2020/07/28) 開催しました AWS Black Belt Online Seminar「What’s New in Serverless」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200728 AWS Black Belt Online Seminar What’s New in Serverless AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. EventBridge については 「Lambda ⇒ EventBridge ⇒ Lambda」 といった AWS サービス間の連携も可能という認識です。ただし
![[AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 | Amazon Web Services](https://cdn.statically.io/img/cdn-ak-scissors.b.st-hatena.com/image/square/7299922f0d7d95a821c165e2c8dd7427a034af16/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F08%2F07%2FThumbnail-1.png)
Amazon SQS と処理の重複 前編 ~ 可視性タイムアウトの役割 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
テクニカルインストラクターの杉本圭太です ! 最近読んで面白かった漫画は「百木田家の古書暮らし」です。 Amazon Simple Queue Service (SQS) を使用することで、アプリケーション同士の通信を非同期にして、さらに信頼性やスケールを高められます。しかし SQS を使用する場合「処理重複が発生する可能性があるため、冪等性 (べき等性) の考慮が必要」と言われますが、どんな場合に処理重複が発生するのかは把握できていますか ? ▼ SQS を使用したシステムの概要 SQS では処理重複を制御するために「可視性タイムアウト」や「FIFO キュー」の機能がありますが、これらを使用しただけで処理重複がゼロになる訳ではありません。そのため、それぞれの機能が何を制御してくれるのかを理解することは、SQS をより適切に扱うために重要です。しかし同時に理解が難しい部分でもあります。 そ
AWS SQS + Lambda + SES でメール送信システムを作る Web サービスを運営しているとメールを送信したいタイミングが山程あります。 例えば、ユーザーの新規登録時、定期的に送信するメルマガ用途は多岐に渡ります。 メール送信の仕組みをモノリシックにサービスの一部として組み込むとパフォーマンスが低下してしまう恐れがあります。 そこでどのような設計にすれば悩んでいたところ、SQS をすすめられてため調査してみました。 また SES や SNS としった AWS による通知系のサービスと連携されることで完全マネージドな通知サービスとして構築を目指します。 Amazon Simple Queue Service（SQS） 名前の通りキューイングのサービスです。 キューには 2 種類あり、標準キューと FIFO キューが選べます。 2 つの違いは配信の順序です。 標準キューの配信順序
ステップスケーリングポリシーを使ってSQSキューの長さでECSサービスタスクを爆速オートスケーリングしてみた | DevelopersIO
はじめに おはようございます、もきゅりんです。 ECSサービスのオートスケーリングしてますか？ ユースケースも少ないかとは思いますが、とにかく爆速でオートスケーリングしたくなることもありますよね？ (春ですし) ということで、本稿はステップスケーリングポリシーを使ってSQSキューの長さでECSサービスタスクを爆速オートスケーリングしてみました。 最初に注意 下記ご注意下さい。 この構成は、高速スケーリングにするために、高解像度のカスタムメトリクスを取得します。高解像度のメトリクス発行およびアラームの課金には注意して下さい。また、とりあえずやってみましたが、本当にこの構成を実装することが真なのかどうか、これで要件が満たせるのかどうか、他に適切な構成がないかどうかなどはよくよく検討する課題があるものだと考えます。 やりたいこと AWS のサービスによって生成されたメトリクスは、デフォルトで標準
非同期処理を使いこなそう ! - 第 3 回 AWS サービスを活用した非同期処理アーキテクチャ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、プロフェッショナルサービス本部クラウドアプリケーションアーキテクトの五十嵐です。 「非同期処理を使いこなそう !」シリーズの第 3 回となる今回は、いよいよ物理アーキテクチャ、つまり AWS サービスを利用したアーキテクチャ構成を考えていきます。 これまでの連載記事では、EC サイトを例として 第 1 回 で同期処理と非同期処理の使い分けについてご説明し、第 2 回 で各処理のステップや論理構成についてご説明しました。これをベースとして、第 3 回は非同期処理を実現するための AWS サービスをご紹介し、それらを活用した非同期処理アーキテクチャについてご説明します。 みなさまは AWS を活用したアーキテクチャ (以下「アーキテクチャ」と記載) をご自身で描かれたことはありますでしょうか。もしあまりイメージがわいていなかったり、見たことはあるけどもご自身で描いたことがないという
AWSコンソールの画面でAWS Lambdaの画面に遷移して[関数] → [関数を作成]で "dog"という名前のLambda関数を作成します。 今回はロールは[基本的な Lambda アクセス権限で新しいロールを作成] で作成しインラインポリシーで以下の権限を追加しました。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sqs:DeleteMessage", "sqs:GetQueueAttributes", "sqs:ReceiveMessage" ], "Resource": "arn:aws:sqs:[region]:[accountID]:inu-queue" } ] } そして[トリガーの追加]から先ほど作成したSQSのキュー"inu-queue"を選択しトリガーを有効にし
今回はSQS＋Lambdaを組み合わせて使う場合に気をつけるべきことについて書きました サーバレスなアーキテクチャを考えた時に、何かと候補に上がる組み合わせだと思います 一部、自分が体験した失敗から学んだこともあるので、反省の復習をしつつ同じ失敗をする人が減ってくれれば良いなと思います なんでSQS＋Lambdaなのか？ そもそもこの組み合わせを選ぶのはなぜか？ということですが サーバレスなアーキテクチャを組みたい Lambdaを使用するにはトリガーとして全段にサービスが必要（SQS、APIGateway・・・など） Lambdaの処理が失敗した場合、再実行したい このような理由からSQS＋Lambdaの組み合わせを選択します 【ケース①】SQSの標準キューはメッセージの配信を1回”以上”保証する SQSの標準キューとはこれです 「少なくとも１回の配信」とあります 複数回同じメッセージが配
AmazonSQSを使用したLambdaの非同期処理｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.05.20 ｜ Writer：ちばちゃん AmazonSQSを使用したLambdaの非同期処理 AWS Lambdaの一般的な利用方法の中から１つを取り上げ、環境構築からLambda関数の作成および動作確認までの一連の作業手順を詳細に解説しています。 今回はAmazon Simple Queue Service (以下Amazon SQS)を使用した非同期処理を実施する Lambdaの作成手順をAmazon SQSによる非同期処理の構築手順と併せて解説します。 1.Amazon SQS概要 1.1.概要 Amazon SQS(Simple Queue Service)はAWSが提供するメッセージキューシステムです。主に送信側と受信側で非同期に処理したいケースで利用されます。 ユースケースを以下に示します。 Webアプリケーションが処理要求を受け付け、クライアントには要求を受け付け
背景と目的 マイクロサービス間で非同期メッセージングを実現するために、いくつかメッセージブローカーとしての選択肢があります。例えばAWSのサービスだとSQS, Kinensis, MKSなどが挙げられます。 今回はSQSがサービス間の非同期メッセージングを実現するために利用できるかを調査した時の観点をまとめました。 概要 まず非同期メッセージングの概要を整理します。 非同期メッセージングの役割 ネットワークを介してプロセス間でメッセージを送受信するには、同期的な通信と非同期的な通信があります。 同期的な通信はクライアントがリクエストを発行し、レスポンスを待つという形式になります。 リクエスト先のサービスが対応可能である必要がある レスポンスが返ってくるまでブロッキングされる すぐにリクエストが処理される リクエスト先のサービスの呼び出し方を知る必要がある 非同期的な通信はプロデューサー（あ
Learn about the background, challenges, and future of Airbnb’s distributed scheduling and queueing system. IntroductionAsynchronous background jobs can often dramatically improve the scalability of web applications by moving time-consuming, resource-intensive tasks to the background. These tasks are often prone to failures, and retrying mechanisms often make it even more expensive to operate appli
こんにちは、コンサルティング部 もこ@札幌オフィス です！ 当エントリは弊社コンサルティング部による『AWS再入門ブログリレー 2019』の22日目のエントリです。 前日は森田 桂介による「DynamoDB」でした。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 本日22日目のテーマは『Amazon Simple Queue Service』です。 目次
この記事は AWS LambdaとServerless Advent Calendar 2022 の24日目の記事です。 EvenBridge Pipes のイベントソースに SQS キューを利用したときのインフライトメッセージの削除処理について試していきます。 インフライトメッセージとは、キューに入っているメッセージをコンシューマーが受信したけど、キューから未削除のメッセージのことです。以下の状態のメッセージです。 はじめに サービス間を疎結合につなぐ選択肢としてメッセージキューがあります。AWS だと Amazon SQS を選択する方が多いでしょう。 この SQS に入っているメッセージを処理するコンシューマーとしての Lambda が本当に最高です。理由は以下のスライドに書かれている通り、受信処理にまつわる様々な実装を Lambda サービス側にオフロードし、実装者はメッセージを扱
LocalStack と samlocal コマンドで SQS x Lambda 構成をローカル環境で実行する - kakakakakku blog
開発中に AWS Lambda 関数をローカル環境で実行するなら AWS SAM CLI の sam local invoke -e event.json コマンドを使えば良く，また AWS Lambda 関数のベストプラクティスに載っている Lambda ハンドラーをコアロジックから分離します。 を意識して実装すれば，単体テストを軸に動作確認を進めることもできる． とは言え，実際に AWS Lambda 関数のイベントソースマッピング（トリガー設定）を確認したいこともあり，今回は AWS SAM を使って構築する Amazon SQS キューと AWS Lambda 関数の組み合わせを samlocal コマンドを使って LocalStack にデプロイして動作確認をしてみた．結果的に期待した通りに動いた❗️ ＼( 'ω')／ LocalStack 便利すぎ〜 🚀 アーキテクチャ図
AWS SQS ベースで ECS タスクをオートスケーリングする | Basicinc Enjoy Hacking!
AWS SQS をキューサービスとして利用し、ワーカー処理は AWS ECS のコンテナで実行する際に、SQS のキューの数に応じてオートスケーリングさせたい場合の設定方法メモです。つまり、キューがいっぱい積まれたら ECS のタスクを増やすし、減って来たらタスクを終了させるということです。とても簡単に設定できます。 今回の設定方法は AWS サポートの方に親切にアドバイスいただきました。とても分かりやすいサポートで感謝しております。 ターゲット追跡スケーリングポリシーの設定 ECS のサービスではオートスケーリングの設定が可能ですが、今回利用するターゲット追跡スケーリングポリシーはコンソール画面からは設定ができません。aws CLI コマンドを利用します。 aws application-autoscaling put-scaling-policy ドキュメント aws applicat
Amazon SQSワーカーのアーキテクチャーをLambdaイベントソース/EventBridge Pipes/独自の3パターンで比較してみた | DevelopersIO
各実装方式の詳細は以下のとおりです 1. Lambdaイベントソース型 Lambdaのイベントソースマッピングを利用すると、SQS・Kinesis Data Streamなど様々なソースにポーリングを行い、Lambdaを呼び出せます。 イベントソースが暗黙にポーリングやSQSメッセージの受信･削除をするため、Lambdaアプリケーションは受け取ったメッセージの処理ロジックだけを記述します。 def lambda_handler(event, context): for message in event['Records']: print(message['body']) 覚えることが少なくて済み、管理も楽なため、SQSコンシューマーの初手としておすすめできる一方で、最大の問題点はLambdaの制約に縛れることです。 メッセージ処理が15分を超えたり、10GBを超える潤沢なメモリが必要だった
CX事業本部の夏目です。 今回は、SQSとLambdaを使って直列処理を実装する方法について紹介します。 方法 Lambda Functionの予約された同時実行数を 1に制限する Lambda FunctionのトリガーとしてSQSを指定する これだけで簡単にLambdaを直列に動かすことができます。 通常のSQSのキューではキューに入った順序で実行されるとは限りませんが、FIFOキューを使えば先入れ先出しの順序で処理することができます。 また、FIFOキューを使っていてLambda Functionがエラー終了した場合でも、先入れ先出し順序は保たれます。 まとめ S3のファイルを扱うときなど、直列的に処理を行う必要がある場合に使うことができると思います。 今回検証した内容では、同時実行数1でもLambdaでスロットルが発生しない規模のものを想定しています。 実際には1件処理するのにかか
こんにちは、稲葉です。 最近、Lambda＋SQS 構成での開発で可視性タイムアウトの設定で躓いた箇所があった為、 その共有と対処法について、今回記事にしたいと思います。 躓いた箇所 Lambda＋SQSで構成して、SQSからのメッセージをトリガーにしてLambdaを実行していました。このLambdaは最大4回ループ、また1回の処理でも比較的時間がかかる処理を行います。 実際に動かしてみた所、処理が完了したはずなのに再実行されるといった意図しない動作をしました。そのため、まずはLambdaのログを確認。しかし、ログを確認した所、エラーは発生しておらず正常に動作してました。 となると、問題があるのはSQS の設定だと考え、色々調べた結果。遂に、原因を突き止めました！ ズバリ、可視性タイムアウトの設定が原因でした！ と言うより、可視性タイムアウトは特に設定していなかったため、デフォルトの30秒
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでバッチ処理を実装する際の選択肢とサービス比較
大規模Email配信システムのクラウドジャーニー | BLOG - DeNA Engineering
注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 - Findy Tools
Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
SQSを用いたクレジットカード決済の非同期化 - ZOZO TECH BLOG
AWS でバッチ処理・定期実行する4つの方法(EC2,EventBridge,SQS,ECS,Lambda)
WEBアプリケーションにおけるAWS Lambdaを用いた大規模な非同期処理の実践
サーバーレスマイクロサービスを構築するための設計アプローチの比較 | Amazon Web Services
Personal Tech Blog | hidekazu-konishi.com
AI-OCRを支える非同期処理アーキテクチャ - LayerX エンジニアブログ
マルチテナントソリューションでAmazon SQSを使う | Amazon Web Services
Amazon SQS の ApproximateAgeOfOldestMessage とは何なのか？
AWS SQS + Lambda + SES でメール送信システムを作る - 小さなエンドウ豆
SQS → Lambdaのリトライ処理について整理してみた - Qiita
AWSでよく使うSQS+Lambdaの組み合わせで気をつけるべきこと - Qiita
非同期メッセージングでSQSを使う際に検討したこと
Dynein: Building a Distributed Delayed Job Queueing System
AWS再入門ブログリレー SQS編 | DevelopersIO
SQS + EventBridge Pipes でのインフライトメッセージの削除
SQSとLambdaで実装する直列処理 | DevelopersIO
Lambda＋SQS 構成での可視性タイムアウトに気を付けよう! | DevelopersIO
l.smartnews.com
keeb-on.com
domani.shogakukan.co.jp
togetter.com
melo-blog.com
amass.jp