ECSで複数のコンテナがある場合、同じタスク内にするか？別々のタスクにするか？ 管理が簡単そうでなんとなく同じタスク内で定義していたのですが、理由を聞かれ困ったので構築後に調査しました。 システムの要件によって判断するということ分かりました。 公式サイトには以下の記載があります。 以下の要件がある場合、1 つのタスク定義にコンテナを配置することをお勧めします。 各コンテナが同じライフサイクルを共有している (起動と終了が同時に行われる)。 実行基盤となるホストが同じになるようにコンテナを実行する (あるコンテナが、localhost ポート上の別のコンテナを参照する) 必要がある。 各コンテナ…

はじめに こんにちは。インフラ部 プラットフォームグループの近藤です。 本記事では、AWS環境でAmazon ECS・Nuxt・Expressなどを使用して社内向けの認証付きWebサイトを構築した事例を紹介します。 こちらのWebサイト開発の話が挙がった際に、フロント開発としてはSPAの簡単なページ作成ぐらいしか経験がなかったのですが、個人的に興味がありシステム構築を担当させていただきました。 開発・リリースしたのは2023年の夏頃になります。 記事の内容としては、システムのアーキテクチャに触れた後に、以下に焦点を当てて書いています。 Nuxtでユニバーサルレンダリングモード設定時の、ECSサ…

はじめに オンプレ型バッチ処理の特徴とクラウドネイティブ技術 バッチ処理の構成要素と概念 バッチ処理 バッチ処理の構成要素 商用ジョブ管理ソフトとバッチ処理 クラウドネイティブ技術によるバッチ処理の実現 Apache Airflow とは MWAA のアーキテクチャ スケジューラー ワーカー ウェブサーバー データベース オペレータ ポピュラーなオペレータ AWS Operator サーバレス化のメリット サーバレス・バッチの構成イメージ 可用性とスケーラビリティ MWAAの可用性とスケーラビリティ タスクの可用性とスケーラビリティ DevOpsの実践とアジリティの向上 Webアプリケーション…

こんにちは、インフラ/Misocaチームのfuku710です。 MisocaチームではAWSのコスト削減の一環として、ECS上で動いているコンテナアプリケーションのCPUアーキテクチャをArmプロセッサに変更する取り組みを行いました。 その過程でやってきたことや工夫したことなどについて書きたいと思います。 AWS Fargate Gravitonについて MisocaではECSのコンテナの実行にAWS Fargateを使用しています。 現在FargateではArmアーキテクチャのCPUとしてAWS Graviton2がサポートされており、x86ベースのFargateからGraviton2ベース…

目次 目次 はじめに 環境情報 Role作成 ECSタスク定義作成 VPC、SecurityGroup 作成 ECS クラスター、サービス作成 動作確認 まとめ お知らせ はじめに こんにちは、クラウド事業部の梅本です。 今回は再入門ということで Amazon ECS を使ってコンテナを立てたいと思います。 普段は CloudFormation や Terraform 等の IaC で構築したり、Web コンソールからポチポチで作成するのですが、今回はステップバイステップで改めて関連サービスを意識しながら構築していこうと思います。 環境情報 クライアント：AWS CloudShell AWS …

こんにちは。 株式会社アドグローブ ゲーム事業部エンジニアの山田です。 Unityが新たなシステムとして打ち出しているECSをご存知でしょうか。 本記事では「Unity ECSを触ったことがない」という方に向けたECSの導入として、EntityをSystemから生成する方法についてご紹介します。 Unity ECSとは 事前準備 SubSceneについて Entityを生成する方法 ①Entityに変換 ②Entityを生成するSystem 動作確認について まとめ 参考サイト Unity ECSとは ECS（Entity Component System）はデータ指向でコーディングするための…

こんにちは。株式会社FLINTERS エンジニアの瀬田です。 FLINTERSブログ祭りの企画に沿って今回の記事を執筆しました。 はじめに Amazon ECS（Elastic Container Service）は、DockerコンテナをAmazon Web Service（AWS）上で実行・管理するためのサービスとして広く利用されています。しかし、AWS環境でのデプロイとローカル環境での開発・テストの間にはさまざまな問題が潜んでおり、コンテナをローカル環境で正確にテストするのは難しいことがあります。 特に、AWS Software Development Kit（SDK） を使って他のAW…

はじめに どうも、土鍋です。 昨年正式リリースとなったUnityECSをやってみたいと思ったのですが、色々記事を探しても実際にゲームを作っているものは少なかったので、実際のゲームを作りながら記事を書いていこうと思います。 こちらの内容はIwakenLab Tech Conference 2024にて発表予定です。ぜひお越しください。 iwakenlab-tech-conference-24.studio.site IwakenLab Tech Conference 2024 - connpass ECSとは ECSとは「Entity Component System」の略です。 Unityでは…

始めに 弊社のシステムではECSを使用しているのですが、ここ最近Dockerイメージのビルド時間が大幅に延長されてしまっていました。そのうち、大幅な時間を占めているのがライブラリのインストール時間で、CPUの使用率が高くなって応答が非常に遅くなっていました。 uv.lock等のロックファイルが取り扱われている環境であればインストールでは常に同じライブラリが使用されるものですし、ライブラリインストールが完了した状態のイメージをRepositoryにアップロードすることで短縮することを目指しました。 今回の記事では、Dockerのマルチステージビルドを扱って処理時間を短縮することを目指します。 環…

ryuichi1208.hateblo.jp ちょっと前に退職エントリを出してそこに���書いてますが11月1日入社でやっています。ロールは引き続きSREとしてサービスの信頼性に向き合っていこうと思っています。入社の経緯とかやってることは会社の公式の入社エントリ(?)に書くのでここでは簡単にだけ書きます。 きっかけとか SRE NEXT 2024のジョブボードに書いてあってIVRという単語は知ってたのですがIVRのSREって何やるんだ？って気になったのがきっかけでした。話を聞いてみると想像以上にビジネスが面白くて一気に興味を持ちました。詳しい話はnoteの方に書きますので読んでもらえると(笑) 技…

仕事でGCPで扱っているデータをAWSで運用しているサービスに共有するパイプラインのアーキテクチャを考えていてAWSのETLサービスであるGlueを試したんですが結構苦戦しました。 S3のCSVファイルをRDSに登録したいだけだったのですぐ終わるかな、、と思いきや面倒な点が多かったので作業内容書き残してみます。 Glueのセットアップ 試した結果面倒に感じたのはこの2点かな、、という個人的な感想です。 Glueの概念、仕組みの理解（Catalog、Connection、Crawler） IAMとセキュリティグループ設定によるGlueとRDSの認証 Glueの概念、仕組みの理解 RDS（今回はM…

これは、なにをしたくて書いたもの？ ちょっとAWS Step Functionsを調べてみようと思いまして。 ローカルで動かせる仕組みもあるみたいなので、こちらで試してみたいと思います。 AWS Step Functions AWS Step Functionsのドキュメントはこちら。 Step Functions とは - AWS Step Functions AWS Step Functionsはステートマシンと呼ばれるワークフローを使って、アプリケーションを構築するサービスです。 ワークフローには標準ワークフローとExpressワークフローがあります。 Step Functions とは…

2024年11月8日に、QYResearchは「ホテルビル管理システム―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発行しました。本報告書は、ホテルビル管理システムの世界市場を分析し、主要企業の売上、動向、市場規模、市場シェア、ランキングなどを掲載しています。また、地域別、国別、製品タイプ別、用途別に市場を分析しています。2019-2030年の売上に基づいて、ホテルビル管理システムの市場規模を推計と予測しています。企業が事業成長戦略を策定し、競争環境を評価し、市場ポジションを分析し、ホテルビル管理システム関連情報に基づくビジネス上の意思決定を行うのに…

2024年11月8日に、QYResearchは「工業用保護ケース―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発行しました。本報告書は、工業用保護ケースの世界市場を分析し、主要企業の総売上高、収益、価格、市場シェア、ランキングなどを掲載しています。また、地域別、国別、製品タイプ別、用途別に市場を分析しています。2019年から2030年までの工業用保護ケースの市場規模を販売量と売上高に基づいて推計と予測しています。企業が事業成長戦略を策定し、競合状況を評価し、市場ポジションを分析し、工業用保護ケースに関連する情報に基づいてビジネス上の意思決定を行うのに…

ECS FargateのtaskからDatadogなどにログを送る場合fluent-bitのサイドカーコンテナを立てて、awsfirelensのlogDriverでログを送る事が多いと思います。 その場合、タスクの依存関係を指定しないとログが一部取りこぼしてしまう場合があるため、fluent-bitコンテナのヘルスチェックをする必要があります。 その時にfluent-bitのconfigを変更する必要があり S3などに設定ファイルを置き、起動時に読み込む (参考) カスタムfluent-bitコンテナをビルドし、それを利用する などの方法が取られる事が多いですが、少し構成的にtoo muchに…

SRE チームの市川恭佑です。 今回はコンテナに関連するDevOpsツールを作った話です。ecresolve と書いて「イーシーリゾルブ」と読みます*1。 github.com ecresolve は、ざっくり言うとコンテナイメージのタグが上書きされる前提で、複数タグを指定すると一番先頭で見つかったものを出力するツールです。 基本的な使い方としては、たとえば dog と cat のタグのみが存在する ECR リポジトリ animal があるとき、以下のコマンドを実行すると標準出力に dog が出力されます*2。 ecresolve monkey bird dog human cat --rep…

はじめに こんにちは。インフラ担当の平田です。 とある案件でGitHub Actionsを利用しているのですが、PHPのDockerイメージをビルドする際に時間がかかってしまうという課題がありました。レイヤーキャッシュが利用されていないことが要因だったため、Amazon ECRでのリモートキャッシュを利用して、ビルド時間を短縮する方法に取り組みました。 課題もありますが、紹介させていただきます。 構成 GitHub Actionsの構成 GitHub Actionsの流れは次のとおりです。 Github Actionsで実行すること ソースコードを対象ブランチにpushまたはマージする PHP…

こんにちは。 Findy Toolsの開発をしている林です。 私たちのプロジェクトではフロントエンドのフレームワークにNext.js App Routerを使っており、AWSのECSへデプロイして運用しています。 そして、一部のレンダリングの処理が重いページのキャッシュを実装する際に、直面した課題と解決策を紹介します。 Next.jsのキャッシュ機構について 今回実現したいこと 課題と解決策 課題1: Next.jsの機能では要件に合わない 解決策1: CloudFrontのみでキャッシュ 課題2: エラーページがキャッシュされる 解決策2: Lambda@Edgeを用いたCache-Cont…