DuckDB/DuckDB-Wasm を利用した低コストでの可視化
前提 ミドルウェアのログ可視化 ログサイズは全体で 1 TB 未満 ログは jsonl で出力される まとめ 非同期での可視化 オフラインでの可視化 低コスト DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck サンプル とりあえず動くのが見たい人用です。ソースコードも公開してます。 DuckDB-Wasm + Parquet + S3-compatible object storage + OPFS S3 から Parquet ファイルを fetch して DuckDB-Wasm への登録 OPFS へ Parquet ファイルの保存 OPFS から Parquet ファイルの読み込み DuckDB-Wasm へ登録 SAMPLE 1 の出力 SAMPLE 1 での検索 SAMPLE 1 での Parquet ファイ
Databricks情報を手に入れろ！？Databricks関連書籍やウェブ上のポインタなど（長い）
こんにちわ！Databricksはじめたいけど情報が、、、ない、、、？という方？あるよー！ここにあるよー！ というわけで、Databricks関連情報をまとめていきたいと思います。 書籍 まずはこれ「データブリックス-クイックスタートガイド」Databricksとはなぜ生まれてきたのか、どういうアーキテクチャなのか、といった最初の一歩がうまく書かれている本です。 Unity Catalogなどが入る前の本なので若干古いのですが、アーキテクチャの思想や基本的な部分についてはわかりやすいのでぜひ。僕もここから入りました。 つぎはこれ、「Apache Spark 徹底入門」、Apache Sparkの書籍ですが、Databricksの情報も入っております。まずは基本となるSparkの知識を仕入れつつDatabricksの情報も仕入れていきましょう！ 同人誌 有志の方々が出版されているDatabr
DBaaSのトレンドは「Kubernetes対応」と「マルチクラウド」 NTTデータ小林氏が語る、クラウドネイティブなデータベースの今と選定のポイント
「＠IT Cloud Native Week 2024冬」の基調講演に、NTTデータグループ テクニカルリード 小林隆浩氏が登壇。「今から学ぼう！クラウドネイティブなデータベースの世界」と題して、クラウドネイティブ環境でデータベースを選択する上での基礎知識や、現在のトレンドと今後の展望を解説した。 DBaaSの利用率が圧倒的に高く、コンテナ環境でのDBはまだ少ない状況 クラウドネイティブが浸透する中、データベースをクラウドで提供するDBaaS（Database as a Service）の在り方は絶えず変化している。小林氏は「私は普段から『データベースをKubernetesで動かしましょう』という話をします。今日はその辺りの話から始め、データベースのマルチクラウド展開とはどのようなものなのか、今後どうなるのかといった話までたどり着きたい」と切り出した。 小林氏は、「Oracle Datab
ドキュメント整備のためにtblsを導入してみた話 - Qiita
この記事は さくらインターネット Advent Calendar 2023 23日目の記事です。 はじめまして。さくらインターネットに2023年新卒で入社した知念です。バックエンドエンジニアとして、さくらのクラウドというIaaS系サービスの開発に関わっています。 今回はデータベースのドキュメント整備のためにtblsというツールを導入した話をします。 きっかけ 僕が開発に関わっているプロジェクトでパフォーマンス向上のためにSQLのクエリを修正する機会が最近ありました。その時に、テーブル設計を理解するため、全体像やテーブル情報を俯瞰的に見られるドキュメントがほしいなと思い、良い感じの解決策や使い勝手の良いツールはないかなと探し始めたのがきっかけでした。 先輩に相談してみた 僕 「DBのER図とか可視化された何かを楽に用意したいんですよねー」 先輩 「ほうほう」 僕 「調査に少し時間かけてしまっ
SchemaSpy • Database Documentation Built Easy.
Get Started Welcome in SchemaSpy we will do the best to simplify documentation process of your database. When you start using SchemaSpy you can build your documentation in continuous process > java -jar schemaspy.jar -t mssql05 -dp C:/sqljdbc4-3.0.jar -db DATABASE -host SERVER -port 1433 -s dbo -u USER -p PASSWORD -o DIRECTORY Installation Process of installation is very simple because SchemaSpy i
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
