AWS

S3にあるデータは、Athenaを使うとSQLライクにデータの呼び出しが可能だか、普通に使っていると実はスキャン範囲を指定することができない。このスキャン範囲を指定するために、データの保管形式を整える（？）ことをパーテーション化と呼ぶようだ...

S3上にある複数ファイルを、ひとつのファイルにマージするLambda（Python3.9）である。前提条件S3上に複数ファイルある前提ファイル種別はJSONなので、他でやりたい場合は適当に読みかえてLambdaのタイムアウト値も適当に変更し...

Athenaクエリを実行し、その実行結果をS3に保存するLambda（Python3.9）である。前提条件Athenaクエリを実行するためのデータカタログは作成済みである私の都合でS3への保存は、JSONに変換している。CSVのまま保存した...

簡単に出来るわりに方法を見かけなかったので書いておく。IoTCoreで収集したデータを、種別ごとにフォルダ分けする構成例できることIoTCoreで収集したデータをkinesis（firehose／配信ストリーム）経由で取り込み、データ種別に...

結論から言うと、文字列（string）で取り込んでから、timestamp型に変更する方法である。これ以外に手軽な方法があるなら教えてほすぃS3からAthenaへデータを取り込む記事はこちらでは割愛するが、以下の記事で紹介している。上記の内...

QuickSightは手軽にデータを可視化できるBIツールである。その反面、BIツールと優秀すぎる（？）分、簡易的にリアルタイムなデータを表示したい！　と言った時に、使えない不便なツールである。やったことのある方ならご理解いただけるだろうが...

こちらの記事ではAWS環境でPython用のレイヤーを作成する方法をご紹介する。Lambda(Python)を使っていると、地味にすぐ遭遇する問題である。主に、Lambda上に使いたいレイヤーがないor250MB問題にぶつかるからである。こ...

AWSのLambdaで、JSON（もしくはJSONL）をCSVに変換する記事がなかったので書いてみた。JSONL（JSONライン形式）で地味にハマっている人が多そうだ。。。AWS（+python）に触れて一年未満の人が書いているので、間違い...