今までのお仕事履歴 & まったりお仕事募集中♪

【質の良い無料コンテンツ紹介】

【ブラックレーベル】謎解き特集!【SCRAPゲームブック】

【通信制大学】産業能率大学に三年次編入しました

【悲報】ジュニアNISAで、買い付け口座を間違えていた話【NISA預りと特定預りは違うのよ】

AWS

AWS

【Kinesis】S3上にあるデータをパーティション化し、スキャン範囲を指定する【Athena】

S3にあるデータは、Athenaを使うとSQLライクにデータの呼び出しが可能だか、普通に使っていると実はスキャン範囲を指定することができない。このスキャン範囲を指定するために、データの保管形式を整える(?)ことをパーテーション化と呼ぶようだ...
AWS

【AWS Lambda】S3上にある複数ファイルを、ひとつのファイルにマージする

S3上にある複数ファイルを、ひとつのファイルにマージするLambda(Python3.9)である。前提条件S3上に複数ファイルある前提ファイル種別はJSONなので、他でやりたい場合は適当に読みかえてLambdaのタイムアウト値も適当に変更し...
AWS

【AWS Lambda】Athenaクエリの実行結果を、S3に保存する

Athenaクエリを実行し、その実行結果をS3に保存するLambda(Python3.9)である。前提条件Athenaクエリを実行するためのデータカタログは作成済みである私の都合でS3への保存は、JSONに変換している。CSVのまま保存した...
AWS

【AWS IoTCore】複数データのJSONをIoTCoreでさばく

簡単に出来るわりに方法を見かけなかったので書いておく。IoTCoreで収集したデータを、種別ごとにフォルダ分けする構成例できることIoTCoreで収集したデータをkinesis(firehose/配信ストリーム)経由で取り込み、データ種別に...
AWS

【AWS Athena】JSONデータの時刻をtimestamp型で取り込む方法

結論から言うと、文字列(string)で取り込んでから、timestamp型に変更する方法である。これ以外に手軽な方法があるなら教えてほすぃS3からAthenaへデータを取り込む記事はこちらでは割愛するが、以下の記事で紹介している。上記の内...
AWS

【AWS】QuickSightで簡易リアルタイム表示を行う(実践向け)

QuickSightは手軽にデータを可視化できるBIツールである。その反面、BIツールと優秀すぎる(?)分、簡易的にリアルタイムなデータを表示したい! と言った時に、使えない不便なツールである。やったことのある方ならご理解いただけるだろうが...
AWS

【AWS】Lambda (Python) AWS環境にて自作ライブラリ(レイヤー)を作成し、追加する

こちらの記事ではAWS環境でPython用のレイヤーを作成する方法をご紹介する。Lambda(Python)を使っていると、地味にすぐ遭遇する問題である。主に、Lambda上に使いたいレイヤーがないor250MB問題にぶつかるからである。こ...
AWS

【AWS】LambdaでJSON/JSONL(line)形式を取りこみ、CSV形式に変換する

AWSのLambdaで、JSON(もしくはJSONL)をCSVに変換する記事がなかったので書いてみた。JSONL(JSONライン形式)で地味にハマっている人が多そうだ。。。AWS(+python)に触れて一年未満の人が書いているので、間違い...