仕事
AWS 【Kinesis】S3上にあるデータをパーティション化し、スキャン範囲を指定する【Athena】
S3にあるデータは、Athenaを使うとSQLライクにデータの呼び出しが可能だか、普通に使っていると実はスキャン範囲を指定することができない。このスキャン範囲を指定するために、データの保管形式を整える（？）ことをパーテーション化と呼ぶようだ...
仕事 【terraform】グローバル共通変数など、リソース間の変数受け渡し方法【Module】
terraformにおいて、フォルダ構成のベストプラクティスはよく掲載されている。しかし、ベストプラクティスに沿って各リソースを構築する際の、変数受け渡し方法については記載されていないことが多かったため、今回まとめてみた。結論から言うと、M...
AWS 【AWS Lambda】S3上にある複数ファイルを、ひとつのファイルにマージする
S3上にある複数ファイルを、ひとつのファイルにマージするLambda（Python3.9）である。前提条件S3上に複数ファイルある前提ファイル種別はJSONなので、他でやりたい場合は適当に読みかえてLambdaのタイムアウト値も適当に変更し...
キャリア 【質の良い無料コンテンツ紹介】無料で学ぶキャリア成長！ 迷いを解消し、未来を開く道
キャリアの迷いは多くの人が経験する普遍的な問題だ。私がまさに40代一歩手前と言うところで、迷走している記事はこちらだ。将来の道を選ぶ難しさ、進む方向の不確実性、迷うよねぇ。私はエンジニアであり、今まではどちらかと言うと技術力を磨こうと頑張っ...
AWS 【AWS Lambda】Athenaクエリの実行結果を、S3に保存する
Athenaクエリを実行し、その実行結果をS3に保存するLambda（Python3.9）である。前提条件Athenaクエリを実行するためのデータカタログは作成済みである私の都合でS3への保存は、JSONに変換している。CSVのまま保存した...
仕事談 【2023年度版】SE女子のキャリアプランを語る【紆余曲折】
プロフィールに書いている通り、私はエンジニアであり、二児の母であり、腐女子である。これを更に自虐的に言うと「氷河期世代」「時短勤務」「専門卒の女子」の三コンボに甘んじて、大した技術を身につけず、のらりくらりとここまで来てしまった人間である。...
AWS 【AWS IoTCore】複数データのJSONをIoTCoreでさばく
簡単に出来るわりに方法を見かけなかったので書いておく。IoTCoreで収集したデータを、種別ごとにフォルダ分けする構成例できることIoTCoreで収集したデータをkinesis（firehose／配信ストリーム）経由で取り込み、データ種別に...
AWS 【AWS Athena】JSONデータの時刻をtimestamp型で取り込む方法
結論から言うと、文字列（string）で取り込んでから、timestamp型に変更する方法である。これ以外に手軽な方法があるなら教えてほすぃS3からAthenaへデータを取り込む記事はこちらでは割愛するが、以下の記事で紹介している。上記の内...
AWS 【AWS】QuickSightで簡易リアルタイム表示を行う（実践向け）
QuickSightは手軽にデータを可視化できるBIツールである。その反面、BIツールと優秀すぎる（？）分、簡易的にリアルタイムなデータを表示したい！ と言った時に、使えない不便なツールである。やったことのある方ならご理解いただけるだろうが...
AWS 【AWS】Lambda (Python) AWS環境にて自作ライブラリ（レイヤー）を作成し、追加する
こちらの記事ではAWS環境でPython用のレイヤーを作成する方法をご紹介する。Lambda(Python)を使っていると、地味にすぐ遭遇する問題である。主に、Lambda上に使いたいレイヤーがないor250MB問題にぶつかるからである。こ...