kikumotoのメモ帳

インフラ・ミドル周りを中心に、興味をもったことを適当な感じで。twitter : @takakiku

AWS Fargateで稼働するAtlantisから、GCPリソースを構築する - 修正版

google/internal/externalaccount: Adding metadata verification · golang/oauth2@ec4a9b2 · GitHub の変更により、以下の仕組みは hashicorp/google バージョン v4.59.0 移行では動作しなくなりました。 AWS FargateでAtlantisを動かして、AWSリソースに対…

AWS Fargateで稼働するAtlantisから、GCPリソースを構築する - 失敗編

AWS FargateでAtlantisを動かして、AWSリソースに対するTerraformのPlanのレビューやApplyをPR上で行なっていたのですが、GCPリソースに対しても必要になってきたので、その時に行った作業のメモ。 2022.12.23: 下記の方法は、起動直後は動くが、AWS_SESSIO…

Terraformを使ってLooker Studio 用に Google Cloud サービス アカウントを設定する

基本的に、 support.google.com の内容を Terraform で記述するとどうなるか、という記事です。 Looker Studio 用サービスアカウント サービス アカウントを使ってデータにアクセスできるようにする、という点では以下のような Terraform になる。 resource …

Slack Bolt for Python でワークフローステップ実行でLazyリスナー関数を利用する方法

Slack Bolt for Pythonを利用して、ワークフローステップを提供するカスタムアプリを AWS Lambda 上で動かす時にはこう書くと良いよ、という記事です。 試していったこと Step0:ローカルでSocket Modeで試す。 Step1: AWS Lambda で動かす - process_befor…

Ractorに入門してみた - Consumers/Producer はこんな感じ?編 -

以下での背景と失敗を踏まえて、元々やりたいことを書いてみた、という内容の記事になります。 kikumoto.hatenablog.com やりたい事 ある処理をするためのデータが多数ある それを並列に処理したい。 並列数は固定でOK。 結果は随時処理したいが、処理つの都…

Ractorに入門してみた - 基本的なところでハマった編 -

背景 ruby で書き始めたちょっとしたツールで、処理する対象量の都合で並列実行したいな、となり、できればやはり複数 CPU 使いたいなということで、Ruby って Process 以外で今って何かできるんだっけと見たら Ractor というのがあるんですね。 Ractor 自体…

iOSDC Japan 2021のコアスタッフやってきました

もうブログはほぼ放棄ぎみなのですが、iOSDC Japan 2021が終わって書く気分になったので書きます。 感謝 今年も大成功にiOSDCが終わったと思います。 スポンサー、スピーカー、参加者、スタッフ(4Sというワードが爆誕してましたね)の皆さまのおかけです。 …

PHPerKaigi 2020 にスピーカー&当日スタッフで参加してきた

PHPerKaigi 2020にスピーカー兼当日スタッフで参加してきました、エントリーです。 スピーカー 二日目に、PHPシステムをコンテナで動かすための取り組みのすべて by きくもと | トーク | PHPerKaigi 2020 #phperkaigi - fortee.jp として30分枠で話してきま…

Dygma Raiseがやってきた

7月に申し込んだキーボード Dygma Raise www.dygma.com がついに届きました! ついにDygmaがやってきた!まずは開封の儀。これで年末年始は楽しめるぞ。 #dygma #dygmaraise pic.twitter.com/RqLd5rfIsz— kikumoto (@takakiku) 2019年12月28日 申し込んだ時…

ファイルが作成されたら自動追尾するfluent-agent-chimeraを作りました

特定のディレクトリ配下に、任意のタイミングでディレクトリが新規作成されて、その配下にログが出力されているような状況下で、そのログをin_tailで取り込みたいという必要性から、fluent-agent-chimera github.com を作りました。 目次 どういうものか 実…

Nginx+SiteGuard LiteのRPM作成Docker - ngx_mruby を添えて -

さくらインターネットの環境でSiteGuard Liteが無償で使えますが、特に今年の6月にはNginx版も提供されるようになっていますね。 それまではApacheのみの対応であったので、Nginxを使っている身としてはちょっと縁がないかなぁと思っていたわけですが、Ngin…

感動で始まり、(良い意味で)悲しみで終わった三日間

悲しみで終わった、ってタイトルに書くと、なにかよくない印象かもしれないけれどそうではないです。 iOSDC JAPAN 2017 に、昨年に続いて今年も当日スタッフとして参加させてもらいました。 いろんな方のブログやTweetを見る限りは、大成功といって良いと思…

知らなかったを知った - BBQ::builderscon 2017 #1

builderscon といえば肉ですね(違う ということで、 peatix.com に参加してきました。 これは builderscon のテーマ「「知らなかった、を聞く」にある意味沿っているイベントでした。 今まで知らなかった「肉」の世界を知ってしまった感じです。 「肉」はあ…

Y8 2017 spring in Shibuyaに参加してきました

Y8 2017 spring in Shibuyaに参加してきました y8-2017-spring.hachiojipm.org 資料は connpass の方に上がってきているようですね。 connpass.com 諸々あって今年最初のコミュニティ型のカンファレンス参加。しかも久しぶりにスタッフではなく純粋に一参加…

builderscon tokyo 2016への感謝

YAPC::Asia Tokyoが一区切りを終えた 2015。いろんな枠を超えていたエンジニアのお祭りがなくなるのは、毎年同窓会のような感じでここでしか会っていなかった人たちと会う機会がなくなるのかと思うと、寂しい気持ちでした。 しかし、そのクロージングで @les…

古いLinux Kernelでfluent-agent-hydraを動かす

誰得な記事ですが、晒しておきます。 背景 ワンバイナリで動作するfluent-agent-hydraが適する状況があったので採用することにしました。 が、いざ動作させようとすると、https://github.com/fujiwara/fluent-agent-hydra/blob/master/hydra/in_tail.go#L41 …

ISUCON6敗退から一週間たってからの振り返り

早いもので、ISUCON6(土曜参戦)から早くも一週間過ぎた。 結果は敗退で、流れは @Leko がまとめてくれているので、基本はそちらをどうぞ。 leko.jp まぁ今年も悔しい結果に終わったので、その悔しい気持ちのまま書いてもよかったのだけど、少しおついてか…

iOSDC powered by builderscon に当日スタッフとして参加してきた

iOS Developers Conference Japan 2016 iosdc.jp に当日スタッフとして参加してきました。 (ブログが YAPCスタッフ、JTF登壇と、カンファレンス系ネタが最近多いなと、書きながら感じてるところ) 前夜祭含め、受付をさせてもらってましたので、ほとんどの…

Terraform 0.7でterraform_remote_stateはdeprecated扱い

Terraform 0.7がリリースされましたね。 Terraform 0.7 | HashiCorp このバージョンからterraform_remote_stateリソースがdeprecated扱いになっています。 今まで Terraformでの出力を別なTerraformで利用する場合、今まで以下のような感じであったと思いま…

JTF2016で話してきました - HashiCorp Vault + LDAP + MySQL

先日(2017/7/24)に行われた July Tech Festa 2016 でトークが採択されたので話してきました。 タイトル: HashiCorp VaultでMySQLアカウント管理はもう怖くない 2016.techfesta.jp 基本的に前回のエントリ YAPC::Asia Hachioji 2016 mid in Shinagawaで話…

YAPC::Asia Hachioji 2016 mid in Shinagawaで話した、スタッフした!

YAPC::Asia Hachioji 2016 mid in Shinagawa が、7/2,7/3 で開催されました。 yapcasia8oji-2016mid.hachiojipm.org トークのお話し トークが採択されたので、YAPC::Asia Hachioji 2016 mid in Shinagawa の1日目夕方に github.com ということで話してきま…

二日間通し券はないYAPC::Asia Hachioji 2016 mid in Shinagawaで話します!

タイトルは注意喚起を込めています! 2016/7/2(土),3(日)に開催されるYAPC::Asia Hachioji 2016 mid in Shinagawaで話すことができることなりましたー! タイトルに入れたようにこのイベントでは 二日間通し券はありません それぞれの日でなんらかの登録が必…

TLS1.2が使えない環境のためのProxy (squid)設定

TL;DR 接続先がTLS1.1、TLS1.2 以降しか接続を許可しなくなるけど、環境そのもののアップデートができなくて、Proxy でとりあえず逃げたいという方向けです。 Squid を使った設定例を書いてます。(参考情報 - Intercept HTTPS CONNECT messages with SSL-Bu…

BigQueryのテーブルを一定期間経過後削除する defaultTableExpirationMs

Google BigQuery 便利ですね。 テーブルを日毎に分割してデータを貯めていっているのですが、ある程度経過したらまぁ消してもよいかなと思うデータもあります。 そんなときに、GCSやS3のObject Lifecycle Management的なものがあると、自前でcronまわして削…

エンジニアサポートクロス2016にゴールドスポンサー( Hamee )として参加してきた

2/5に横浜大桟橋で開催されたエンジニアサポートクロス2016にゴールドスポンサーのHamee more.hamee.co.jp の一員として参加してきました。 ISUCON5で惨敗し、その悔しさのエネルギーがあるときに、CROSS2016スポンサー募集を発見して、そのエネルギーで会社…

続:Consul 0.6でユーザのいるshardを探す(Prepared Queryを使う)

この記事は HashiCorp Advent Calendar 2015 - Qiita の23日目です。(1時間ほど早めに公開したのでブログの日付は22ですが) 前回の記事 Consul 0.6でユーザのいるshardを探す(Prepared Queryを使う) - kikumotoのメモ帳 の続編です。 id:fujiwara …

Consul 0.6でユーザのいるshardを探す(Prepared Queryを使う)

この記事は HashiCorp Advent Calendar 2015 - Qiita の第21日目です。(大人な事情により Hamee Advent Calendar 2015 - Qiita の第20日目でもあります。なので微妙な時間に公開) 概略 ユーザIDをベースにDBを分割(sharding)しているのですが、プログラ…

fluentdのプルリク#696へのフィードバックを求めています

下記は、https://github.com/fluent/fluentd/pull/775 で2016/01/18にマージされたました! Fluentd Advent Calendar 2015 - Qiita の10日目がまだ空いていたので、入れさせてもらいました! 今、in_tailに関して下記PRを出させてもらっています。 github.…

pixzでケチケチバックアップ(もしくはGCS Nearlineで節約バックアップ)

この記事は qiita.com の7日目です。 TL;DR pixzでCPUマルチコアを使って高速かつ、高圧縮することで、バックアップの保存料金節約をしました。 GCS Nearlineなら、GB単価も安いし、取り出すときも高圧縮してあれば取り出し料金、データ転送料金も安く抑え…

カジュアルにMySQLスローログ可視化with Fluentd+Elasticsearch+Kibana

この記事は MySQL Casual Advent Calendar 2015 - Qiita Elasticsearch Advent Calendar 2015 - Qiita Hamee Advent Calendar 2015 - Qiita の第4日目です。 TL;DR 開発者の皆さんに、CasualにMySQLスローログを分析しもらうために、Fluentd + Elasticsearc…