kikumotoのメモ帳

インフラ・ミドル周りを中心に、興味をもったことを適当な感じで。twitter : @takakiku

知らなかったを知った - BBQ::builderscon 2017 #1

builderscon といえば肉ですね(違う ということで、 peatix.com に参加してきました。 これは builderscon のテーマ「「知らなかった、を聞く」にある意味沿っているイベントでした。 今まで知らなかった「肉」の世界を知ってしまった感じです。 「肉」はあ…

Y8 2017 spring in Shibuyaに参加してきました

Y8 2017 spring in Shibuyaに参加してきました y8-2017-spring.hachiojipm.org 資料は connpass の方に上がってきているようですね。 connpass.com 諸々あって今年最初のコミュニティ型のカンファレンス参加。しかも久しぶりにスタッフではなく純粋に一参加…

builderscon tokyo 2016への感謝

YAPC::Asia Tokyoが一区切りを終えた 2015。いろんな枠を超えていたエンジニアのお祭りがなくなるのは、毎年同窓会のような感じでここでしか会っていなかった人たちと会う機会がなくなるのかと思うと、寂しい気持ちでした。 しかし、そのクロージングで @les…

古いLinux Kernelでfluent-agent-hydraを動かす

誰得な記事ですが、晒しておきます。 背景 ワンバイナリで動作するfluent-agent-hydraが適する状況があったので採用することにしました。 が、いざ動作させようとすると、https://github.com/fujiwara/fluent-agent-hydra/blob/master/hydra/in_tail.go#L41 …

ISUCON6敗退から一週間たってからの振り返り

早いもので、ISUCON6(土曜参戦)から早くも一週間過ぎた。 結果は敗退で、流れは @Leko がまとめてくれているので、基本はそちらをどうぞ。 leko.jp まぁ今年も悔しい結果に終わったので、その悔しい気持ちのまま書いてもよかったのだけど、少しおついてか…

iOSDC powered by builderscon に当日スタッフとして参加してきた

iOS Developers Conference Japan 2016 iosdc.jp に当日スタッフとして参加してきました。 (ブログが YAPCスタッフ、JTF登壇と、カンファレンス系ネタが最近多いなと、書きながら感じてるところ) 前夜祭含め、受付をさせてもらってましたので、ほとんどの…

Terraform 0.7でterraform_remote_stateはdeprecated扱い

Terraform 0.7がリリースされましたね。 Terraform 0.7 | HashiCorp このバージョンからterraform_remote_stateリソースがdeprecated扱いになっています。 今まで Terraformでの出力を別なTerraformで利用する場合、今まで以下のような感じであったと思いま…

JTF2016で話してきました - HashiCorp Vault + LDAP + MySQL

先日(2017/7/24)に行われた July Tech Festa 2016 でトークが採択されたので話してきました。 タイトル: HashiCorp VaultでMySQLアカウント管理はもう怖くない 2016.techfesta.jp 基本的に前回のエントリ YAPC::Asia Hachioji 2016 mid in Shinagawaで話…

YAPC::Asia Hachioji 2016 mid in Shinagawaで話した、スタッフした!

YAPC::Asia Hachioji 2016 mid in Shinagawa が、7/2,7/3 で開催されました。 yapcasia8oji-2016mid.hachiojipm.org トークのお話し トークが採択されたので、YAPC::Asia Hachioji 2016 mid in Shinagawa の1日目夕方に github.com ということで話してきま…

二日間通し券はないYAPC::Asia Hachioji 2016 mid in Shinagawaで話します!

タイトルは注意喚起を込めています! 2016/7/2(土),3(日)に開催されるYAPC::Asia Hachioji 2016 mid in Shinagawaで話すことができることなりましたー! タイトルに入れたようにこのイベントでは 二日間通し券はありません それぞれの日でなんらかの登録が必…

TLS1.2が使えない環境のためのProxy (squid)設定

TL;DR 接続先がTLS1.1、TLS1.2 以降しか接続を許可しなくなるけど、環境そのもののアップデートができなくて、Proxy でとりあえず逃げたいという方向けです。 Squid を使った設定例を書いてます。(参考情報 - Intercept HTTPS CONNECT messages with SSL-Bu…

BigQueryのテーブルを一定期間経過後削除する defaultTableExpirationMs

Google BigQuery 便利ですね。 テーブルを日毎に分割してデータを貯めていっているのですが、ある程度経過したらまぁ消してもよいかなと思うデータもあります。 そんなときに、GCSやS3のObject Lifecycle Management的なものがあると、自前でcronまわして削…

エンジニアサポートクロス2016にゴールドスポンサー( Hamee )として参加してきた

2/5に横浜大桟橋で開催されたエンジニアサポートクロス2016にゴールドスポンサーのHamee more.hamee.co.jp の一員として参加してきました。 ISUCON5で惨敗し、その悔しさのエネルギーがあるときに、CROSS2016スポンサー募集を発見して、そのエネルギーで会社…

続:Consul 0.6でユーザのいるshardを探す(Prepared Queryを使う)

この記事は HashiCorp Advent Calendar 2015 - Qiita の23日目です。(1時間ほど早めに公開したのでブログの日付は22ですが) 前回の記事 Consul 0.6でユーザのいるshardを探す(Prepared Queryを使う) - kikumotoのメモ帳 の続編です。 id:fujiwara …

Consul 0.6でユーザのいるshardを探す(Prepared Queryを使う)

この記事は HashiCorp Advent Calendar 2015 - Qiita の第21日目です。(大人な事情により Hamee Advent Calendar 2015 - Qiita の第20日目でもあります。なので微妙な時間に公開) 概略 ユーザIDをベースにDBを分割(sharding)しているのですが、プログラ…

fluentdのプルリク#696へのフィードバックを求めています

下記は、https://github.com/fluent/fluentd/pull/775 で2016/01/18にマージされたました! Fluentd Advent Calendar 2015 - Qiita の10日目がまだ空いていたので、入れさせてもらいました! 今、in_tailに関して下記PRを出させてもらっています。 github.…

pixzでケチケチバックアップ(もしくはGCS Nearlineで節約バックアップ)

この記事は qiita.com の7日目です。 TL;DR pixzでCPUマルチコアを使って高速かつ、高圧縮することで、バックアップの保存料金節約をしました。 GCS Nearlineなら、GB単価も安いし、取り出すときも高圧縮してあれば取り出し料金、データ転送料金も安く抑え…

カジュアルにMySQLスローログ可視化with Fluentd+Elasticsearch+Kibana

この記事は MySQL Casual Advent Calendar 2015 - Qiita Elasticsearch Advent Calendar 2015 - Qiita Hamee Advent Calendar 2015 - Qiita の第4日目です。 TL;DR 開発者の皆さんに、CasualにMySQLスローログを分析しもらうために、Fluentd + Elasticsearc…

当日朝に繰り上がって次世代Webカンファレンスに行ってきた!

なんとか当日朝に繰り上がって、次世代Webカンファレンス nextwebconf.connpass.com に行ってきました。 参加したセッションは下記です。 server_perf server_arch webrtc https monitoring 各セッション内容の録画やまとめは別途公開されるということですし…

GCPサービスアカウントでgsutilを利用したりAPIアクセスする方法

GCPのリソース、例えばGoogle Cloud Storageにアクセスする際に個人のアカウントを使って gcloud auth login などで認証すればgsutilでアクセスできるけれど、サーバーサイドのアプリケーションなどからアクセスする場合は個人のアカウントで認証したくはな…

Rundeckで始めるstretcherによるPull型デプロイ

オートスケールとかもろもろの理由からPull型デプロイに変えていきたいと思い、そうすると github.com を使いたいなぁとか思うわけです。 でも、Consul やら Serf まで今必要ないよなぁ、ということで Rundeck と組み合わせてみるといい感じになるのではと思…

h2oのsystemd unitファイル

h2oのsystemd unitファイルってみなさんどんな感じなんでしょう? https://github.com/h2o/h2o/issues/84 をみつつ、& でバックグラウンドってのもどうなの?って気がしたので、自分は以下のように書いてます。 [Unit] Description=h2o optimized HTTP serve…

HashiCorp Vault + LDAP で MySQL のアカウント管理

ようやくはてなブログに移りました。 ということでその最初の記事を書く。 LinuxのアカウントはLDAP(やらIPA Server)とか使えば統合管理できるのだけど、MySQLのアカウント管理を一箇所で統合的に管理しようと思うと、その権限なども含めるとなんかよいソ…

[YAPC] YAPC::Asia 2014 感想エントリ

最近、全く、Qiitaにも何も書いてなくて、ほんとに久しぶりの記事作成です。誰にというわけでなく、ごめんなさい。。。ということで、YAPC::Asia 2014 に参加してきました。今年も個人スポンサーで参加させてもらいました。 パーカー、とても良いですね!8…

[nginx][mpeg-dash] 第1回 html5j TV部 勉強会LT枠で参加して玉砕してきた

ブログに書くまで勉強会、という古き良きルールのもと、 第1回 html5j TV部 勉強会 に参加してきた、記事です。今回は、一般枠が埋まってしまったのでLT枠で参加してきました。 通常セッションの方は、Azureやるなー、普及率なめんな、という感じで非常に勉…

Qiitaに書いた記事(2013/10〜2014/01)

ここに書くのは久しぶりです。 最近は、ノウハウ的なのは Qiita に書くようになっているので。なので、あいた期間に書いた記事を貼っておきます。そんなに書いてないけど。 ffmpegをスタティックビルドする(CentOS6) rpm-build 4.11.x の入ったAmazon Linu…

YAPC::Asia Tokyo 2013に参加してきました

ブログに書くまでがYPACということで、遅まきながらそのエントリ。 今回個人スポンサーとして参加させていただきました。提灯をいただいてきました。ありがとうございます! Perlに限らずエンジニアの熱い思いを聴けたすばらしいカンファレンスでした。 ホン…

WebPay3分後のあと〜顧客の詳細をまねる〜

WebPay: 開発者向けクレジットカード決済サービスを使う流れになりそうなので、ちょっと実際に試してみることにしたので、そのメモ。アカウント作って、3分で分かる使い方に従って、課金したり顧客を作ったりした後にダッシュボードを見ると、課金情報とか…

hbstudy41に参加してきた

ブログに書くまでが勉強会ということで、hbstudy#41 x IDCFクラウドハンズオン - connpass に参加して、あとLTもしてきました。もくもくとコードを書いていく(どちらかというと写経ですが)というスタイルでの勉強会でしたが、非常に充実したものとなりまし…

Apacheのログで、リクエスト時間をマイクロ秒で表示する方法

ApacheのLogFormatで %t を指定すると、リクエストの時間が表示されますよね。複数のサーバのログを集めて結合すると、時間が秒レベルなのでソートしても微妙に順番が変になったりします。なので、秒より精度の高い時間を出力しようと思いました。 使ってい…

kickstartのpostscript処理をコンソール出力するメモ

KVM

kickstartのpostscript処理ですがリアルなマシンだと 検閲Tech: Anaconda Kickstartの%postスクリプトの動作を観察する TipsAndTricks/KickStart - CentOS Wiki にあるように、chvt すればいんだけど、KVMに仮想マシンにインストールするときはこれでは動作…

SpotInstance + ENI(固定IP)in VPC で財布に優しいテスト環境を作る

AWS

久しぶりの更新です。Amazon VPCのいいところの1つは、固定プライベートIPを設定できるところですよね。 で、ちょうど固定プライベートIPで作業する必要があったので、オンデマンドm1.smallをVPC内に数インスタンス起動してたのですが、そこそこ費用がいっ…

Amazon VPCに接続するためのVyatta向け設定ファイルを作成するWebツールを作ってみました

さくらのクラウド(β)とAmazon VPCをつなげるテストをいろいろやっているのだけど、毎度Vyattaの設定ファイルとかを書くのが面倒なので、Amazon VPCからダウンロードする設定情報をVyatta向けに変換するツールを作成してみました。ローカルで使うのであれば…

Diablo版Swiftインストール:ストレージサーバ編

前回、前々回からの続きで最後にストレージサーバを構築したときの手順をメモしておく。 構成とOS環境 keystone やプロクシサーバと同様。 パッケージインストール ストレージサーバに必要なパッケージは以下のようにしてインストールした。 # yum install p…

Diablo版Swiftインストール:プロクシサーバ編

前回の記事 Diablo版Swiftインストール:keystone編 に引き続き、Swift環境として必要となるプロクシサーバを構築した時のメモ。 構成とOS環境 前回の記事の通りであるが、今回はストレージサーバのIP情報も必要となるので、それらについては以下の通り。 ス…

Diablo版Swiftインストール:keystone編

久しぶりにSwiftをさわることなり、以前からバージョンアップもされ、特に認証機能が大きく変わったので、再度インストールを試みたのでそのときのメモ。今回は、認証機能である keystone のインストールについてメモっておく。参考にしたのは以下のサイト。…

EC2にSwiftをインストール

分散ストレージ的なものを探していたら、OpenStackにSwiftというS3的なストレージがあることを知ったので、まずはどんなものか知るためにインストールしてみることにした。そのときのインストールメモ。インストール時に固定IPがあったほうがSwiftの手順に…

さくらのVPSにVyattaを入れて、Amazon VPCにVPN接続

第8回JAWS-UGに参加して、そこで富士ソフトの飯尾さんが話したVPCの話題、面白かったです。ということで、年内にAWS東京リージョンに追加されるはずのVPCを試しおかなきゃ、、、、といっても、ネットワーク装置なんて持ってないので、さくらのVPSにVyattaを…

はじめてのレシピ

Chef Server, Chef Client(Node), Knife Client と一通り環境が揃ったので、All about Chef ... — Chef Docsに従って、Recipeを書いて、Nodeに適応してみる。 Chefリポジトリの用意 cookbookを書いていくあたって、ローカルにChefリポジトリを用意する。こ…

ruby1.9.2でChef-severを動かす

先日書いたさくらのVPSにchef-serverをインストール - kikumotoのメモ帳では ruby は 1.8.6 が使われる。個人的には 1.9.2 の環境の方が都合がよいので、ruby 1.9.2 で chef-server を動かすようにしたときの構築をメモ。基本的にほぼ同様な手順だけど、一部…

Chef ServerにClient/Nodeを登録

昨日書いたさくらのVPSにchef-serverをインストール - kikumotoのメモ帳で作成したChef Serverに、Chefのclietやnodeを登録した手順をメモする。インストール対象はここでもさくらのVPS CentOS5.5 i386環境。client, nodeが何かについてはChefを最速で使いこ…

さくらのVPSにchef-serverをインストール

久しぶりのブログ更新!!サーバを増やすときに各種パケッケージのインストールだけでなく、必要な設定も含めて自動化していきたいと思い、最近はChefを勉強中。chef-serverをさくらのVPSにインストールしたときの作業をメモしておく。さくらのVPSへのchef-s…

CometDを試す

背景はともかく、CometDに興味を持ったのでまずは使ってみることに。Primerのページによると、Maven で scaffold 見たいなものを作れるようになっているが、この日記を書いた時点でのバージョンでは少し出力が異なっていたので、Primer をなぞる形で自分が実…

Android エミュレータの system.img を書き換える。

すっかり間があいていましまったけど、最近 Android をいじり始めたのでそれについてメモを再開。Android エミュレータの /system は adb remount で、書き換えはできるけれども、結局エミュレータを終了すればまた元に戻ってしまう。毎回 adb remount して…

XtreemFS ってのもあるのね。

8/13 に 1.0 がリリースされた XtreemFS っていう分散ファイルシステムもあるんですね。今度調べてみよう。

CloudStoreをバックエンドにしてMapReduce

CloudStore は Hadoop と組み合わせることができ、MapReduce のデータ保持先として利用できる。 Using KFS with Hadoopを参考に試して見た。 Hadoop MapReduce をインストールした場合のサーバの役割は以下のようにした。 ノード名 CloudSotre での役割 Hado…

CloudStoreを使う・Java編:ランダムアクセス

Javaライブラリを使ってランダムアクセスをしようと思ったら、Javaライブラリで提供されるAPIではアクセスできない。JNI 側および C/C++ ライブラリ的にはランダムアクセス可能なので、単にJava側のAPIの提供方法の問題のようである。CloudStore の HDFS に…

CloudStoreを使う・Java編:読み書き

Javaライブラリを使って、CloudStoreに読み書きをする方法をまとめておく。 読み込み サンプルコードは以下の通り。CloudStore の API は、Java New I/O を使うようになっているので、それがらみのコードが多くなってしまっているが、実質的には メタサーバ…

CloudStoreのJavaアクセスライブラリ

CloudStore には Java からもアクセスできるようになっている。 ライブラリのビルドは Ant を使って以下のようにすればよい。KFS_HOME は、CloudStore がインストールされているディレクトリ。 $ cd kfs-0.3 $ ant -Dlib.dir=$KFS_HOME/lib jar 成功すれば、…

CloudStoreを使う・FUSEマウント編

CloudStore では FUSE を使ったマウントができる(http://kosmosfs.wiki.sourceforge.net/UsingWithFUSE)ので、その方法を確認しておく。まずあらかじめ FUSE をインストールしておく必要があるので、以下のような感じで準備しておく。 $ tar xzf fuse-2.7.…