スキップしてメイン コンテンツに移動

CloudFormation + Chef-soloで環境構築

世間はCloudTailだのWorkSpacesだのAppStreamだので盛り上がっている中、地道にCloudFormationと戦っているのが僕です。

今回はCloudFormationからChef-soloをキックして環境構築してみました。

参考文献はこちら。



Chef Recipe

RecipeはS3に配置する想定です。必要なのはRecipe自体のtar.gzファイルとJSONファイル。

tar.gzファイルは以下構成である必要があります(myreceipeがレシピ名)

JSONファイルはこんな感じです。
{
  "run_list": [ "recipe[myrecipe]" ]
}

Template

Templateの中身はこんな感じ。長いです。gistに張ってます
Cloud-Initからcfn-initを叩いて、こんな感じで動きます。
  1. yumで各パッケージをインストール(config1)した後、
  2. alternativesでRubyを1.9に切り替えてgemでchefをインストール(config2)、
  3. その後Chef-soloで使うsolo.rbを作成(config3)し、
  4. chef-soloコマンドでrecipeを読み込んで実行。

Parameters

このTemplateをCloudFormationのStackに食わせたときのParametersがこちら。


  • EC2InstanceType ... EC2インスタンスのタイプを設定します。選択肢は"t1.micro", "m1.small", "m1.large"の3つで、Defaultではt1.microが入力されています。
  • RecipeURL ... 実行するChef recipe(tar.gzファイル)のURLを指定します。
  • JsonURL ... Chef-soloに渡すJSONファイルのURLを指定します。
  • KeyName ... 認証鍵名を指定します。

Result

Opscode Communityで公開されているbuild-essentialというRecipeを実行してみました。
/var/log/cfn-init.logにcfn-initの実行ログがあります。
2013-11-14 08:18:22,892 [INFO] Running configSets: default
2013-11-14 08:18:22,893 [INFO] Running configSet default
2013-11-14 08:18:22,939 [INFO] Running config config1
2013-11-14 08:18:49,925 [INFO] Yum installed [u'gcc-c++', u'ruby19', u'rubygems', u'ruby19-devel']
2013-11-14 08:18:49,946 [INFO] Running config config2
2013-11-14 08:18:49,960 [INFO] Command alternatives succeeded
2013-11-14 08:19:44,386 [INFO] Command install-chef succeeded
2013-11-14 08:19:44,413 [INFO] Command mkdir-chef succeeded
2013-11-14 08:19:44,422 [INFO] Running config config3
2013-11-14 08:19:44,427 [INFO] ConfigSets completed
2013-11-14 08:20:08,241 [INFO] Starting new HTTP connection (1): 169.254.XXX.XXX
2013-11-14 08:20:08,248 [INFO] Starting new HTTPS connection (1): cloudformation-waitcondition-us-west-2.s3-us-west-2.amazonaws.com
chef-soloの実行ログは/var/chef-solo/result.logにあります。
[2013-11-14T08:19:45+00:00] INFO: Forking chef instance to converge...
[2013-11-14T08:19:45+00:00] INFO: *** Chef 11.8.0 ***
[2013-11-14T08:19:45+00:00] INFO: Chef-client pid: 4493
[2013-11-14T08:19:47+00:00] INFO: Setting the run_list to ["recipe[build-essential]"] from JSON
[2013-11-14T08:19:47+00:00] INFO: Run List is [recipe[build-essential]]
[2013-11-14T08:19:47+00:00] INFO: Run List expands to [build-essential]
[2013-11-14T08:19:47+00:00] INFO: Starting Chef Run for ip-XXX-XXX-XXX-XXX.us-west-2.compute.internal
[2013-11-14T08:19:47+00:00] INFO: Running start handlers
[2013-11-14T08:19:47+00:00] INFO: Start handlers complete.
[2013-11-14T08:19:47+00:00] INFO: Processing package[autoconf] action install (build-essential::rhel line 38)
[2013-11-14T08:19:48+00:00] INFO: package[autoconf] installing autoconf-2.63-5.1.7.amzn1 from amzn-main repository
[2013-11-14T08:19:51+00:00] INFO: Processing package[bison] action install (build-essential::rhel line 38)
[2013-11-14T08:19:52+00:00] INFO: package[bison] installing bison-2.4.1-5.7.amzn1 from amzn-main repository
[2013-11-14T08:19:54+00:00] INFO: Processing package[flex] action install (build-essential::rhel line 38)
[2013-11-14T08:19:56+00:00] INFO: package[flex] installing flex-2.5.36-1.8.amzn1 from amzn-main repository
[2013-11-14T08:19:58+00:00] INFO: Processing package[gcc] action install (build-essential::rhel line 38)
[2013-11-14T08:19:59+00:00] INFO: Processing package[gcc-c++] action install (build-essential::rhel line 38)
[2013-11-14T08:19:59+00:00] INFO: Processing package[kernel-devel] action install (build-essential::rhel line 38)
[2013-11-14T08:19:59+00:00] INFO: package[kernel-devel] installing kernel-devel-3.4.68-59.97.amzn1 from amzn-updates repository
[2013-11-14T08:20:05+00:00] INFO: Processing package[make] action install (build-essential::rhel line 38)
[2013-11-14T08:20:07+00:00] INFO: Processing package[m4] action install (build-essential::rhel line 38)
[2013-11-14T08:20:07+00:00] INFO: Chef Run complete in 19.951180673 seconds
[2013-11-14T08:20:07+00:00] INFO: Running report handlers
[2013-11-14T08:20:07+00:00] INFO: Report handlers complete
ちゃんと実行されてますね!

まとめ

コレ作るのに2日かかりました。StackがRollbackするたびに超イライラした。でもcfn-initとChefの動きについて大分理解が進んで良かったです。



入門Chef Solo - Infrastructure as Code入門Chef Solo - Infrastructure as Code


伊藤直也
売り上げランキング : 549

Amazonで詳しく見る by AZlink

コメント

このブログの人気の投稿

自走する組織に必要なのはルールではなくガイドライン

ということをいつも心がけている、という話です。 僕が組織のマネジメント職を20年ほどやらせてもらっている上で、いつも意識しているのは権限移譲とセルフマネジメントです。この辺の話は過去のブログにも書きました。 管理職のためのエンジニア組織構築マニュアル 管理職のための役職引退マニュアル 現場に口を出さないマネージャーの作り方 つまり「権限と裁量を同時に移譲し、責任感を持ってプロアクティブに仕事をしてもらいながらも、メンバーの良いところを更に引き出して高いパフォーマンスを出してもらう」ことこそが、マネジメント職のやるべきことだと思っています。 そのために僕がいつも権限移譲の際に伝えるのは、ルールではなくガイドラインです。ルールは規則や規定といった決まりごとなので「やること」「やってはいけないこと」が書かれたものです。ガイドラインは大まかな指針なので「方向性」「やったほうがいいこと」「やらないほうがいいこと」が書かれたものです。 ルールを提示した場合、そのとおりにすれば過去の実績からある程度の成功は見込めるものの、状況に応じた柔軟な判断が出来ませんし、メンバーの考えや意見が行動に反映されません。メンバーはルール通りの行動しか出来ず、結果としてルールを作成した人以上の成果は出せなくなってしまいます。 ガイドラインの場合、会社として望ましいと考える方向性だけが書かれているので、状況に応じた柔軟な判断も出来ますし、メンバーが考えるより良いやり方や行動を取り入れることが出来ます。ガイドラインを作成した人以上の良いアイデアがあればガイドラインをアップデートすることも出来ます。 これは権限移譲だけでなく、育成においても同様だと僕は考えます。1から10まで決まりきったカリキュラムをやらせることも時には(あるいは人によっては)必要だけれど、本当に価値のある育成は、メンバーに目指してほしい姿を伝え、現在とのギャップを一緒に認識し、そのギャップを埋めるための多種多様な方法を伝えて、その上で本人が取捨選択して自分自身で学習していく。企業や上長はそのサポートを行う。というのが、最も成長出来る育成方法だと思います。 学習する組織 ― システム思考で未来を創造する posted with AmaQuick at 2

「許可を得るな、謝罪せよ」が意図していること

 弊社ではセルフマネジメントとアウトプットファーストを行動指針として掲げていますが、セルフマネジメントを象徴する言葉としてよく使われるのが 「許可を得るな、謝罪せよ」 です。 細かい話は 以前ブログにした のでそちらを読んで頂くとして、この言葉が意味するのは「アクションするのにいちいち許可を得る必要はない。許可を取る時間が無駄。やっていいですかじゃなくてやりましたと言えばいい。その結果間違っていれば謝れば良いだけ」です。 何故この方針を取るのか、この方針によってどのような結果を期待しているのか、を改めて整理したいと思います。 アクションのスピードを上げたい これは上述した意味の通りで、何らかの施策や企画があるときに、上長の許可を取るために資料を作ったり、打ち合わせしたり、下調べをしたり、という時間が無駄だからです。 この考え方の前提として「小さな失敗を早くたくさんする」というのがあります。どんな施策も企画も、正解なんて誰にもわからないし、やり方次第で変わるものです。アイデアの時点であーだこーだ言うより、実際に手を動かしてやってみて、その結果から継続の判断を行うことで、リスクを小さく、コストも小さく、たくさんアクションすることが出来ます。 モチベーションを持って取り組んでもらいたい 何でもそうですけど、人に言われたことをそのままやるより、自分で考えたことを自分のやり方でやるほうが、面白いです。僕が仕事をする上で、または僕がピープルマネジメントする上で、一番重要視しているのは、面白いかどうか、です。 担当者がモチベーションのないままやって成功することなんて(ほとんど)ありません。その施策や企画の実施に一番モチベーションがあるのはそれを考えた人なので、その人に主導してもらうのが一番成功率が高いです。 主体性を持って取り組んでもらいたい モチベーションと同様に、担当者が主体性のないままやって成功することなんて(ほとんど)ありません。その施策/企画を自分ごととして捉え、だからこそ知恵を絞って、全力を発揮する、つまり主体性を持って取り組むことが、一番成功率が高いです。そしてもちろん、一番主体性を持てるのはそれを考えた人です。 なお、主体性と責任は違います。前述の通り「小さな失敗を早くたくさんする」ためには、失敗に対して責任を追求するのではなく、結果と知見を追求する、という文化が

組織を構成するビルダー、フォロワー、ワーカーについて

僕の経験上、新しい事業体を立ち上げたときの組織構成は大きく3つに分かれる。というか3つのタイプを必要とする。なお、ここではそもそもパフォーマンスが出ない人を含めていない。 その事業を成功させることに高いモチベーションがあり、その結果の責任も積極的に取るタイプ。会社の創業者とか新部門の責任者とか、立ち上げメンバーがコレに当たる。 もともとはその事業に対して特にモチベーションが無いんだけど、事業を担当することによって深くコミットし、結果としてモチベーションが高くなるタイプ。 事業に対するモチベーションが無いからコミットもしないんだけど、担当する業務はしっかりとこなすタイプ。 1をビルダー、2をフォロワー、3をワーカーとこの記事では呼称する。 事業が立ち上がったばかりの組織構成として、ビルダーは当然少ない。可能な限りフォロワーを増やすことを僕はお薦めする。事業のスタート時期というのは不足していたりそもそも無かったりすることがたくさんあり、それらをプロアクティブに拾い続けて解決するためにはモチベーションが必要だからだ。この時期の組織では、業務に対して合うスキルセットの人を採用する(=ワーカー)より、企業理念や事業ビジョンにコミットしてくれる人(フォロワー)を採用したほうがスピードが上がる。ワーカーがあまりに多いと作業指示が無いゆえの作業待ちが発生し、スピードが上がらない。比率的には1:6:3くらい。 事業がある程度立ち上がって順調に拡大するフェーズになると、今度はフォロワーをどうやってビルダーに成長させるか、ワーカーをどうやってフォロワーに成長させるか、が課題になる。このくらいのフェーズではマネジメント教育とかコーチング研修なんかが必要になる。企業理念や事業ビジョンを更に明確にし、言い続け、常に意識させる作業が必要になる。 そして、ある程度事業の形が出来てくると、ふわふわした仕事が少なくなるので、ワーカーを業務に対してアサインしやすくなる。こうなると2:4:4くらいの比率でも上手くいく。それでもワーカーを過半数以上にするのは僕はおすすめしない。事業にコミットしない人が増えると組織全体が「コミットしないのが当たり前」「コミットしない人が評価されて不公平」みたいな空気感が生まれちゃうことが多い。なので過半数以上は事業にコミットする人で固めたほうが良い。 つまり、組織の責任者は「