Атрибуты в шефе и DeepMerge

Многие знают, что в шефе есть большое количество типов атрибутов, необходимые, чтобы гибко управлять инфраструктурой. Для того, чтобы эти атрибуты работали вместе, есть разные правила их объединения. О них мы сегодня и поговорим.

В шефе есть 15 типов атрибутов, и если вы будете использовать их все, у вас взорвется мозг. При использовании нашего подхода к использованию шефа (об этом я рассказывал на последнем DevOps митапе, который прошел в Яндексе, видео моего доклада можно посмотреть здесь), нам, за редким исключением, удается обойтись всего тремя типами:

• A default attribute located in a cookbook attribute file (1)
• A default attribute located in an environment (3)
• A default attribute located in role (4)

Это позволяет хранить все атрибуты в git. Для примера можно посмотреть наш тестовый репозиторий тесто.

Следующий момент, на который стоит обратить внимание при работе с атрибутами, — это «глубокое слияние» или deep merge в английском варианте. Поставим небольшой эксперимент с помощью chef-shell (это такой irb с загруженными классами шеф клиента).

➜  chef-shell
loading configuration: none (standalone session)
Session type: standalone
Loading....done.

This is the chef-shell.
 Chef Version: 11.10.0
 http://www.opscode.com/chef
 http://docs.opscode.com/

run `help' for help, `exit' or ^D to quit.

Ohai2u brun@Ivans-MacBook-Pro.local!
chef > dm = Chef::Mixin::DeepMerge
 => Chef::Mixin::DeepMerge
chef > a = { :x => [1, 2] }
 => {:x=>[1, 2]}
chef > b = { :x => [3] }
 => {:x=>[3]}
chef > dm.merge a, b
 => {"x"=>[1, 2, 3]}

Или в сухом остатке

dm = Chef::Mixin::DeepMerge
a = { :x => [1, 2] }
b = { :x => [3] }
dm.merge a, b
# => {"x"=>[1, 2, 3]}

Если значениями являются массивы, то они объединяются. Возможно, иногда это очень полезно, но про эту особенность надо помнить, чтобы не случилось ситуации, о которой я сейчас расскажу.

В файле атрибутов были заданы приватные сети следующим образом:

# inhouse-cookbooks/base/attributes/default.rb

default['base']['private_networks'] = ["192.168.0.0/16", "172.16.0.0/12", "10.0.0.0/8"]

Боевая среда находилась в облаке Rackspace. У них сеть 10.0.0.0/8 является внутренней сетью, в которую «торчат» различные сервисы, в том числе Load Balancer. Поэтому в атрибутах боевого окружения было прописано следующее (environments/production.json):

{
  "name": "production",
  "description": "Produciton environment",
  "cookbook_versions": {
  },
  "json_class": "Chef::Environment",
  "chef_type": "environment",
  "default_attributes": {
    "base": {
      "private_networks": ["192.168.0.0/16", "172.16.0.0/12"]
    }
  }
}

В результате deep merge публичных ip адресов на сервисе не стало.

Я решил эту проблему по-простому, стал хранить список в одной строке с разделителем-запятой, потому что строки при deep merge заменяются.

default['base']['private_networks'] = "192.168.0.0/16,172.16.0.0/12,10.0.0.0/8"

Подробности про deep merge можно прочитать в официальной документации.

Стоит также обратить внимание, что атрибуты из файлов атрибутов загружаются в алфавитном порядке. Например, совсем недавно, наткнулся на ошибку, связанную с этим (и, более того, чуть раньше на нее наткнулся мой коллега Никита на другом проекте).

$ ls inhouse-cookbooks/project/attributes
front.rb
riemann.rb

# inhouse-cookbooks/project/attributes/front.rb

default['project']['front']['application_user'] = 'project'

# inhouse-cookbooks/project/attributes/riemann.rb

default['project']['riemann']['application_directory'] =
    "/home/#{node['project']['front']['application_user']}/riemann"

default['project']['riemann-dash']['application_directory'] =
    "/home/#{node['project']['front']['application_user']}/riemann-dash"

В какой-то момент я переименовал рецепт front в ruby, и все сломалось, потому что ruby идет после riemann в алфавитной сортировке.

И третий момент, на который стоит обратить внимание, это то, что атрибуты одного типа (с одинаковым приоритетом) не объединяются, а перетирают друг друга. Вот вам умозрительный пример (спасибо Никите, который наткнулся на это в реальной жизни и рассказал мне).

# inhouse-cookbooks/project/attributes/app_one.rb

default['logrotate']['log_files'] = ['/var/log/app_one.log']

# inhouse-cookbooks/project/attributes/app_two.rb

default['logrotate']['log_files'] = ['/var/log/app_two.log']

Казалось бы, очевидный способ собрать массив из разных элементов, но конструктивные особенности шефа сделают так, что нужный нам атрибут будет содержать массив с одним элементом '/var/log/app_two.log' — последним.

Если бы спросили меня про атрибуты в шефе, я бы сказал, что они сделаны, гм, весьма странно, что ли, в них не хватает инженерной красоты.

Надеюсь, эта статья убережет вас от хождения по совсем неинтересным граблям.

• chef