Главная

Категории:

ДомЗдоровьеЗоологияИнформатикаИскусствоИскусствоКомпьютерыКулинарияМаркетингМатематикаМедицинаМенеджментОбразованиеПедагогикаПитомцыПрограммированиеПроизводствоПромышленностьПсихологияРазноеРелигияСоциологияСпортСтатистикаТранспортФизикаФилософияФинансыХимияХоббиЭкологияЭкономикаЭлектроника






Результат первого опыта поставлен под сомнение, так как он выделяется на фоне остальных трех опытов.


В смятенье Истина: «Как я войду теперь?»

Р. Тагор. Искры

Эта глава посвящена конфликту между математикой и реаль­ной действительностью. Тому, кто строит изящное здание в виде матрицы планирования, нужно помний» о тех темных силах, под действием которых здание может рухнуть, не принеся никому пользы. Нужно помнить об ошибках опыта! Как бы остроумно вы ни планировали эксперимент, какие бы системы емепшвания ни избирали, все труды ваши будут напрасны, если вы не спусти­тесь на землю, к реальной действительности и не продумаете все детали постановки опыта.

В этой главе рассказывается, как нужно готовиться к опыту, как реализовать матрицу планирования, как подсчитывать ошибки и классифицировать их, как бороться с некоторыми системати­ческими ошибками в виде неоднородности сырья, различий в ап­паратуре и т. д. Но прежде всего надо как-то формализовать све­дения, имеющиеся об объекте. Для этого можно воспользоваться анкетой, приведенной в следующем параграфе.

Анкета для сбора априорной информации

Постановка задачи, выбор параметров оптимизации

1. Краткое описание процесса, объекта.

2. Формулировка цели исследования (если задач несколько — проранжировать их по степени важности).

3. Выбор параметров оптимизации (откликов). Заполните следующую таблицу, включив в нее все возможные

отклики

Номер отклииа Название Размерность Область определения Точность Примечание
           
8 Заиав М 588


 

4. Желаемый результат. Число и точность.

5. Какой результат будет считаться отличным, хорошим, удовлетворительным, неудовлетворительным.

{Выбор факторов

1. Список всех «подозреваемых»: факторов, которые могут влиять на процесс.

2. Список факторов, включаемых в реальный эксперимент.

Номер фактора Название Размер­ность Область определения Область интереса Точность Примечание
             

 

3. Существуют ли возможности установления значения фак­тора на любом заданном уровне?

4. Сохраняются ли заданные значения уровней в течение опыта?

5. Могут ли некоторые комбинации уровней факторов при­вести к остановке процесса (например, взрыв, нетехнологичность и т. д.)?

Число опытов

1. Желаемое число опытов, ограничения на число опытов.

2. Желаемый срок проведения исследования.

3. Примерная длительность одного опыта.

4. Стоимость д- затраты труда при проведении одного опыта серии.

5. Желаемое число уровней для одного фактора.

6. Возможность выполнения параллельных опытов и их же­лаемое число.

7. Возможность проведения параллельных измерений.

8. Желаемая стратегия проведения опытов (например, по од­ному в день и т. д.).

Учет априорной информации

1. Условия и результаты, достигнутые при изучении аналогич­ных процессов.

2. Результаты предварительного эксперимента и данные (ли­тературные и собственные) о величине ошибки эксперимента.

3. Взаимодействия факторов.

В следующем параграфе приведен конкретный пример поста­новки задачи,в котором использованы некоторые части этой ан­кеты.

8.2. Реализация плана эксперимента

К проведению опытов необходимо тщательно подготовиться, собрать опытную установку, проверить и прокалибровать приборы, подготовить исходное сырье, составить специальный журнал. Журнал заранее оформляют в соответствии с методикой и планом опытов так, чтобы была ясна последовательность действий. Пер­вую страницу можно посвятить выбору цели исследования и па­раметрам оптимизации, с указанием их размерностей. Желательно перечислить все параметры, которые могут служить характери­стиками процесса и указать, какая между ними существует корре­ляция. Если же сведения о корреляции отсутствуют, целесооб­разно подсчитать коэффициенты парной корреляции, проверить их значимость и выделить группу некоррелированных парамет­ров. На второй странице пьречпелхтть факторы и поместить таб­лицу уровней факторов и интервалов варьирования. Не забудьте указать единицы измерения факторов! Для матрицы планирования удобно отвести разворот журнала, чтобы имелась возможность дополнить ее до расчетной матрицы, записать повторные опыты и примечания.

Чтобы облегчить работу лаборанта и исключить ошибки при выборе условий опыта, в рабочей матрице планирования целе­сообразно проставлять не только кодовые значения факторов, но и натуральные.

При составлении рабочей матрицы планирования необходимо оставить место для столбцов, в которых отмечаются даты поста­новки опытов и фамилии лаборантов, если опыты проводят не­сколько человек. Имея перед собой план опытов, необходимо подсчитать количество исходного сырья и заранее его подгото­вить. Желательно, чтобы сырье было однородное. Если требование однородности выполнить невозможно, нужно заблаговременно определить количество различных партий сырья и соответствую­щим образом разбить матрицу планирования на блоки. На этом вопросе мы далее остановимся подробно. Отдельные страницы нужно отвести для расчетов, которые необходимы для определения количеств всех компонентов реакции и т. п., а также для анализа результатов эксперимента. Все расчеты должны сохраняться до окончания работы.

Пример 1. В качестве примера приведем оформление журнала при опти­мизации процесса получепия сульфадимизина.

Страница 1

Планирование эксперимента при оптимизации процесса получения сульфадимизина

Цель исследования: определение оптимальных условий процесса конден­сации сульгина с ацетилацетоном в присутствии уксусной кислоты.

8*

Параметры, характеризующие процесс: yL — выход «ульфадими»иа по сульгину, %, Уз, — качество сульфадимизина.


Формулировка задачи оптимизации. Доотижение максимального выхода оудьфадимизина, качество которого удовлетворяет требованиям фармакопеи:Hi— параметр оптимизацииг100%), yt—■ ограничение.

Качество продукта определяется по процентному содержанию сульфа­димизина в получаемом продукте и по его температуре плавления. Согласно требованиям фармакопеи содержание основного вещества в получаемом про­дукте должно быть не менее 99%, а температура плавления должна нахо­диться в пределах 196—200" С, т. е. у'3 > 99%, 196* С <vl< 200" С.

Страница 2

Факторы, определяющие процесс: — время реакции, час; х2 — содер жание ацетнлацеуона в реакционной массе, %; Ж3 — содержание уксусной кислоты в реакционной массе, %; ж4 — температура реакционной массы, "С; Ж5 — качество ацетилацетона, %; Ж, — качество сульгина, %.

Выбор варьируемых факторов. Принято решение изменять в опытах первые три фактора. Качество ацетилацетона и сульгина решено поддержи­вать постоянным (таким, как на действующем производстве) ж5= 90 % ;2,=98%.

Температура реакционной среды является производной состава и давле- ния. Поэтому она, если не применять специальных способов воздействия на температуру, не является независимой величиной и не может служить в ка­честве фактора. Однако температуру необходимо контролировать в течение всех опытов.

Страяица 8

Выбор технологии. Сульгин загружается одновременно с ацетилацето- ном и уксусной кислотой. Реакция проводится при перемешивании реакцион­ной смеси и непрерывном отгоне воды.

Необходимые анализы. Анализ исходного сырья: ацетилацетона, суль­гина, уксусной кислоты (следует описание методик). Анализы получаемых продуктов: сульфадимизина в осадке, сульфадимизина в фильтрате, еульгина в фильтрате (следует описание методик).

Описание акспериментальной установки. Опыты проводятся на лабора­торной установке, состоящей из стеклянной конической колбы емкостью .250 мл, снабженной металлической якорной мешалкой и обратным холодиль­ником. Температура реакционной массы измеряется термопарой, подключен­ной к электрическому потенциометру, и непрерывно записывается на карто­грамму. Колба обогревается электрической баней, наполненной вазелиновым маслом. Температура в бане автоматически регулируется с помощью реле и контактного термометра и поддерживается около 160° С.

Страница 4

Выбор основного уровня и интервалов варьирования. Для того чтобы выбрать уровни факторов, следует собрать и проанализировать литератур­ные и заводские данные. По заводскому регламенту процесс проводится при следующих условиях: £,=27 час, Ж2=4%, Ж3=16%. При этом ух=84%.

Опубликованные данные и сведения из втчвт»в(априорная информация)

Влияние времени реакции (хг). Данные об оптимальном времени реакции в лабораторных условиях противоречивы. Так, в отчете № 1 указано, что •пыты проводились при 21>е>21 час, затем время уменьшили до 12 чае. Умень­шено» времени не снизило существенно выход реакции. В отчете № 2 описы­
ваются опыты с различным временем: 18, 24 и 30 «ее. Наилучший выход получен- при Жх»24 час.

Влияние избытка ацетилацетона (ж2). Данные о влиянии избытка аце- тилацетона от стехиометрического соотношения гакже противоречивы. В одном отчете указано,, что содержание ацетилацетона сверх 10% является нецелесообразным, в другом оптимальным считается 40% избытка ацетил- ацетона.

Влияние уксусной кислоты (х3). Вопрос о влиянии процентного содержа­ния уксусной кислоты специально не исследован. Считается, что Ж3 целесо­образно поддерживать около 16—17%. Предполагается, что это раствори­тель и его концентрация может изменяться в широких пределах.

ОН

На основании анализа имеющихся сведений решено выбрать следующие уровни и интервалы варьирования факторов (табл. 8.1)

Таблица 8.1 Уровни факторов и интервалы варьирования
Факторы Уровни I Размерность
-1 +1
«1 час
24 , %
  %

Страница 5

Расчет компонентов реакции

Ацетилацетон Сульгин Уксусная кислота


 

nh. jo

сн + С—NHSOa—CgH4—NHS СН.-(!оН HN

3"

100 211 60 Сульфаднмизнн

СН3—C=N > СН С—Л HSOt—CeHi—NHa-j-2H20.

loo—=26>7 г;

он,—£—14

278 86

Расчет по стехиометрическим соотношениям на 12,5 а ацетилацетона: 100—214 214 • 12,5

Z

ацетилацетона — 12,5 >, сульгина — 26,7 в.

Расчет ацетилацетона с избытком 20%:12,54-12,5-0,2=15 г и т. д.

Страница 6 Таблица 8.2 Матрица планирования и результаты эксперимента
Номер опыта в мат­рице Случай­ный по­рядок реализа­ции опы­тов Дата проведе­ния опы­тов * ас, ас, ас3 Уи  
я о к У я о к   я о к   повтор­ные опыты средний результат
10/III       80,23 81,08  
  5/IV             81,93    
21/III + ___ ___ 86,50 85,65  
  14/IV           84,80    
8/III ___ + ___ 82,45 82,27  
  21/IV           82,10    
27/III + + ___ 89,50 90,40  
  6/IV         91,30    
12/III ___ -16 ___ + 85,10 84,95  
  27/IV           84,80    
1/IV + ___ + 90,30 89,95  
  16/IV            
  14' 17/IV             89,60    
15/111 ___ + + 85,60 85,25  
  12/IV         84,90  
20/1II + + + 88,02 88,25  
  9/IV       88,48    

* Начало проведения всех опытов в 8 ч. В таблице необходимо указать фамилии ла­борантов по сменам. Для каждого опыта дать картограмму температуры.

 

Имея такую таблицу, можно приступить к обработке экспе­риментальных данных.

Каждая горизонтальная строка матрицы — это условия опыта. Условия опытов чрезвычайно разнообразны. Ведь мы занимаемся пданированием многофакторного эксперимента, когда все фак­торы изменяются одновременно. Приступая к планированию экс­перимента, мы должны отказаться от привычного однофакторного эксперимента, который проводится по принципу «изменяй один фактор, а прочие держи постоянными».

Мы хотим заниматься исследованием сложных многофактор­ных систем и понимаем, что однофакторный эксперимент нам не поможет. И это не только наше мнение. У. Р. Эшби во «Вве­дении в кибернетику» писал: «Тот факт, что в течение столетий могли принимать такую догму,- как «изменяйте факторы по од­ному», показывает, что ученые занимались в основном исследова-

Страница 7

  г VI. ....... W VI. °с Примечания
  повтор­ные опыты средний результат повтор­ные опыты средний результат начало кипения начало помутнения выпадение осадка
  94,2 99,9 97,05 196,5 8 ч 45 мин 8 ч 38 мин 20 ч 20 мин 20 ч 18 мин 20 ч 40 мин. 20 ч 35 мин
  99,6 100,0 99,80 197 196 196,5 8 ч 38 мин 8 ч 40 мин 20 ч 20 мин 20 ч 23 мин 20 ч 40 мин 20 ч 43 мин
  99,2 100,0 99,60 195,5 8 ч 32 мин 8 ч 30 мин 20 ч 40 мин 20 ч 45 мин 20 ч 55 мин 21 ч
  99.8 99.9 99,85 196,5 8 ч 20 мин 8 ч 25 мин 20 ч 20 ч 15 мин 20 ч 32 мин 21 ч
  99,5 99,8 99,65 197,5 8 ч 25 мин 8 ч 25 мин 19 ч 19 ч 05 мин 19 ч 15 мин 19 ч 18 мин
  99.6 99.7 99,65 196 196 196,0 8 ч 30 мин При кипении 8 ч 20 мин 20 ч 10 мин из колбы сильно жидкость ** 20 ч 20 ч 35 мин выбрасывало 20 ч 20 мин
  99.5 99.6 99,55 197 196 196,5 8 ч 25 мин 8 ч 28 мин 18 ч 15 мин 18 ч 45 мин 18 ч 35 мин 19 ч
  99,5 99,7 99,60 197 197 197,0 8 ч 35 мин 8 ч 32 мин 20 ч 45 мин 21 ч 21 ч 21 ч 45 мин
'* Опыт повторить.

 

нием систем, допускающих этот метод, ибо в сложных системах он часто неприменим по существу».

Проанализируем, в чем состоит недостаток однофакторного эксперимента и почему им нецелесообразно пользоваться при ис­следовании многофакторных систем. При однофакторном экспе­рименте, варьируя одним фактором и стабилизируя все прочие на произвольно выбранных уровнях, экспериментатор получает зависимость параметра оптимизации только от одного фак­тора и определяет локальный оптимум. Далее он повторяет аналогичную процедуру для второго, третьего и к-то фактора. В результате длительной и кропотливой работы, требующей много средств и времени, опытные данные представляются десятками графиков, которые в сущности имеют иллюстративный характер.

За время эксперимента могут происходить изменения в аппа­ратуре, сырье и т. д. Все это вносит изменения в результаты


эксперимента, вследствие чего данные многих опытов являются несопоставимыми. В планировании эксперимента разработана четкая стратегия экспериментирования. Экспериментатор может минимизировать число опытов, пользуясь шаговым принципом и дробным планированием.

Имеются способы борьбы с неконтролируемым дрейфом, вы­званным изменением аппаратуры, сырья и т. п. (об этом мы рас­скажем вам в этой главе). Все это не предусмотрено в однофактор- ном эксперименте.

Давайте посмотрим, что значит однофакторный эксперимент при исследовании семифакторной системы. Итак, эксперимента­тор хочет исследовать влияние семи факторов на некоторый пара­метр оптимизации и решил проводить однофакторный экспери­мент. Длятбго чтобы построить кривую, обычно берут четыре-пять экспериментальных точек Возьмем четыре точки. Необходи­мое количество опытов при реализации всевозможных комби­наций равно N—47=16384. Совершенно ясно, что такое коли­чество опытов реализовать невозможно. Значит, эксперимента­тор произвольно отбросит очень многие комбинации и реализует небольшую часть опытов, изменяя факторы по одному при по­стоянных значениях прочих факторов. Тогда естественно возник­нет вопрос, как будут выглядеть кривые, если прочие факторы застабилизировать на другом уровне? Несомненно, кривые из­менятся. Перебрать все комбинации — значит поставить 16384 опыта.

На предыдущих страницах мы рассказывали вам о шаговом принципе исследования поверхности отклика и о дробном фактор­ном эксперименте. Все эти Приемы и^методы предлагаются экс­периментатору для разумной минимизации числа опытов.

Нам пришлось сделать довольно большое отступление. Воз­вратимся к матрице планирования.

Одновременное измерение всех факторов вносит в условия опы­тов большое разнообразие. Разнообразие увеличивается с ростом числа факторов.

"""Обратите, пожалуйста, внимание на матрицу на стр. 106 (матрица предыдущей главы). В опыте № 1 все факторы находятся на нижних уровнях. Это значит, что опыт проводится при следую­щих условиях' хг — соотношение между NaOH и диэтилкарба- миноилхлоридом 1:1; £г — соотношение между пиперазином и диэтилкарбаминоилхлоридрм i : 1] х3 — время выдержки, 3 час; £4 — температура, 20° С; £ь — время прилива диэтилкарбамино- илхлорида, 20 мин.

В опыте № 2 первые два фактора поддерживаются на верх­них уровнях, а все остальные — на нижних. В опыте № 3 на верхних уровнях находятся х3 и х4 и т. д. В последнем опыте все факторы, кроме хъ, находятся на верхних уровнях.

В результате такого многообразия условий получаются раз­личные значения параметра оптимизации. Так, наименьшее зна­чение в матрице — 45,3%', а наибольшее — 64,8%. Эта разница весьма ощутима и можно сделать вывод, что условия опыта № 5 лучше, чем условия опыта № 6.

Но всегда ли легко определить, что один опыт лучше другого? Неправильно утверждать, что условия опыта № 3 более выгодны с точки зрения величины параметра оптимизации, чем опыта № 4 (у3=48,1, у4=46,0). Экспериментаторы, вооруженные ста­тистическими методами, поступают осторожно. Они должны проверить, значимо ли отличаются результаты опытов № 3 и № 4 друг от друга. Интуитивное мнение является чрезвычайно сла­бым указанием на возможное превосходство опыта № 3. Нужны объективные оценки. Прежде всего вам должна быть известна ошибка опыта, которая может быть столь большой, что разница в выходе потонет на ее фоне. И, напротив, ошибка может иметь столь малую величину, что разница в 2,1% окажется значимой.

Если известна ошибка опыта, то значимость различий двух средних можно проверить с помощью ^-критерия (критерия Стыо- дента) по формуле

t___ Уг~ Уг

I 1 П2

где ух — среднее значение выхода в одном опыте, у2 — среднее значение выхода в другом опыте, s — ошибка опыта (рассматри­вается случай, когда ошибки для первого и второго опыта близки одна к другой), пх — количество наблюдений в первом опыте, п2 — количество наблюдений во втором опыте.

Эта формула предназначена для сравнения средних значений двух малых выборок с равными дисперсиями. Проверка значи­мости ведется по табулированным значениям i-критерия.

Так, если в нашем случае s=l, количество параллельных опы­тов одинаково и равно двум, то

t= =2,1. '/Ы -

Число степеней свободы равно п1-\-п2—2=2. Табличное зна­чение it-критерия для /=2 и 5%-ного уровня значимости равно 4,3. Это означает, что вероятность того, что при 2 степенях свободы значение величины t будет больше по абсолютной вели­чине чем 4,3, равна 0,05. Поскольку экспериментальное значе­ние t меньше табличного, то с вероятностью Р=1 — а=0,95 можно считать, что разницы между результатами двух опытов нет.

А теперь познакомимся с вычислением ошибки опыта, или, как ее часто называют, ошибки воспроизводимости.

8.3. Ошибки параллельных опытов

Каждый эксперимент содержит элемент неопределенности вследствие ограниченности экспериментального материала. По­становка повторных (или параллельных) опытов не дает полностью совпадающих результатов, потому что всегда существует ошибка опыта (ошибка воспроизводимости). Эту ошибку и нужно оценить по параллельным опытам. Для этого опыт воспроизводится по возможности в одинаковых условиях несколько раз и затем бе­рется среднее арифметическое всех результатов. Среднее арифме­тическое у равно сумме всех п отдельных результатов, деленной на количество параллельных опытов п

п

и _ Vi + Уз Ч----------- + У» _ 1________ .

У п п

Отклонение результата любого опыта от среднего арифмети­ческого можно представить как разность yq — у, где yq — резуль­тат отдельного опыта. Наличие отклонения свидетельствует об изменчивости, вариации значений повторных опытов. Для изме­рения этой изменчивости чаще всего используют дисперсию. Дисперсией называется среднее значение!квадрата отклонений величины от ее среднего значения. Дисперсия обозначается s2 и выражается формулой

„2 __ 1

П — 1 '

где (п—1) — число степеней свободы, равное количеству опытов минус единица. Одна степень свободы использована для вычис­ления среднего.

Корень квадратный из дисперсии, взятый с положительным знаком, называется средним квадратическим отклонением, стан­дартом или квадратичной ошибкой

/i

-Чггг-.

Стандарт имеет размерность той величины, для которой он вычислен. Дисперсия и стандарт — это меры рассеяния, измен­чивости. Чем больше дисперсия и стандарт, тем больше рассеяны значения параллельных опытов около среднего значения

Рассказывая о расчете среднего значения, мы употребили та­кую формулировку: среднее арифметическое равно сумме всех п отдельных результатов, деленной на количество параллельных опытов га.

Такая формулировка может вызвать у вас некоторые размыш­ления. Действительно, читатель, имеющий математико-статисти- ческую подготовку, может дополнить эту формулировку, и она будет выглядеть следующим образом: среднее арифметическое равно сумме всех п отдельных результатов, деленной на п, если они имеют нормальное распределение.

Например, наличие резко отклоняющихся результатов (так называемых грубых наблюдений) свидетельствует о нарушении закона нормального распределения. При наличии грубых наблю­дений нужно сначала их исключить, а затем подсчитывать сред­нее арифметическое и дисперсию.

Далее мы остановимся на этом вопросе подробнее.

Рамки этой книги не позволяют сделать экскурс в область ма­тематической статистики и подробно остановиться на этом во­просе. Мы можем рекомендовать вам книгу Н. Бейли «Статисти­ческие методы в биологии», где этот вопрос изложен на уровне, доступном для понимания экспериментаторов [1].

Надо всегда следить, чтобы не нарушались необходимые ус­ловия выполнения той или иной операции. Иначе вы рискуете принять абсурд за истину.

Ошибка опыта является суммарной величиной, результатом многих ошибок: ошибок измерений факторов, ошибок измерений параметра оптимизации и др. Каждую из этих ошибок можно, в свою очередь, разделить на составляющие.

Вопрос о классификации ошибок довольно сложный и вызывает много дискуссий. В качестве примера одной из возможных схем классификации мы приведем схему из книги Ю. В. Кельница «Теория ошибок измерений» (М., изд-во «Недра», 1967) (рис. 24).

Все ошибки принято разделять на два класса: систематические и случайные. Систематические ошибки порождаются причинами, действующими регулярно, в определенном направлении. Чаще всего эти ошибки можно изучить и определить количественно. Систематические ошибки находят, калибруя измерительные при­боры и сопоставляя опытные данные с изменяющимися внешними условиями (например, при градуировке термопары по реперным точкам, при сравнении с эталонным прибором). Если системати­ческие ошибки вызываются внешними условиями (переменной температуры, сырья и т. д.), следует компенсировать их влия­ние. Как это делать, мы покажем в следующих параграфах. Случайными ошибками называются те, которые появляются не­регулярно, причины возникновения которых неизвестны и кото­рые невозможно учесть заранее.

Систематические и случайные ошибки состоят из множеетва элементарных ошибок. Для того чтобы исключать инструменталь­ные ошибки, следует проверять приборы перед опытом, иногда в течение опыта и обязательно после опыта. Ошибки при прове­дении самого опыта возникают вследствие неравномерного на­грева реакционной среды, разного способа перемешивания и т. п.


Рис. 24. Компоненты ошибки измерений

 

При повторении опытов такие ошибки могут вызвать большой раз­брос экспериментальных результатов.

Как мы уже знаем, очень важно исключить иэ эксперимен­тальных^ данных грубые ошибки, так называемый брак при по­вторных опытах. Ни в коем случае, конечно, нельзя вносить по­правки самовольно, Для отброса ошибочных опытов .существуют правила.

Для определения брака используют, например, критерий Стью- дента

Значение t берут иэ таблицы f-распределения Стыодента. Опыт считается бракованным, если экспериментальное значение кри­терия t по модулю больше табличного значения.

Пример 2. Обратимей к конкретному примеру. При исследовании про­цесса квррезии четыре повторных опыта показали следующие значения скорости коррозии: 3,580, 2,370, 2,710 и 2,761 мг/см?-час.


Исключим первый опыт из расчета и'по остальным произведем вычисле­ние среднего арифметического и стандарта

. 2,370 + 2,710+ 2,761 у =-- о = 2,613;

if (—0,243)* + 0,097* + 0,1482 ,/0,090

s=eK ----------------- 3^=1--------------- = К 2 ™ 0,21.



Последнее изменение этой страницы: 2016-07-23

headinsider.info. Все права принадлежат авторам данных материалов.