Оценка масштабируемости

Тестирование проводилось с целью оценки масштабируемости прикладного решения «1С: Полиграфия» при одновременной работе большого количества пользователей.

При проведении теста применялись общепринятые подходы к оценке производительности корпоративных информационных систем:

• Использование для тестирования типового прикладного решения.
• Тестирование операций, наиболее критичных с точки зрения работы типичной организации.
• Тестирование операций при фиксированных параметрах, типичных для большинства организаций
• Программная имитация типичных сценариев работы пользователей системы, создающих нагрузку существенно превышающую нагрузку, создаваемую реальными пользователями
• Использование в качестве основных показателей объема бизнес-операций, отражаемых в системе в единицу времени, и среднего времени выполнения операции.

Условия тестирования

Оборудование

• Сервер 1С:Предприятия:
  • 2 * Intel Xeon, 3.6 GHz;
  • ОЗУ: 8 Gb (PAE);
  • Дисковая подсистема: 3 * 70 Gb SCSI диска в режиме Stripe.
• Сервер баз данных: Sun Fire V40z следующей конфигурации:
  • Процессор: 4 * AMD Opteron 850, 2.39 GHz;
  • ОЗУ: 8 Gb;
  • Дисковая подсистема: 5* 70GB SCSI ULTRA360 RAID 5.

Программное обеспечение

• 1C:Предприятие 8.2;
• MS SQL Server 2000 (SP4);
• Тестирование производилось на версии 1.3, в которой была проведена дополнительная оптимизация прикладного решения по сравнению с предыдущими версиями.

Методика тестирования

• Все тесты проводились для различного количества одновременно работающих тестовых пользователей: от 1 до 150.
• Во время тестирования выполнялась запись и оперативное проведение документа «Реализация товаров и услуг».
• Документ проводился по управленческому учету и не проводился по бухгалтерскому и налоговому учетам. Данный режим работы является типичным для большинства организаций при массовом многопользовательском вводе документов «Реализация товаров и услуг». Во время ввода документа оператор (продавец), проводит его только по управленческому учету. Затем в неоперативном режиме другой оператор (бухгалтер) осуществляет его перепроведение по остальным видам учета, добавляя и контролируя дополнительную информацию (номера счетов и т.д.). При проведении данного теста испытывался оперативный режим как наиболее критичный с точки зрения параллельной работы пользователей.
• Во время проведения система выполняла следующие действия:
  • Проверка наличия достаточного количества товара:
    - На складе
    - В собственности организации-продавца.
  • Отражение операции в следующих разделах учета:
    - Остатки товаров, фактически находящиеся на складах предприятия.
    - Остатки товаров принадлежащих предприятию.
    - Учет продаж.
    - Состояние взаиморасчетов с контрагентами.
    - Состояние прогнозируемых расчетов с контрагентами.
• Расчет себестоимости списываемых товаров при оперативном проведении не производится (в выбранном режиме используется механизм регламентного расчета себестоимости).
• Все тесты проводились для документов различного объема:
  • 5 строк;
  • 20 строк;
  • 40 строк.
• Во время тестирования каждый тестовый пользователь вводил документы с паузой 60 секунд.
• Все тесты проводились для двух разных степеней конкурентности наборов товаров у различных тестовых пользователей:
  • 0% - наборы товаров у различных тестовых пользователей не пересекаются, то есть каждый из них вводит документы со своим набором товаров.
  • 25% - каждый четвертый вводимый документ имеет одинаковый набор товаров для всех тестовых пользователей.

Показатели производительности

В процессе тестирования измерялись значения следующих показателей производительности:

• Объем информации, обрабатываемый системой в единицу времени (документов и строк документа в час).
• Среднее время записи и проведения одного документа.

Результаты тестирования

Объем информации, обрабатываемый системой в единицу времени

По результатам тестирования была построена диаграмма зависимости количества документов, обрабатываемых системой в единицу времени, от количества одновременно работающих тестовых пользователей:

• Ось X: количество активных тестовых пользователей системы.
• Ось Y: количество документов, записанных и проведенных системой за час.
• Графики диаграммы:
  • документы объемом 5 строк;
  • документы объемом 20 строк;
  • документы объемом 40 строк.

Из диаграммы видно, что объем информации, обрабатываемой системой, равномерно увеличивается с ростом количества одновременно работающих тестовых пользователей, то есть растет пропорционально создаваемой нагрузке. Количество обработанных документов практически не зависит от объема документа. Характер зависимости говорит о том, что система справляется с данной нагрузкой, и не достигла насыщения (предела пропускной способности), то есть при дальнейшем росте количества пользователей, объем информации, обрабатываемой системой в единицу времени, будет возрастать.

Следует заметить, что в ходе тестирования тестовые пользователи вводили данные с интенсивностью, существенно превышающей показатели работы реальных пользователей. При одновременной работе 150 тестовых пользователей с документами, объемом 40 строк, каждый из них в среднем ввел 51.3 документа или 2052 строки документа в час, что значительно превышает нагрузку, создаваемую реальными пользователями.

Рассмотрим эту же зависимость в пересчете на строки документа:

• Ось X: количество активных тестовых пользователей системы.
• Ось Y: количество документов, записанных и проведенных системой за час.
• Графики диаграммы:
  • документы объемом 5 строк;
  • документы объемом 20 строк;
  • документы объемом 40 строк.

При максимальной нагрузке, смоделированной в данном тесте (150 тестовых пользователей, 40 строчные документы), система обработала более 300000 строк документов в час.

Пересчитаем данные этой диаграммы на одного тестового пользователя:

• Ось X: количество активных тестовых пользователей системы.
• Ось Y: количество строк документов, записанных и проведенных одним тестовым пользователем за час.
• Графики диаграммы:
  • документы объемом 5 строк;
  • документы объемом 20 строк;
  • документы объемом 40 строк.

Из диаграммы видно, что при увеличении количества тестовых пользователей, объем информации, обрабатываемый каждым из них, уменьшается незначительно. Этот факт так же говорит о том, что система не достигла насыщения, то есть при дальнейшем росте количества пользователей, общий объем информации, обрабатываемой системой в единицу времени, будет возрастать.

Время записи и проведения документа

По результатам тестирования была построена диаграмма зависимости среднего времени записи и проведения документа от количества одновременно работающих пользователей для документов различного объема:

• Ось X: количество активных тестовых пользователей системы.
• Ось Y: Среднее время обработки (записи и проведения) одного документа.
• Графики диаграммы:
  • документы объемом 5 строк;
  • документы объемом 20 строк;
  • документы объемом 40 строк.

Среднее время записи и проведения документа возрастает при увеличении количества одновременно работающих пользователей. Увеличение времени записи и проведения документа объясняется блокировками при параллельной работе с конкурентными наборами данных, увеличением нагрузки на все программные и аппаратные компоненты системы, а так же ростом накладных расходов, связанных с обслуживанием большего количества пользователей. При данных условиях тестирования среднее время записи и проведения документа ни в одном тесте не превысило 10 секунд.

Следует учитывать, что данный показатель не соотносится напрямую с объемом информации, обработанной одним тестовым пользователем в единицу времени, а показывает только среднее время, затраченное на запись и проведение каждого документа (то есть не учитывает паузу между вводом документов).

Влияние конкурентности на производительность системы

Для оценки влияния конкурентности на производительность и масштабируемость системы были проведены аналогичные тесты для полностью неконкурентных наборов товаров.

По результатам тестирования была построена диаграмма зависимости времени обработки (записи и проведения) одного документа от количества одновременно работающих тестовых пользователей для конкурентных и неконкурентных наборов данных:

Из графика видно, что конкурентность наборов данных увеличивает время записи и проведения одного документа. Это замедление оказывается тем заметнее, чем больше нагрузка на систему. Увеличение среднего времени записи и проведения документа связано с появлением блокировок ресурсов, которые неизбежны при конкурирующих наборах данных.

В ходе тестирования проводился контроль блокировок на уровне SQL сервера. Во всех тестах на неконкурентных наборах данных задержки, связанные с блокировками ресурсов, полностью отсутствовали, то есть тестовые пользователи не блокировали друг друга. Таким образом, система продемонстрировала полностью параллельную работу при непересекающихся наборах данных. При тестировании на конкурентных наборах, то есть при пересечении документов по товарным позициям, система накладывала блокировки, соответствующие требованиям бизнес-логики.

Следует так же отметить, что во время тестирования на конкурентных наборах данных не наблюдалось конфликтов взаимной блокировки (deadlock).

Выводы

• При одновременной работе 150 тестовых пользователей система обрабатывала более 300000 строк документов в час (для документов объемом 40 строк).
• При этом тестовые пользователи вводили данные с интенсивностью, существенно превышающей показатели работы реальных пользователей. Согласно результатам опроса средняя интенсивность ввода документов реальным пользователем составляет 20 документов по 15 строк в час, что составляет 300 строк документа в час. Тестовый пользователь при работе с 40 строчными документами вводил в 6.84 раза больше данных (2052 строки в час).
• При заданных условиях тестирования система не достигла предела производительности. С ростом количества тестовых пользователей, объем информации, обрабатываемый в единицу времени будет возрастать.
• При заданных условиях тестирования среднее время записи и проведения документа ни в одном тесте не превысило 10 секунд.
• При тестировании на конкурентных данных не наблюдалось проблем связанных с параллельной работой пользователей.