Оценка качества моделей

Оценка качества является завершающим этапом работ по созданию модели операции (технической системы). Цель оценки качества модели — не столько получение конкретной числовой оценки значения некоторого показателя качества, сколько выявление того, где и как проявляются недостатки разработанной модели. Результаты оценки качества модели должны использоваться для определения направлений и способов ее совершенствования, планирования испытаний модели и для решения вопросов о возможности ее эксплуатации.
Модель системы состоит из математического описания исследуемой системы, алгоритма моделирования, программы для ЭВМ и рабочей документации. Поэтому при оценке качества модели учитывается качество каждой из перечисленных компонент.
Качество моделей оценивается по трем группам свойств: целевым, эксплуатационным и модификационным.
Целевыми называются свойства модели, характеризующие степень ее соответствия целям и задачам конкретного исследования. К целевым свойствам моделей относятся адекватность, устойчивость, точность и результативность.
Эксплуатационными называются свойства моделей систем, определяющие удобство эксплуатации модели пользователем. К ним относятся: производительность, надежность, защищенность, эргономичность, завершенность. Эксплуатационные свойства делятся на относительные (т. е. зависящие от конкретной задачи) — производительность, надежность и абсолютные (не зависящие от конкретной задачи) — защищенность, эргономичность, завершенность.
Модификационными называются свойства моделей, определяющие удобство внесения изменений в модель (в случае необходимости, например, устранения ошибок в программе), простоту модификации модели при развитии и совершенствовании исследуемой системы или при переходе на другой уровень исследования (например, при повышении степени детализации математического описания).
К модификационным свойствам относятся понятность, структуризованность, расширяемость, доступность.
Модификационные свойства не связаны с конкретной задачей (они характеризуют возможности применения модели для решения множества задач определенного класса).
Перечисленные группы свойств определяют в целом качество модели. Эти свойства оценивают иногда с помощью специальных методик.
Среди свойств, определяющих качество моделей, особое место занимает точность результатов моделирования. В частности, важной характеристикой имитационной модели, включающей в свой состав случайные факторы, является дисперсия о переменной 0, наблюдаемой в процессе машинного эксперимента (дисперсия воспроизводимости эксперимента). Точность оценки, например, среднего результата можно повысить увеличением объема испытаний (увеличением числа прогонов имитационной модели) при фиксированной дисперсии воспроизводимости. Этот путь, однако, может привести к неприемлемо большим затратам машинного времени.
Другим путем повышения точности моделирования является понижение дисперсии воспроизводимости. В практике имитационного моделирования используют оба указанных приема. Обычно стремятся уменьшить дисперсию воспроизводимости, применяя специальные методы. При фиксированном значении этой дисперсии и с учетом заданных требований к точности моделирования определяют необходимый объем испытаний.
Если меры, принятые для понижения дисперсии воспроизводимости, приводят к тому, что необходимый объем испытаний не выходит за пределы допустимого, то качество имитационной модели (в рассмотренном смысле) считают приемлемым.
Некоторые наиболее употребительные в практике имитационных исследований методы понижения дисперсии (МПД) и установления необходимого объема испытаний рассмотрены на с. 130. Совокупность этих методов обычно относят к так называемому тактическому планированию экспериментов.