Приближенное динамическое программирование отправки военно-медицинских эвакуационных средств

Approximate dynamic programming for the dispatch of military medical evacuation assets

Авторы:

Струльков Владислав Иванович

ФГБВОУ ВО «Военно-медицинская академия имени С.М. Кирова» Министерства обороны РФ, Санкт-Петербург, Россия

e-mail: strulkov.vladislav@mail.ru 

Strulkov Vladislav Ivanovich

Military Medical Academy named after S. M. Kirov of the Ministry of Defense of the Russian Federation, Saint-Petersburg, Russia

e-mail: strulkov.vladislav@mail.ru

Саянский Николай Андреевич

ФГБВОУ ВО «Военно-медицинская академия имени С.М. Кирова» Министерства обороны РФ, Санкт-Петербург, Россия

e-mail: sarody@yandex.ru

Sayanskiy Nikolai Andreevich

Military Medical Academy named after S. M. Kirov of the Ministry of Defense of the Russian Federation, Saint-Petersburg, Russia

e-mail: sarody@yandex.ru 

Томусяк Михаил Владимирович

ФГБВОУ ВО «Военно-медицинская академия имени С.М. Кирова» Министерства обороны РФ, Санкт-Петербург, Россия

e-mail: tomusyak.mkhail@rambler.ru

Tomusyak Mihail Vladimirovich

Military Medical Academy named after S. M. Kirov of the Ministry of Defense of the Russian Federation, Saint-Petersburg, Russia

e-mail: tomusyak.mkhail@rambler.ru

Аннотация: Военно-медицинские планировщики должны предусмотреть отправку средств воздушной военно-медицинской эвакуации (ВМЭ) при подготовке и проведении крупных боевых операций таким образом, чтобы приоритетные раненые на поле боя были быстро и эффективно доставлены в близлежащие медицинские учреждения. Мы формулируем модель марковского процесса принятия решений (МППР) для изучения проблемы диспетчеризации медицинской эвакуации.

Abstract: Military medical planners should consider sending airborne military medical evacuation (WEE) equipment in the preparation and conduct of major combat operations in such a way that priority wounded on the battlefield are quickly and efficiently delivered to nearby medical facilities. We formulate a model of the Markov decision-making process (MPPR) to study the problem of dispatching medical evacuation.

Ключевые слова: Военно-медицинская эвакуация, марксовский процесс принятия решений, алгоритмы приближенного динамического программирования.

Keywords: Military medical evacuation, Marx's decision-making process, algorithms of approximate dynamic programming.

Тематическая рубрика: Технические науки и технологии. 

Масштабность задачи, побудивший это исследование, предполагает, что традиционные алгоритмы точного динамического программирования не подходят. Таким образом, мы используем методы приближенного динамического программирования (ПДП) для получения высококачественных методик диспетчеризации по сравнению с текущими практиками. Применяется алгоритмическая стратегия приближенной итерации решения, которая использует временную разность методом наименьших квадратов для оценки методики.

Мы создаем репрезентативный сценарий планирования, основанный на операциях в чрезвычайных ситуациях на севере Сирии, чтобы продемонстрировать применимость нашей модели МППР и проверить эффективность предложенной нами методологии решения ПДП. Спроектированный вычислительный эксперимент проводится для определения того, как алгоритмические функции влияют на качество решений, достигаемых нашими методиками ПДП. Результаты показывают, что методика ПДП превосходит недальновидную методику (т.е. методику по умолчанию на практике) почти на 31% в отношении критерия спасательной эффективности по сравнению с базовым сценарием. Кроме того, методика ПДП обеспечивает сокращение времени отклика и коэффициента использования военно-медицинской эвакуации. Эти результаты приносят пользу военно-медицинским планировщикам, заинтересованным в разработке и внедрении тактик, методов и процедур медицинской эвакуации для применения в боевых ситуациях с высоким темпом операций.

Военно-медицинские планировщики должны предусматривать вопрос об отправке средств военно-медицинской эвакуации (ВМЭ) с воздуха при подготовке и проведении крупных боевых операций. ВМЭ включает в себя быструю транспортировку приоритетных раненых на поле боя от места ранения до ближайшего соответствующего лечебного учреждения с помощью специальных стандартных платформ ВМЭ с бортовым медицинским персоналом, оказывающим помощь в пути. Воздушные операции по медицинской эвакуации включают использование специальных вертолетов. Вертолеты хорошо подходят для операций ВМЭ из-за их способности перемещаться быстрее, дальше и иметь доступ к местности, недоступной для наземных транспортных средств.

Возможность одновременно лечить и быстро транспортировать раненых с поля боя до ближайшего лечебного учреждения значительно увеличивает вероятность выживания раненых. Специалисты по военному медицинскому планированию должны учитывать многие важные аспекты при разработке развернутой системы военной службы неотложной медицинской помощи (НМП). К таким аспектам относятся определение местонахождения подразделений ВМЭ, определение политики диспетчеризации ВМЭ и рассмотрение передислокации или перемещения подразделений ВМЭ после начала или окончания операции. На определение мест размещения средств ВМЭ для поддержки боевых действий влияет тактическая ситуация. Решения о размещении требуют баланса между максимальным охватом и минимальным временем реагирования в зависимости от ресурсов, защиты сил и материально-технических ограничений.

Решение о запуске блока ВМЭ  (т.е. отправка) по заданному служебному вызову является важным аспектом военной системы скорой помощи и находится в центре внимания этой статьи. Орган запуска ВМЭ (т. е. диспетчерский орган) обычно по умолчанию придерживается недальновидной политики, согласно которой ближайший модуль ВМЭ запускается независимо от приоритета. Возможна передислокация активов ВМЭ непосредственно в новую точку без возвращения на исходную базу подразделения; однако потребности в дозаправке и медицинском снабжении, наличие вооруженного сопровождения, проблемы со связью и ограничения по базированию экипажа часто затрудняют передислокацию, и она не часто выполняется на театре военных действий. По тем же причинам временное перемещение бездействующих средств медицинской эвакуации на другую базу также обычно не осуществляется.

В этой статье мы рассматриваем проблему диспетчеризации ВМЭ, в которой диспетчерский орган должен решить, как направить подразделения на приоритетные запросы на обслуживание. Мы разрабатываем марковскую модель процесса принятия решений (МППР) для задачи диспетчеризации медицинской эвакуации. В связи с огромным количеством различных условий и состояний классические методы динамического программирования непригодными. Таким образом, мы применяем методы приближенного динамического программирования (ПДП) для получения высококачественных способов диспетчеризации. Мы разрабатываем алгоритм приближенной итерации, который использует обучение по методу наименьших квадратов временной разницы для оценки методики. Мы определяем набор базисных функций в линейной архитектуре для аппроксимации функции ценности в состоянии после принятия решения. Чтобы продемонстрировать применимость нашей модели ПДП и проверить эффективность предложенной нами методологии решения, мы создаем условный репрезентативный сценарий, основанный на операциях в чрезвычайных ситуациях на севере Сирии. Спланированный вычислительный эксперимент проводится, чтобы определить, как алгоритмические особенности влияют на качество решений, достигаемых нашими методиками. 

МАТЕРИАЛЫ И МЕТОДЫ.

В этом разделе представлена ​​имитационная модель процесса ВМЭ, которая поддерживает проектирование и разработку высококачественных методик диспетчерской службы ВМЭ. Имитационная модель позволяет оценить политику, идентифицированную нашим алгоритмом ПДП, а также оценить недальновидную методику, обычно используемую на практике координационным центром авиационной медицинской эвакуации. Для недальновидной методики запросы ВМЭ обслуживаются в порядке убывания приоритета с политикой «первым пришел — первым обслужен» для аналогичных приоритетов. Обратите внимание, что мы также используем имитационную модель в самом алгоритме ПДП, когда мы случайным образом выбираем состояние после принятия решения и имитируем одно системное событие вперед.

В процедуре инициализации симуляция инициируется установкой часов симуляции на ноль, установкой состояния системы на все блоки ВМЭ, которые «бездействуют» на своей собственной базе и пустой очередью вызовов, и установкой статистических счетчиков на ноль. Статистические счетчики относятся к переменным, используемым для хранения информации о производительности системы, такие как время реагирования на несчастные случаи и коэффициенты использования (занятости) ВМЭ. Список событий начинается с несчастного случая. Процесс Хоукса с коэффициентом поступления λ управляет генерацией аварийных ситуаций. Процесс Хоукса моделирует ситуации, когда последующие события могут произойти в непосредственной близости от предшествующего события. В подпрограмме синхронизации следующее событие (т. е. событие k) типа ε выбирается из списка событий, и часы моделирования переводятся на соответствующее время моделирования. В случае типа события ε решение об отправке принимается в соответствии с установленной методикой отправки ВМЭ. Состояние системы и статистические счетчики обновляются соответствующим образом.

Мы генерируем будущие события и добавляем их в список событий. Чтобы получить эти будущие события, случайные переменные, отражающие время перемещения, погрузки и разгрузки операции ВМЭ, генерируются из вероятностных распределений, отражающих реальные процессы ВМЭ. Затем мы проверяем, закончилась ли симуляция, завершая симуляцию на 24-часовой отметке. Если симуляция продолжается, мы возвращаемся к подпрограмме синхронизации, чтобы определить, какое событие в списке событий произойдет следующим, и симуляция продолжается. Поток управления для имитационной модели процесса ВМЭ показан ниже.

Порядок инициализации.

1. Установить часы симуляции = 0.

2. Инициализация состояния системы.

3. Инициализировать статистические счетчики.

4. Инициализировать список событий с одним событием несчастного случая.

1. Определить следующий тип события, ε 

2. Перевод часов моделирования.

Часы моделирования.

1. Принять решение об отправке

2. Обновить состояние системы

3. Обновить статистические счетчики

4. Сгенерировать будущие события и добавить с список событий

ВЫВОДЫ.

В данной статье рассматривается проблема диспетчеризации медицинской эвакуации (ВМЭ). Целью исследования является определение методики, которая улучшит работу развернутой системы военной неотложной медицинской помощи и, в конечном счете, повысит выживаемость раненых на поле боя. Разработка марковской модели процесса принятия решений (МППР) для задачи диспетчеризации медицинской эвакуации позволяет исследовать множество различных сценариев военно-медицинского планирования. Решение МППР требует проектирования, разработки и реализации алгоритма приближенного динамического программирования (ПДП).

Исследование, представленное в данной статье, представляет интерес для специалистов по военно-медицинскому планированию и соответствующих диспетчерских органов боевого управления. Специалисты по военному медицинскому планированию могут применять эту модель и подход к решению для сравнения политики сценариев планирования со стационарными лечебными учреждениями и пунктами медицинской эвакуации. Кроме того, планировщики могут использовать модель для оценки различных потенциальных схем распределения и расположения станций ВМЭ, чтобы максимизировать общую производительность системы. Военные штабы могут использовать текущую военную разведку и оперативный опыт для определения областей, в которых вероятны потери. Как только эти области определены, планировщики могут принимать обоснованные решения о ценности каждой единицы ВМЭ и в конечном итоге добиваться более эффективного использования ресурсов.

ЛИТЕРАТУРА:

1. Гражданская оборона / под общ. ред. А.Т. Алтунина. М: Воениздат, 1980.

2. Организация оказания помощи раненым и больным в ходе их эвакуации // Никулин Н.Д. Военно-медицинский журнал 1989, №4, с. 28-29.

3. Гражданская оборона / под ред. В.И. Завьялова. М: Медицина, 1989.

4. Руководство по медицинской службе гражданской обороны // под ред. А.И. Бурназяна. - М: Медицина, 1983.

5. Военно-медицинская подготовка под ред. Кушинского М. Медицина 1975.

6. Курс лекций по курсу "Гражданская оборона" // С.Я. Разоренов Северо-Западная академия государственной службы, 1999.