ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ ГЕОФИЗИЧЕСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК. Соловьев Анатолий Александрович
1 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ ГЕОФИЗИЧЕСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК На правах рукописи Соловьев Анатолий Александрович МЕТОДЫ РАСПОЗНАВАНИЯ АНОМАЛЬНЫХ СОБЫТИЙ НА ВРЕМЕННЫХ РЯДАХ В АНАЛИЗЕ ГЕОФИЗИЧЕСКИХ НАБЛЮДЕНИЙ Специальность Геофизика, геофизические методы поисков полезных ископаемых Диссертация на соискание ученой степени доктора физико-математических наук Научный консультант академик РАН, доктор физикоматематических наук, профессор Гвишиани Алексей Джерменович Москва 2013
2 ОГЛАВЛЕНИЕ ВВЕДЕНИЕ. 5 ГЛАВА 1. Исторический экскурс и современное состояние проблемы. Постановка задачи Распознавание аномальных событий на временных рядах Краткий очерк истории развития методов поиска аномалий физических полей Действующие системы обнаружения аномалий в сейсмологии Статистические методы выделения аномалий на временных рядах Распознавание аномалий временных рядов на основе вейвлет-анализа Нейросетевой подход к анализу временных рядов Современная система наблюдений магнитного поля Земли ИНТЕРМАГНЕТ Общее описание Принципы работы и взаимодействия геомагнитного оборудования Подготовительные работы по созданию геомагнитной обсерватории Абсолютные измерения офсетным методом Расчет базовой линии и временная привязка Квазиокончательные данные Регистрация секундных данных Источники и методы оценки геомагнитной активности Воздействие солнечного ветра на геомагнитное поле Магнитосферные явления Солнечносуточная вариация Индексы геомагнитной активности Наблюдения и исследование цунами Общее описание Механизмы образования цунами Наблюдения цунами. Российская служба предупреждения о цунами Система DART Прогноз цунами Обоснование и постановка задачи диссертации ГЛАВА 2. Метод и алгоритмы дискретного математического анализа геофизических данных Базовые элементы теории нечетких множеств Основные определения Операции над нечеткими множествами Нечеткие бинарные отношения Общие принципы дискретного математического анализа Алгоритмический подход ДМА Выпрямления и их примеры Нечеткие сравнения Алгоритм распознавания выбросов на минутных данных SP (SPIKE)
3 2.4. Алгоритм распознавания выбросов на секундных данных SPs (SPIKEsecond) Алгоритм распознавания скачков JM (JUMP) Неформальная логика Нечеткие грани Нечеткая мера скачкообразности Мера аномальности Алгоритм распознавания событий на данных о цунами RTFL (Recognition of Tsunamis Based on Fuzzy Logic) Выводы ГЛАВА 3. Распознавание на магнитограммах аномальных событий техногенного происхождения алгоритмами дискретного математического анализа Техногенные сбои на магнитограммах Автоматизированное распознавание выбросов на минутных магнитограммах Постановка задачи распознавания выбросов на минутных магнитограммах (1/60 Гц) ИНТЕРМАГНЕТ Обучение алгоритма SP. Формальная схема Обучение алгоритма SP в период пониженной магнитной активности Контрольные эксперименты для оценки достоверности полученных результатов (внутренний экзамен) Обсуждение результатов обучения Экзамен алгоритма SP в период пониженной магнитной активности (внешний экзамен) Экзамен алгоритма SP в период повышенной магнитной активности Обсуждение результатов экзаменов Автоматизированное распознавание выбросов на секундных магнитограммах Постановка задачи распознавания выбросов на секундных магнитограммах (1 Гц) ИНТЕРМАГНЕТ Магнитная обсерватория на острове Пасхи. Исходные данные для распознавания Обучение алгоритма SPs Устойчивость обучения относительно выбора свободных параметров Оценка результатов обучения Экзамен алгоритма SPs Контрольный тест обученного алгоритма SPs для оценки достоверности распознавания Анализ ложных тревог Сравнение алгоритма SPs со статистическими алгоритмами выделения выбросов Автоматизированное распознавание скачков на полусекундных магнитограммах Описание магнитных данных спутника GOES (2 Гц) и постановка задачи Распознавание скачков базовой линии на спутниковых магнитограммах Выводы
4 ГЛАВА 4. Автоматизированная алгоритмическая система предварительной обработки и контроля качества магнитных данных. Российско-украинский центр магнитных данных Обоснование и постановка задачи Общее описание работы российско-украинского центра геомагнитных данных База геомагнитных данных Веб-приложения для удаленной работы с геомагнитными данными Ввод абсолютных измерений Веб-сервисы для интерактивного доступа к данным Доступ к данным и их визуализация Веб-портал центра геомагнитных данных Видео-стенд для отображения геомагнитных данных Сравнение распознавания выбросов методом F и алгоритмической системой, внедренной в центре Моделирование полной напряженности магнитного поля на территории России в режиме квазиреального времени Выводы ГЛАВА 5. Распознавание магнитной активности методами дискретного математического анализа Постановка задачи и ее обоснование Апробация меры (t) оценки геомагнитной активности в реальном времени Глобальный мониторинг геомагнитной активности в период магнитных бурь 23-го солнечного цикла Анализ бури 8-11 ноября 2004 г Анализ бури 15 мая 2005 г Обсуждение результатов анализа Сравнение с онлайн-мониторингом геомагнитной активности ИНТЕРМАГНЕТ Выводы ГЛАВА 6. Применение метода дискретного математического анализа к распознаванию аномалий на данных о цунами Обоснование и постановка задачи Автоматизированное распознавание алгоритмом RTFL сигналов P-волн и волн цунами на данных системы DART Выводы ЗАКЛЮЧЕНИЕ БЛАГОДАРНОСТИ ПРИЛОЖЕНИЯ ПРИЛОЖЕНИЕ 1. Магнитометрические измерения ПРИЛОЖЕНИЕ 2. Индексы ретроспективной оценки геомагнитной активности ПРИЛОЖЕНИЕ 3. Моделирование и картографирование магнитного поля Земли ПРИЛОЖЕНИЕ 4. Основные публикации и доклады автора по теме диссертации СПИСОК ЛИТЕРАТУРЫ
5 ВВЕДЕНИЕ Актуальность темы исследования Последние десятилетия в геофизике и смежных науках наблюдается стремительный рост объема получаемой информации о процессах, происходящих на Земле и в околоземном пространстве. Наземные сети геофизических наблюдений не только непрерывно растут, но и осуществляют переход на более высокочастотную регистрацию данных с целью удовлетворения потребностей более широкого круга научных и практических интересов. Так, переход с минутной на секундную регистрацию геомагнитных данных является одной из актуальных, трудных и обсуждаемых задач в геомагнитном сообществе. Объемы информации о Солнце, регулярно передаваемые с искусственных спутников Земли, также непрерывно растут, позволяя изучать более детально солнечную активность. Например, спутник SDO (Solar Dynamics Observatory) передает ежедневно на Землю порядка 1.5 терабайт данных о солнечной атмосфере на малых пространственно-временных масштабах и во многих длинах волн единовременно. Кроме того, происходит переход от накопленных ранее аналоговых представлений результатов измерений к цифровым. Вследствие этого возросла роль автоматизации сбора и анализа данных и математических методов их обработки. Статистика показывает, что не менее стремительно растет и количество запросов к цифровым данным. При небольших объемах данных опытному эксперту не составляет труда извлечь из них полезную информацию. Но для эффективного использования объемных массивов данных и получения на этой основе качественно новых результатов актуальной является задача создания адекватных автоматизированных методов комплексного анализа и обработки данных. В этом случае автоматизированное извлечение полезной информации должно быть формализовано, происходить единообразно и объективно. Одной из важнейших проблем современной геофизики является распознавание, изучение, классификация аномальных событий на длинных одномерных и многомерных временных рядах геофизических наблюдений. Несмотря на огромное многообразие и разнородность типов наблюдаемых рядов геофизических наблюдений эта проблема может рассматриваться в общей постановке, достаточно инвариантной к выбору того или иного типа информации. Тем самым, возникает необходимость создания общей теории и методов распознавания аномалий на рядах геофизических наблюдений различной природы. Этот общий метод должен адаптироваться к конкретному выбору типа геофизических данных в виде нетривиальной самостоятельной реализации. 5
6 Актуальной является задача распознавания и классификации различных форм сигнала на временных рядах. Эта непростая задача требует соответствующих алгоритмов детального анализа исходных данных и большого числа свободных параметров, подгоняемых в процессе настройки. Например, проблема выделения таких аномалий на временных рядах, как «спайки» (выбросы), до сих пор остается нерешенной. Помимо геофизики, эта проблема актуальна в целом ряде других дисциплин, включая медицину, радиофизику и др. Выбросы могут носить как техногенный, так и природный характер. Вероятностно-статистические методы выделения возмущений, частотно-временной анализ, вейвлет-анализ и нейронные сети являются эффективными при наличии априорной информации. Во многих случаях априорная информация об искомых возмущениях весьма ограничена и касается только общих представлений об их форме. Форма аномалии является достаточно нечетким понятием, а корреляционные свойства ее неизвестны. Поскольку природа явлений, отраженных в регистрируемых данных, априори не известна и изменчива во времени, то и методы должны быть в большой степени адаптивными. Требуются такие методы анализа временных рядов, которые бы позволяли решать задачи распознавания аномальных событий в самом общем случае. Обеспечить подобную гибкость при автоматизации распознавания аномальных событий способен эффективный учет в соответствующем методе знаний экспертов, осуществляющих анализ данных вручную. Моделирование деятельности и логики интерпретатора (эксперта) может быть достигнуто путем применения методов на базе нечеткой логики, которые были разработаны в последнее время. Одной из актуальных проблем анализа геофизических данных является распознавание физических и техногенных аномалий на рядах геомагнитных наблюдений и обнаружение всплесков магнитной активности. В то же время, крайне актуальной задачей является развитие сетей наблюдения магнитного поля Земли. Изучение состояния геомагнитного поля позволяет предотвратить такие чрезвычайные ситуации национального масштаба, как сбои в авиационной и космической навигации и радиосвязи, перегрузка линий электропередач, повреждение трубопроводов, сбои в работе ж/давтоматики и др., вызванные магнитными бурями. Непрерывная регистрация характеристик магнитного поля лежит в основе высокотехнологичных процессов освоения природных ресурсов (напр., наклонное бурение скважин), где точность данных достаточно критична. Результаты измерения магнитных аномалий в земной коре являются важной информацией, используемой при поиске полезных ископаемых и уточнении геологической истории планеты Земля. При решении всех вышеперечисленных задач необходимым условием является наличие геомагнитных данных, предварительно 6
7 очищенных от техногенных аномалий. Причинами таких аномалий на магнитограммах могут быть близость аэродромов, железных дорог, линий электропередач или других техногенных элементов, воздействующих на магнитную обстановку, резкие перепады температуры, нарушения калибровки измерительных приборов и др. Актуальной задачей является различение естественных аномалий, обусловленных физическими процессами, и техногенных аномалий. Например, разделение магнитосферных возмущений (пульсаций) от промышленных помех (электропоезда, самолеты) на магнитограммах. В обсерваторской практике такая деятельность до сих пор осуществляется вручную, что служит серьезным препятствием для адекватного использования данных и развития систем геомагнитных наблюдений. Кроме того, при стремительном росте объема данных использование единичных мер для описания характеристик наблюдаемых процессов представляется устаревшим и неэффективным. В геомагнетизме такими единичными мерами являются геомагнитные планетарные индексы. Они предназначены для оценки общей интенсивности магнитных бурь и рассчитываются по данным фиксированного набора станций. Современный этап развития сетей наблюдений требует перехода к новой парадигме в анализе геомагнитных данных, подразумевающей обработку целиком массива наблюдений на многих станциях, как единого целого. В геомагнитных исследованиях требуется введение меры комплексного анализа данных, позволяющей в единой шкале оценивать относительную магнитную активность в разных регионах Земли. Такая мера позволила бы получать мгновенные «снимки» распределения магнитной бури в каждый момент времени для изучения динамики распространения возмущений по земному шару. Методы, предлагаемые в данной работе, служат решению этой задачи. Их использование автоматизирует и существенным образом ускоряет обработку и анализ данных. Создание общей формализованной методологии обеспечивает независимость результатов обработки от субъективных факторов (напр., отличия в подходах различных экспертов к анализу данных). В то же время решается актуальная задача значительного сокращения задержки в получении обработанных данных мировым научным сообществом. Математическая формализация распознавания временных возмущений будет способствовать значительному повышению качества обработки данных геомагнитных измерений, что внесет существенный вклад в расширение и углубление знаний о магнитном поле Земли. В настоящее время главными задачами по преодолению отставания российской сети магнитных наблюдений от мирового уровня являются: 1. развитие пунктов геомагнитных наблюдений в России; 7
8 2. создание национального центра геомагнитных данных, который будет служить ядром российского сегмента ИНТЕРМАГНЕТ; 3. преобразование результатов наблюдений российских обсерваторий в окончательные данные, предоставляемые научной общественности, вместо передачи «сырых» данных в различные зарубежные центры. Диссертационная работа направлена на решение этих актуальных задач. Целью работы является развитие математических методов автоматизированной обработки данных и их применение к анализу дискретных временных рядов геомагнитных и других геофизических наблюдений. В рамках диссертации анализ временных рядов направлен на распознавание таких природных явлений, как магнитные бури, землетрясения и цунами, а также явлений, носящих техногенный характер. Кроме того, в работе решаются задачи разработки систем сбора геомагнитных данных. Методология работы основана на новом подходе, заключающемся в моделировании дискретных аналогов фундаментальных понятий математического анализа, таких как связность и монотонность, экстремум, перегиб, выпуклость и т.д. Этот подход носит название «Дискретный математический анализ» (ДМА). Диссертационная работа направлена на его применение к распознаванию и изучению аномалий на временных рядах геофизических наблюдений. Математической базой для этого являются элементы ДМА. Диссертация продолжает цикл работ школы исследователей, возглавляемой академиком А.Д. Гвишиани, к которой причисляет себя и автор. Отправной точкой такого математического моделирования служит достаточно «мягкий», в смысле создателя «нечеткой» математики Л. Заде, характер восприятия человеком свойств дискретности. Действительно, опытный исследователь, как правило, интуитивно и эффективно кластеризует, выделяет сгущения, трассирует, находит аномалии в двух- и трехмерных массивах и на временных рядах небольших объемов. Использование ДМА позволяет перенести это умение на большие размерности и большие объемы обрабатываемых данных. Основные задачи исследования 1. Создание на базе ДМА алгоритмической системы автоматизированного, адаптивного распознавания аномальных событий произвольной природы на длительных временных рядах различных геофизических наблюдений. 2. Системно-математическая и алгоритмическая реализация разработанного общего метода для распознавания аномальных событий на временных рядах минутных, секундных и полусекундных магнитограмм, зарегистрированных наземными обсерваториями и искусственными спутниками Земли. Оптимизация системы обучения и 8
9 математическая формализация критериев эффективности разработанного метода. Создание формализованного метода оценки эффективности работы алгоритмов в задаче распознавания аномальных событий техногенной природы на магнитограммах в периоды спокойного магнитного поля и повышенной активности. 3. Программно-алгоритмическая реализация метода ДМА для автоматизированного, формализованного и единообразного распознавания аномальных событий техногенной природы на магнитограммах наземных сетей наблюдений; доведение качества распознавания до уровня, сравнимого с работой эксперта вручную; сравнение созданного метода с классическими статистическими методами распознавания. 4. Разработка модели и технологической схемы функционирования межрегионального центра геомагнитных данных по обслуживанию российскоукраинского сегмента сети ИНТЕРМАГНЕТ. 5. Создание нового метода распознавания и мониторинга геомагнитной активности на основе данных всей глобальной сети наземных наблюдений с использованием ДМА и ГИС-технологий для возможности изучения динамики распространения магнитных бурь по земному шару в режиме реального времени; разработка меры, дающей оценку геомагнитной активности в различных регионах Земли в единой шкале, и ее сравнение с классическими индексами геомагнитной активности. Оценка эффективности разработанного метода в задаче внутреннего анализа сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ. 6. Реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане; применение реализованной алгоритмической системы для решения задачи распознавания на записях наблюдений системы DART-2 (глубоководная система обнаружения волн цунами) временных участков, соответствующих сигналам от подводных землетрясений (P-волн) и волн цунами; оценка работы системы с работой эксперта. Научная новизна 1. Разработан новый подход к распознаванию и изучению аномальных событий на больших временных рядах различных геофизических данных. Подход отличается универсальностью, позволяя решать широкий спектр геофизических задач. В отличие от существующих методов распознавания аномальных событий, в его основе лежит моделирование естественных рассуждений и действий человека при поиске аномалий. 9
10 2. Впервые создана автоматизированная алгоритмическая система для распознавания техногенных аномальных событий в геомагнитных измерениях с применением аппарата нечеткой логики и распознавания образов. Система по эффективности и точности превосходит соответствующие методы, которые применяются в рамках программы ИНТЕРМАГНЕТ. 3. Впервые при помощи разработанной алгоритмической системы проведено автоматизированное распознавание техногенных аномалий на секундных магнитограммах и выработаны критерии качества, применимые к секундным и полусекундным данным. 4. Применение алгоритмической системы распознавания техногенных аномалий в непрерывном режиме впервые позволяет получать окончательные данные в режиме, близком к реальному времени, вместо годовой задержки более года. 5. Разработанные алгоритмы впервые позволяют распознавать и изучать низкоамплитудные магнитные пульсации диапазона 5-45 секунд (Pc3) по совокупности секундных данных, зарегистрированных целым кластером обсерваторий на приэкваториальных широтах. 6. На базе ГЦ РАН впервые в России создан межрегиональный центр геомагнитных данных. Центр является ядром российско-украинского сегмента сети ИНТЕРМАГНЕТ, в котором развернута единая система магнитных наблюдений формата ИНТЕРМАГНЕТ. Отличительной особенностью центра является внедрение автоматизированной системы распознавания техногенных аномалий на поступающих магнитограммах. Распознавание возмущений формализовано и выполняется единообразно, что позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными узлами магнитных данных ИНТЕРМАГНЕТ. Подход к хранению данных при помощи реляционной системы управления базами данных (СУБД), реализованный в центре, также является его отличительной чертой, поскольку обеспечивает широкие возможности поиска данных, гибкость запросов любой сложности и быстроту их выполнения. Геомагнитная БД предназначена для хранения как минутных, так и секундных данных. Создание геомагнитного центра имеет фундаментальное значение, т.к. открывает возможность решения задач на большом объеме данных с большим территориальным охватом в режиме реального времени. 7. Впервые разработан метод распознавания и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли с использованием ДМА и ГИС-технологий. Метод, осуществляя распознавание, позволяет следить за динамикой распространения магнитных бурь в режиме реального времени. Оценка геомагнитной активности в различных регионах Земли дается в единой шкале. 10
11 8. На базе ДМА разработана новая мера аномальности, которая дает возможность более детального и наглядного изучения развития геомагнитной активности по сравнению с геомагнитными индексами. Мера позволяет анализировать внутреннюю тонкую структуру магнитных бурь, динамику их развития, как по всему земному шару, так и в пределах отдельных регионов. На высоких широтах, где измеряемое магнитное поле намного более изменчиво в силу воздействия внешнего магнитного поля, такое региональное изучение динамики активности становится еще более интересным. 9. Разработанный алгоритмический метод ДМА реализован для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. Созданная система впервые позволяет обнаруживать в накопленных данных события, не отраженные в имеющихся мировых каталогах землетрясений и цунами в силу их небольшой магнитуды. 10. Впервые создан и опубликован в электронном виде Атлас магнитного поля Земли (МПЗ) за гг. Атлас представляет собой унифицированный набор физических, общегеографических, тематических, в том числе исторических карт МПЗ, а также справочных (текстовых и табличных) материалов, позволяющих детально и разносторонне изучать МПЗ с 1500 по 2010 гг. Он представляет собой фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками картографируемого явления геомагнетизма. Он содержит научные результаты как исторического, так и современного состояния изучения МПЗ. Атлас не имеет ни отечественных, ни зарубежных аналогов. Основные защищаемые положения 1. Разработанное на основе математической теории ДМА новое направление в распознавании и изучении аномалий на временных рядах геофизических наблюдений позволяет создать инструментарий для решения широкого круга задач анализа геофизических временных рядов. Достоверность этого нового направления подтверждается апробацией методов на данных наблюдений МПЗ и цунами. 2. Разработанная на базе конструкции нечетких сравнений строгая формализация понятий, необходимых для анализа временных рядов: нечеткая мера аномальности, нечеткие грани и нечеткая мера скачкообразности. 3. Развитие и реализация метода ДМА для распознавания и анализа аномальных событий на наземных и спутниковых магнитных данных, формализованные критерии его эффективности и оценка достоверности результатов распознавания. 11
12 4. Новый метод определения и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли. Метод базируется на ДМА и ГИС-технологиях. Он позволяет осуществлять распознавание и следить за динамикой распространения магнитных бурь в режиме реального времени. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале. 5. Развитие и реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. Научная и практическая значимость полученных результатов В рамках алгоритмического подхода ДМА построена конструкция нечетких сравнений, позволяющая сравнивать различные характеристики объектов с учетом их относительных шкал изменений, тем самым, формализуя экспертную оценку. Такая конструкция дает нормированное представление сравнений, что позволяет в дальнейшем агрегировать их в единой шкале при помощи аппарата нечеткой логики. Иными словами, в нормированном виде появляется возможность соединять методами нечеткой логики разные точки зрения экспертов в единую, агрегированную точку зрения. На базе конструкции нечетких сравнений в рамках диссертации строго формализованы понятия, необходимые для анализа временных рядов: нечеткая мера аномальности, оценивающая в шкале от -1 до 1 степень аномальности того или иного фрагмента временного ряда на общем фоне, нечеткие грани, позволяющие выявлять наиболее характерные диапазоны изменения значений на фрагментах временных рядов, и нечеткая мера скачкообразности, оценивающая степень значительности перепада базового уровня. Созданные алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия свободных параметров. Используя конкретный набор значений параметров, алгоритмы осуществляют единообразное формализованное распознавание аномальных событий на временных рядах произвольной природы. Специфика и морфология данных при этом отражены в результатах обучения (значениях свободных параметров). Все это делает алгоритмы универсальным инструментарием, позволяющим решать широкий круг задач, связанных с анализом временных рядов и распознаванием отраженных на них аномальных событий. Разработанная алгоритмическая система распознавания аномалий техногенной природы позволяет повысить достоверность очищенных от техногенных аномалий магнитограмм, в частности, сети ИНТЕРМАГНЕТ и получать их из предварительных минутных, секундных и полусекундных записей практически без участия человека. Система дает также возможность проведения единообразного формализованного 12
13 ретроспективного анализа огромных архивов цифровых и оцифрованных магнитограмм, накопленных в Мировой системе данных Международного совета по науке (ICSU). Таким образом, улучшая качество и повышая достоверность как вновь поступающих, так и исторических исходных данных, она вносит вклад в развитие геомагнетизма. Применение созданной системы в непрерывном режиме для контроля качества магнитных данных позволяет сократить время подготовки окончательных данных с года до месяца. Основные задачи, которые требуют наличия таких данных, включают в себя краткосрочное моделирование геомагнитного поля, расчет оперативных версий индексов геомагнитной активности, оперативная оценка геомагнитной обстановки, краткосрочный прогноз магнитных бурь и др. На базе ГЦ РАН создан межрегиональный геомагнитный информационный центр по обслуживанию российско-украинского сегмента сети ИНТЕРМАГНЕТ, налажена передача данных из 14 пунктов наблюдений магнитного поля Земли. В центре внедрена автоматизированная система, предназначенная для формализованного и единообразного распознавания техногенных аномалий на магнитограммах по мере их поступления. В центре реализовано хранение данных в реляционной СУБД, обеспечивающее широкие возможности поиска данных, гибкость и быстрое выполнение запросов любой сложности. Внедрение автоматизированной системы распознавания техногенных возмущений в непрерывном режиме в российско-украинском центре магнитных данных дает возможность доступа к очищенным магнитным данным с минимальной задержкой, по мере их поступления в центр. Наряду с обработкой наземных наблюдений, созданный алгоритмический комплекс в настоящий момент также внедряется в систему спутниковых геофизических наблюдений, которую разрабатывает Институт прикладной геофизики имени академика Е. К. Федорова РОСГИДРОМЕТ. На базе поступающих в центр данных решена задача непрерывной интерполяции полной напряженности магнитного поля Земли на территории России в режиме квазиреального времени. Следует ожидать, что с ростом числа российских пунктов наблюдений магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля. Разработанная система оценки магнитной активности в приложении к поступающим в российско-украинский центр магнитным данным, которые проходят процедуру автоматизированного контроля качества и привязки к базовой линии, открывает возможность для достоверного изучения и оценки распределения магнитных возмущений по территории России и Украины в режиме, близком к реальному времени. В отличие от существующих индексов магнитной активности, предложенный метод 13
14 осуществляет оценку геомагнитной возмущенности на основе всей совокупности наземных наблюдений магнитного поля Земли. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале. Разработанные алгоритмы, примененные к секундным магнитным данным, открывают новые возможности по решению научных задач космической физики. К ним относятся оперативное распознавание и оценка солнечной активности, распознавание и изучение магнитных пульсаций в диапазоне от нескольких секунд до нескольких минут. Разработанный на базе ДМА алгоритмический комплекс RTFL (Recognition of Tsunamis based on Fuzzy Logic) успешно применен для решения задачи распознавания на записях наблюдений системы DART-2 временных участков, соответствующих сигналам от подводных землетрясений (P-волн) и волн цунами. Комплекс может быть использован для мониторинга цунами, обнаружения в накопленных данных событий, не отраженных в имеющихся мировых каталогах землетрясений и цунами и моделирования систем предупреждения о цунами. Кроме того, его компоненты в значительной степени гибки и адаптивны к другим задачам распознавания аномальных событий на временных рядах. Созданный Атлас магнитного поля Земли, включающий обширный материал, предназначен для широкого круга пользователей, представляющих различные научные и прикладные области знания. Атлас представляет собой оригинальный фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками МПЗ за период с 1500 по 2010 гг. Его преимуществом является картографическое представление материалов по геомагнетизму. Научная и практическая значимость выполненных автором исследований подтверждается тем, что часть работ, вошедших в диссертацию, проводилась при поддержке Программы фундаментальных исследований ОНЗ РАН 7, РФФИ (гранты Укр_а, а, г, б, Укр_а, НЦНИ_а, а), Программы сотрудничества между ИФЗ РАН и Парижским институтом физики Земли, Программы сотрудничества между NOAA, NESDIS, NGDC, ИФЗ РАН, ГЦ РАН и ИКИ РАН под эгидой GEOSS и Благотворительного Кауффман-Фонда. Личный вклад Все результаты, представленные в диссертации, получены автором самостоятельно или при его непосредственном участии в коллективе соавторов. В большинстве публикаций, относящихся к теме диссертации, автору принадлежала ведущая роль в постановке задачи, поиске путей решения, выполнении соответствующих расчетов и интерпретации результатов. 14
15 Апробация работы Результаты работы докладывались и обсуждались на научных семинарах ГЦ РАН, ИФЗ РАН, ИЗМИРАН, ИПГ им. академика Е.К. Федорова, ААНИИ, Парижского института физики Земли (Франция), Национального центра геофизических данных НОАА (США). Основные положения работы были также доложены на отечественных и международных семинарах и конференциях (более 30 докладов). Автор являлся приглашенным докладчиком на конференции POLAR-2011 в ИЗМИРАН (г. Троицк) и Генеральной Ассамблее Международного Союза Геодезии и Геофизики (IUGG) 2011 г. в г. Мельбурне (Австралия). Автор был награжден за лучший стендовый доклад на международной конференции CODATA Международного совета по науке (ICSU) 2012 г. в г. Тайбэе (Тайвань). Полный список семинаров и конференций включает: 9-я международная конференция INFOBALT Информационное общество: инновационные технологии для бизнеса и образования октября 2007 г. (Вильнюс, Литва); Всероссийский съезд геологов 2008 г. (Москва, Россия); Международная конференция «Итоги Электронного Геофизического Года» 2009 г. (Переславль-Залесский, Россия); IAGA 11th Scientific Assembly 2009 (Sopron, Hungary); IV Фестиваль науки 2009 г. (Москва, Россия); Всероссийский семинар «Современные информационные технологии для фундаментальных научных исследований РАН в области наук о Земле» 2010 г. (Владивосток, Россия); International Workshop Artificial Intelligence in the Earth s Magnetic Field Study. INTERMAGNET Russian Segment 2011 (Uglich, Russia); Первая и Вторая научные конференции «Базы данных, инструменты и информационные основы полярных геофизических исследований» (POLAR-2011, POLAR-2012) гг. (Троицк, Россия); XXV IUGG General Assembly Earth on the Edge: Science for a Sustainable Planet 2011 (Melbourne, Australia); The 1st ICSU World Data System Conference Global Data for Global Science 2011 (Kyoto, Japan); European Seismological Commission 33-rd General Assembly 2012 (Moscow, Russia); 23rd CODATA International Conference "Open Data and Information for a Changing Planet" 2012 (Taipei, Taiwan); IAGA 12th Scientific Assembly 2013 (Merida, Yucatan, Mexico); Partnership Conference "Geophysical observatories, multifunctional GIS and data mining" 2013 (Kaluga, Russia). В ходе подготовки диссертации были получены следующие свидетельства о государственной регистрации программ для ЭВМ: (1) Агаян С.М., Соловьев А.А. «Кристалл». Свидетельство от ; (2) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SP». Свидетельство , от ; (3) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SPs». Свидетельство от
16 Публикации По теме диссертации опубликованы 30 научных работ, из которых 20 статей в изданиях, рекомендованных ВАК РФ для публикации материалов докторских и кандидатских диссертаций, а также получены 3 свидетельства о государственной регистрации программ для ЭВМ. Структура и объем работы Диссертация состоит из введения, шести глав, четырех приложений и заключения; содержит 310 страниц машинописного текста, в том числе 146 рисунков, 31 таблицу и 44 формулы (пронумерованные); список использованной литературы составляет 163 наименования. Главы, посвященные геофизическим приложениям разработанных методов, предваряются постановкой задачи. В конце каждой главы, начиная со второй, приведены выводы. 16
17 ГЛАВА 1. Исторический экскурс и современное состояние проблемы. Постановка задачи 1.1. Распознавание аномальных событий на временных рядах Краткий очерк истории развития методов поиска аномалий физических полей В истории развития подходов к поиску и распознаванию аномалий на временных рядах можно выделить ряд этапов, характеризующихся как актуальностью текущих задач и доминирующей концепцией подхода к обработке данных, так и развитием вычислительной техники, ЭВМ. В целом зарождение основных принципов обработки данных и поиска аномалий в геофизике началось примерно в 1930-х гг. Первый этап ( гг.) характеризуется исключительно детерминированным подходом к обработке данных. В детерминированном подходе предполагается, что данные являются точно измеренными и учтёнными, и решение задачи поиска аномалий определяется полностью системой исходных значений измеренного физического поля [Никитин, 1979]. При этом неизбежными искажениями исходной информации за счет различного рода помех обычно пренебрегают. К таким методам в интерпретации геофизических данных относились графические методы (палеточные методы, метод касательных, метод характерных точек [Логачев, Захаров, 1979]), методы подбора, и по сей день применяющиеся в прикладных программах интерпретации данных. Второй этап ( гг.), начало которого было обусловлено пониманием некоторых исследователей необходимости исключения помех из измеренных данных, являлся развитием детерминированного подхода. В это время, в частности, начинают использовать приемы аналитического продолжения гравимагнитных полей в верхнее и нижнее полупространства, интенсивно развиваются методы частотного анализа, которые подготовили базу для разработки аналоговых счетно-решающих устройств. Именно на этом этапе в работах некоторых исследователей начинается формирование принципиально нового подхода к обработке геофизических данных вероятностностатистического, основанного на представлении полей в виде случайных функций. Такое представление в значительной степени приближает нас к реальным ситуациям, когда источники естественных физических полей варьируют зачастую в достаточно широких пределах, а сигналы, являющиеся объектом поиска (полезные сигналы) осложнены помехами и погрешностями наблюдений. Действительно, в случае 17
18 магнитного поля мы имеем в общем виде сложное наложение главного магнитного поля, аномального поля, солнечно-суточных вариаций и т.д., т.е. сочетание как постоянных, так и случайных составляющих. Таким образом, при вероятностно-статистическом подходе исходные данные считаются известными только частично, либо их значения недостаточно точны, результатом решения задачи здесь является уже не число и не функция, а распределение вероятностей, заданное над возможными значениями результата. Третий этап с 1963 г. по настоящее время. Характеризуется внедрением аналоговых устройств и ЭВМ в практику геофизических работ. С 1970 г. происходит отмирание аналоговой техники и повсеместное распространение получают методы цифровой обработки данных на ЭВМ. Наряду с функционально-аналитическим направлением широкое развитие приобретают вероятностно-статистические методы обработки и интерпретации геофизических данных. Проблема выделения сигналов [Никитин, 1979] включает в себя несколько задач: обнаружение, под которым понимается установление наличия сигнала, собственно выделение или измерение, состоящее в оценке параметров сигнала, в частности его местоположения, и различение нескольких сигналов. Все эти задачи неразрывно связаны и их, как правило, решают одновременно. При решении задачи выделения сигнала на фоне помех наиболее распространенной является аддитивная модель поля. Сигнал может быть представлен либо детерминированной, т. е. известной по форме и параметрам функцией, либо случайным процессом с известными или неизвестными статистическими характеристиками. Помеха вследствие многообразия создающих ее факторов, как правило, описывается случайным процесом. Анализ методов выделения геофизических аномалий указывает на большое разнообразие используемых в настоящее время приемов обработки исходных данных. Поэтому возникает необходимость в их систематизации, которая позволила бы ориентироваться при выборе того или иного приема в зависимости: 1) от характера поставленной задачи; 2) от наличия априорных сведений об изучаемых объектах; 3) от возможности использования определенного математического аппарата Действующие системы обнаружения аномалий в сейсмологии Воспользовавшись [Кедров, 2005], дадим краткий обзор реально действующих (в основном в сейсмологии) систем обнаружения аномалий. Цель этого отнюдь не исчерпывающего обзора позиционирование по отношению к включенным в обзор системам алгоритмов, построенных на базе ДМА. 18
19 Согласно [Кедров, 2005], полный цикл процедуры обнаружения аномалий на записи подразделяется на три этапа: предобнаружение, обнаружение (детектирование) и обработка обнаруженной аномалии. При этом алгоритмы выделения аномалий преимущественно основываются на сочетании статистического подхода и спектральновременного анализа СВАН - раздела статистического анализа, целью которого является исследование частотных характеристик стационарного случайного процесса с дискретным временем или временного ряда. СВАН основывается на разнородной спектральной, асимптотической и функциональной технике, которая во многих ситуациях жестко привязана к физической сущности изучаемых явлений и тем самым весьма наглядна [Прохоров, 1999]. Остановимся, кратко, на некоторых их этих систем. Система SESMO1 [Кедров и др., 2000] предназначена для обнаружения короткопериодных сейсмических аномалий в режиме реального времени во временной и частотной областях. Алгоритм использует восемь полосовых фильтров Баттеруорта, охватывающих с перекрытием всю полосу частотной характеристики аномалии. В этом алгоритме используется трехкомпонентный поляризационный анализ. АРСС-модели [Кушнир и Мостовой, 1990]. Этот тип алгоритмов обнаружения аномалий основан на использовании адаптивных и согласующих фильтров. Алгоритм такого детектора строится на основе авторегрессионного описания (АРСС-модели) сейсмических аномалий и помех. Фильтрация состоит в непрерывном анализе шума. Соответственно делается прогноз характера данных, которые должны быть зарегистрированы в последующий момент. Если накопленный на текущий момент времени прогноз о шумах не сбывается, то делается предположение, что зарегистрирована полезная аномалия. Максимальное правдоподобие [Кушнир и Мостовой, 1990]. Сложными для использования в режиме реального времени являются методы обнаружения аномалий, основанные на использовании фильтров максимального правдоподобия. В этом случае обнаружение проводится с учетом непрерывного оценивания в режиме реального времени спектральных свойств шума. При этом накладывается условие, что параметры аномалии либо неизвестны, либо известны, но недостаточно полно. Распознавание с обучением [Harjes and Joswig, 1985]. Для обнаружения локальных и региональных аномалий малой амплитуды из интересующего района производится СВАН-анализ аномалий, и по их совокупности составлялся набор характерных масок. Обнаружение новой аномалии из данного района производится путем ее сопоставления с имеющимися масками. Делается это по величине когерентности на нескольких уровнях по мощности сигналов. 19
20 Нейронные сети [Romeo, 1994]. Другой подход - моделирование возможностей исследователя с помощью специально построенной нейронной сети. Сеть представляет собой многослойный перцентрон. В качестве входных параметров в нем использовались средние абсолютные значения спектральных амплитуд сейсмических колебаний в девяти частотных полосах. На выходе обнаруженные аномалии классифицируются на локальные, региональные, телесейсмические и помехи двух типов [Гвишиани и др., 2008а] Статистические методы выделения аномалий на временных рядах В разведочной геофизике [Никитин, 1979; Никитин, 1986] зачастую процесс поиска аномалий на данных имеет место уже после предварительных процедур обработки, позволяющих их выделение. Наиболее успешно выделяются аномалии, отличающиеся от фонового значения поля по частотным или корреляционным свойствам. Так, например, в достаточно часто встречающейся задаче выделения локальных составляющих поля используется фильтрация. Методы поиска аномалий в рамках вероятностно-статистического подхода, основанные на фильтрации, обычно реализуются при наличии априорной информации о форме самих аномалий и об их корреляционных характеристиках (закон распределения поля, дисперсия). К концу 60-х годов прошлого века была разработана компьютерная технология извлечения дисперсионных кривых и других характеристик поверхностных волн из цифровых сейсмограмм, получившая название Многоканальная фильтрация. Но эта методика грешила систематическими ошибками в измерениях дисперсии в условиях, когда амплитудный спектр сигнала быстро изменялся с частотой. В работах А.В. Ландера, А.Л. Левшина и В.Ф. Писаренко [Ландер и др., 1973; Levshin et al., 1972] были предложены методы преодоления этих недостатков и создана новая процедура Спектрально-временной анализ (СВАН). Различные варианты методов СВАН успешно применяются в геофизике, например, [Dzienovski, 1969; Ландер и др., 1973; Кедров и др., 1998; Кедров и Кедров, 2006]. С целью выделения скрытых периодичностей из наблюдений сейсмичности и других геофизических полей В.Ф. Писаренко предложил регулярный метод оценки параметров гармоник (амплитуды, фазы, частоты), не связанный с поиском минимума в многомерном пространстве [Писаренко, 1973, 1974; Pisarenko, 1972]. Методика спектрального анализа высокой разрешающей способности, предложенная в этих работах, была в дальнейшем обобщена и усовершенствована и способствовала появлению новых методов высокой разрешающей способности. 20
21 Одним из наиболее простых методов выделения аномалий на основе фильтрации является осреднение сигнала и последующий вычет осредненного поля из исходного. Данный метод требует сведений о частотном составе выделяемых аномалий. Применение сглаживающего фильтра Колмогорова-Винера связано с представлением аномалий в виде случайных процессов. Реализация этого фильтра требует задания автокорреляционной функции аномалии и помехи или их энергетических спектров [Аронов, 1970; Никитин, 1979]. Весовая функция такого сглаживающего фильтра определяется либо путем решения системы линейных уравнений h R ( m i) R ( m) i f af где h i - весовая функция фильтра; Rf ( m i) корреляционная матрица исходных значений поля, построенная для соответствующей автокорреляционной функции; Raf ( m ) функция взаимной корреляции желаемого сигнала, описываемого случайным процессом, с исходным полем [Никитин, 1979], либо путем преобразования Фурье частотной характеристики фильтра, равной отношению энергетических спектров и имеющей вид: Ws ( ) H( ) W ( ) W ( ) s где Ws ( ) и W ( ) соответственно, энергетические спектры сигнала и помехи. n Выбор автокорреляционных функций аномалии и помехи зависит от конкретного типа данных и общей формы аномалий. Так, в гравиразведке в качестве автокорреляционных функций использовались кривые гауссова типа. Оценка качества фильтра Колмогорова Винера характеризуется величиной среднеквадратической погрешности, вычисляемой либо через автокорреляционные функции аномалии и исходного поля, либо через энергетические спектры аномалии и помехи. Фильтрация эффективна при выделении сильных аномалий (т.е., таких, наличие которых не вызывает сомнений), однако широко распространённым явлением является трудность визуального обнаружения аномалии (в этом случае аномалию можно называть слабой). Наиболее эффективно задача выделения слабых аномалий может быть решена на базе математического аппарата теории статистических решений, обеспечивающей максимальное извлечение полезной информации путем вычисления апостериорных вероятностей наличия аномалии. Результаты наблюдений некоторого физического поля вдоль профиля (либо на временной оси) F = представляют сумму аномалии а ( х ) и помехи n ( х ). Помеху считаем эргодическим, стационарным процессом нормального типа с нулевым средним и дисперсией σ 2. Требуется установить наличие 21 n
22 аномалии, т.е. определить, является ли поле суммой аномалии и помехи, т.е. f( х ) = а ( х ) +n ( х ), или н ет, т. е. f( х ) = n ( х ). Т аким о браз ом, ср авниваются д в е статистические гипот ез ы H 1 и H 0 : при наличии аномалии выполняется гипотеза H 1, при ее отсутствии гипотеза H 0. Задача обнаружения аномалии в указанной формулировке состоит в нахождении функции правдоподобия наблюдаемых значений поля соответственно при наличии (гипотезаh 1 ) и отсутствии (гипотеза H 0 ) аномалий. Функции правдоподобия (условные плотности вероятностей [Вентцель Е.С., 1969]) имеют вид, соответственно, p( F H1) и p( F H 0). Далее по ним находится коэффициент правдоподобия p( F H ) p( F H ) 1. 0 Е сли 1, принимается решение о наличии аномалии, если 1, то об отсутствии аномалии, т. е. порог принятия решения 0 1. П о форм ул е Бей еса от коэффициента правдоподобия можно перейти к вычислению вероятности гипотезы о наличии аномалии. При равных априорных вероятностях гипотез H 1 и H0 p 1 p 0 0,5 имеем p( H1 F) / ( 1), и правило принятия решения будет таковым: при p( H1 F) 0,5 есть аномалия, в противоположном случае нет. В случае некоррелированной помехи нормального типа с нулевым средним и дисперсией σ 2 коэффициент правдоподобия будет представлять собой сумму энергетического отношения сигнал/помеха и свёртки, обеспечивающей фильтрацию исходных данных. При вычислении коэффициента правдоподобия для каждого наблюденного значения поля можно получить его распределение на временной оси или на линии наблюдений. Так строится алгоритм обнаружения, описанный А.Г. Тарховым и проанализированный в [Никитин, 1979]. В этом алгоритме обнаружения аномалии, полученном на основе применения теории статистических решений, с одной стороны, обеспечивается оптимальная фильтрация исходных данных, т. е. процесс выделения аномалии, с другой стороны возможность вычисления апостериорной вероятности наличия аномалии, т. е. извлечение максимума информации. Однако следует иметь в виду, что при этом требуется наличие априорной информации как о форме и параметрах аномалии, так и о дисперсии помех. Форма и протяженность аномалии, подлежащей обнаружению, могут быть выбраны либо исходя из теоретических представлений об аномальном объекте, либо по расчетным данным. Таким образом, алгоритм обнаружения работает на детерминированных аномалиях. 22
23 Используя критерий правдоподобия, можно построить и алгоритм обнаружения аномалии с неизвестными параметрами аномалии (амплитудой, протяженностью и местоположением) [Никитин, 1979; Никитин, 1986]. Вышеописанные методы выделения возмущений являются эффективными при наличии априорной информации. Однако в практике анализа обсерваторских магнитограмм (как и практике выделения возмущений на временных рядах любой природы вообще) задача выделения возмущений имеет несколько иную специфику, поскольку объектом поиска в первую очередь являются возмущения искусственного (техногенного) происхождения [Богоутдинов и др., 2010]. При этом выделение выбросов производится экспертами вручную. Характеристики того или иного возмущения при этом определены только на основе общих представлений о данной разновидности возмущений (см. определение выброса в [Богоутдинов и др., 2010]). Таким образом, здесь, в отличие от разведочной геофизики, исследующей аномалии физических полей, источниками которых являются неоднородности геологической среды, мы имеем весьма ограниченную априорную информацию об искомых возмущениях, касающуюся только общих представлений об их форме. Таким образом, в этом отношении данная задача аналогична задаче выделения аномалий в условиях минимума априорной информации о них. В работе [Никитин, 1979] под термином «минимум априорной информации» понимается отсутствие сведений о форме аномалии и ее корреляционных свойствах. В данном случае форма аномалии (т.е., форма выброса) является достаточно нечётким понятием, а корреляционные свойства её неизвестны. Поэтому требуется такой алгоритм анализа поля, который бы позволял решать задачи выявления аномалий в самом общем случае. Здесь перспективными для обнаружения и классификации аномалий следует считать самонастраивающиеся (адаптивные) процедуры обработки. Под самонастройкой понимается «приспособляемость» алгоритма обработки к изменению свойств аномалий (их формы и параметров) и помех (дисперсии, корреляционные свойства) непосредственно в процессе обработки. С точки зрения теории обработки сигналов в различных областях техники важное место занимает задача разладки сигнала. Если считать сигнал случайным процессом, то под разладкой случайного процесса будем понимать скачкообразное изменение его свойств (обычно описываемых какими-либо параметрами), происходящее в неизвестный момент времени или не происходящий вовсе [Курбаналиев, Ташлинский, 2011]. Задачей обнаружения разладки является установление факта разладки, и если считается, что разладка произошла, то также оценивание момента разладки. Часто ввиду полного отсутствия априорной информации статистического характера и наличия только 23
24 некоторой оценки самого сигнала применение классических статистических алгоритмов поиска разладки затруднительно. Возникает вопрос, как с помощью этих оценок восстановить незашумленную форму сигнала и возможно ли такое сделать. Будем считать, что исследуемый сигнал сильно зашумлен. Тогда в нашем распоряжении имеется конечная выборка L 2 (0,2 ), которую можно считать последовательностью гауссовских случайных величин с одинаковой дисперсией σ 2 >0 и средними i 0 при i 1и i 1 приi, где - неизвестный момент времени изменения средних случайных величин y i. Пусть имеются в распоряжении две оценки сигнала, полученные посредством псевдоградиентной адаптации [Цыпкин, 1995]. одна оценка получена при оценивании сигнала слева направо (от начала сигнала до его конца), а другая справа налево (от конца к началу). Алгоритмы оценивания при использовании релейных процедур принимают вид: l l l i i1 i i1 r r l i i1 i i1 yˆ yˆ sgn y yˆ, yˆ yˆ sgn y yˆ, где параметр подбирается экспериментально. На рис.1.1, а, показаны три графика: исходная выборка, оценки от начала к концу и от конца к началу. Рассмотрим сечение выборки в некоторый произвольный момент времени. Для непрерывного сигнала в выбранном сечении возможно бесконечное множество значений его уровня. Поэтому выберем дискретные значения с некоторым шагом, определяемым требуемой точностью оценивания. Тогда набор значений данного сеченияys j, где j 1 ys 1 соответствует нижнему значению сечения, а ys n верхнему. В каждом сечении найдем псевдоградиент целевой функции, например, среднего квадрата или модуля разности. Оценку исходного сигнала в данной точке выберем по минимуму модуля псевдоградиента. Для уменьшения объема вычислений верхний и нижний предел сечения целесообразно связать с оценками сигнала, выполненными слева направо и справа налево. В приведенном примере нижняя граница соответствует оценке слева направо, а верхняя справа налево. Обработав указанным способом все сечения, получим оценку неизвестного процесса n y t (рис.1.1, б). Таким образом, предложенный способ позволяет обнаружить не только факт и момент разладки высокочастотного сильно зашумленного сигнала, но и с высокой степенью достоверности оценить его форму. Стоит отметить, что подобного рода возмущения характерны для магнитограмм и являются скачками базовой линии. 24
25 Рис Реализация случайного процесса (а) и его оценка (б) (1 исходная выборка, 2 оценка от начала к концу, 3 оценка от конца к началу) Распознавание аномалий временных рядов на основе вейвлетанализа Рассматривая современный этап развития методов распознавания образов на временных рядах, нельзя не упомянуть возможности вейвлет-анализа сигналов, подхода, развивающегося с середины 1980-х гг. [Астафьева, 1996] и нашедшего применение в самых разных задачах распознавания образов от радиотехники и геофизики до медицины (например, [Jouck, 2004]) и биологии. Вейвлет-преобразование было рассмотрено Гроссманом и Морле [Grossman, Morlet, 1984] как альтернатива преобразованию Фурье для исследования временных и пространственных рядов с выраженной неоднородностью. В отличие от преобразования Фурье, локализующего частоты, но не дающего временного разрешения процесса, вейвлет-преобразование, обладающее самонастраивающимся подвижным частотно-временным окном, одинаково хорошо выявляет как низкочастотные, так и высокочастотные характеристики сигнала на разных временных масштабах. По этой причине вейвлет-анализ часто сравнивают с "математическим микроскопом", вскрывающим внутреннюю структуру существенно неоднородных объектов [Козлов, Чен, 2002]. Вейвлет-преобразования позволяют выявлять все локальные особенности функций, сигналов и изображений с привязкой их ко времени или координатам пространства. Указанная универсальность и обеспечила вейвлет-анализу широкое использование в самых различных областях знаний, включая геофизику (напр., [Баранов, 2007]). Подобно тому, как в основе аппарата преобразований Фурье лежит единственная it функция w() t e порождающая ортонормированный базис пространства L (0,2 ) путем 2 масштабного преобразования, так и вейвлет-преобразование строится на основе 25
26 единственной базисной функции () t, принадлежащей пространству L 2 ( ), т.е. всей числовой оси. Базис одномерного дискретного вейвлет-преобразования (ДВП) [Грибунин, 2007] строится на основе вейвлета () t посредством операций сдвигов и растяжений вдоль оси t. Т.о., вейвлет-преобразования заключаются в разложении сигнала s(t) по базису, сконструированному из обладающей определенными свойствами функции (вейвлета) () t посредством масштабных изменений и переносов: k s( t) C ( t). k k Каждая из функций этого базиса характеризует как определенную пространственную (временную) частоту, так и ее локализацию в физическом пространстве (времени). При конструировании базисной анализирующей функции () t должны выполняться следующие необходимые условия: 1) локализация базисной функции вблизи нуля аргумента и во временном, и в частотном пространстве; 2) нулевое среднее ( ( t) dt 0, как следствие, вейвлет должен быть знакопеременной функцией); 3) ограниченность ( () t 2 k dt ). Вейвлет должен быть достаточно быстро убывающей функцией временной (пространственной) переменной. Непрерывное вейвлет-преобразование (НВП) строится аналогичным образом с помощью непрерывных масштабных преобразований и переносов вейвлета () t с произвольными значениями масштабного коэффициента a и параметра сдвига b. Вейвлетпреобразование обратимо для функций пространства L 2 ( ). В основе непрерывного вейвлет-преобразования лежит использование двух непрерывных и интегрируемых по всей оси t (или х) функций: вейвлет-функции () t с нулевым значением интеграла ( t) dt 0, определяющей детали сигнала и порождающей детализирующие коэффициенты; 26
27 аппроксимирующей функции () t с единичным значением интеграла ( t) dt 1, определяющей грубое приближение сигнала и порождающей коэффициенты аппроксимации. Функции () t и () t уточняются итерационным методом, каждый шаг которого соответствует определенному уровню декомпозиции и реставрации сигнала. Аппроксимирующие функции () t присущи не всем вейвлетам, а только тем, которые относятся к ортогональным. Детализирующая функция () t создается на основе базисной функции () t 0, которая также определяет тип вейвлета. Базисная функция должна обеспечивать выполнение двух основных операций: смещение по оси времени t : ( t b) 0 при b ; масштабирование: 1 2 t a 0 a при a 0, где a параметр, определяющий ширину этого пакета; b его положение. Следующее выражение задает оба этих свойства вейвлет-функции () t : 1 ( ) (,, ) 2 tb t a b t a 0 a. В общем случае вейвлет-коррекция для выбранного базиса (например, вейвлетов Хаара, Добеши, симлетов и др.) включает: 1) выбор уровня аппроксимации j; 2) выбор глубины разложения N и нахождение коэффициентов разложения can, cdn, cdn 1,, cd1, определяющих приближение функции f( x ) заданном масштабе; 3) восстановление исходной функции f( x ) при помощи обратного дискретного вейвлет-преобразования с использованием полученных коэффициентов разложения:. f ( x) a ( x) d ( x) d ( x) j N, k j N, k j N, k j N, k j 1, k j 1, k k k k Высокочастотная (детальная) часть характеризует высокочастотную в вертикальном направлении составляющую. Низкочастотная часть (приближение или аппроксимация) содержит информацию о низких в вертикальном направлении частотах [Смоленцов, 2005]. в 27
28 Выбор того или иного класса анализирующих функций диктуется спецификой задачи, тем, какую информацию нужно извлечь из сигнала. В ряде случаев с помощью различных вейвлетов можно более полно выявить особенности анализируемого сигнала. Спектр вейвлет-преобразования одномерного сигнала представляет поверхность в трехмерном пространстве. Обычно изображение спектра выполняется путем проектирования линий постоянного уровня поверхности на плоскость с переменными: параметрами сдвига (по оси абсцисс) и масштабом (по оси ординат), с градиентной заливкой оттенками серого цвета между линиями (см. рис. 1.2). Рис Пример результата вейвлет-преобразования сигнала. Сигнал - сумма синусоиды и случайных данных. В работе [Любушин, 2007] методы вейвлет-анализа применяются к исследованию геофизических временных данных различной природы и различных временных масштабов. Сейсмические, электротеллурические, климатические, метеорологические данные были изучены автором с применением разработанных им методик совместного анализа данных. Созданные методы имеют многофункциональный характер и применяются для решения достаточно широкого круга задач в частности, задач поиска новых предвестников сильных землетрясений. Широко используемым вейвлет-методом выделения «спайков» и скачков базового уровня является WTMM Wavelet Transform Maxima Modulus [Mallat, Hwang, 1992]. Например, в [Jouck, 2004] он используется для анализа кардиограмм. Также в качестве приложений вейвлет-анализа в распознавании сигналов можно привести анализ рядов событий течения Эль-Ниньо и изменений индекса Южного колебания, где вейвлет-анализ позволил выявить периодические компоненты процессов и временные масштабы, на которых данные имеют автомодельную структуру [Астафьева, 1996]. Исследование временных рядов отклонений температуры от среднемесячных значений по результатам измерений на метеорологической станции Фрунзе (Бишкек) за период гг. [Козлов, 2002] позволяет высказать предположение, что динамическим системам, какой, в частности, является климатическая, присущи скрытые внутренние характеристики, статистически воспроизводимые на различных временных масштабах. Следует отметить 28
29 эффективность выявления аномалий на временных рядах методами вейвлет-анализа на временных промежутках различной длины Нейросетевой подход к анализу временных рядов В связи с ростом хранимых, упорядоченных во времени, данных о характеристиках объектов, процессов и систем в промышленности, экономике, медицине, образовании, социологии расширяются возможности анализа и прогнозирования количественных и качественных изменений этих характеристик, а также их носителей. Систематическое и комплексное исследование тенденций развития процессов на основе анализа временных рядов, извлеченных из хранилищ и баз данных, является сферой профессиональной деятельности специалистов различного профиля. Технологии баз данных создают новые возможности извлечения знаний из временных рядов баз данных для специалистов при решении задач анализа процессов: 1) по качественной оценке текущего и будущего состояния исследуемого процесса, 2) по обнаружению типичных и аномальных типов событий, 3) по выявлению имевших место качественных изменений. Одним из направлений, обеспечивающим «интеллектуальную» поддержку специалистов по решению новых задач анализа временных рядов баз данных, являются методы анализа временных рядов с применением нейронных сетей. В нейросетевом подходе задача прогнозирования временных рядов формулируется как задача распознавания образов, для решения которой формируется обучающая последовательность данных временного ряда, и нейронная сеть обучается распознавать соответствующие образы [Ярушкина и др., 2010]. Искусственные нейронные сети (ИНС) это вычислительные модели, построенные по принципу организации и функционирования биологических нейронных сетей. ИНС представляют собой систему соединенных и взаимодействующих между собой простых процессоров (искусственных нейронов). Важная особенность ИНС состоит в возможности параллельной обработки информации и способности к обучению и обобщению накопленных знаний. Широкое распространение нейронных сетей в разных областях объясняется тем, что во многих случаях формализация процедур решения сложных задач в экономике, медицине, технике, военном деле зачастую оказывается очень трудоемкой, либо невозможной. Основной элемент нейронной сети это формальный нейрон, осуществляющий операцию нелинейного преобразования суммы произведений входных сигналов на весовые коэффициенты: 29
30 n y F( w x ) F( WX ), i1 где X ( x1, x2. x ) T n вектор входного сигнала, (. ) вектор весовых коэффициентов, W w1 w2 w n i F функция нелинейного преобразования. Способности нейронной сети к прогнозированию ВР напрямую следуют из ее способности к обобщению и выделению скрытых зависимостей между входными и выходными данными. После обучения сеть способна предсказать будущее значение уровня временного ряда на основе нескольких предыдущих значений. Моделирование временного ряда в рамках нейросетевого подхода сводится к задаче наилучшей аппроксимации нелинейной функции от многих переменных по набору примеров, заданных историей временного ряда. Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения одно из главных преимуществ нейронных сетей перед традиционными численными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами при минимизации среднеквадратичного отклонения ошибки. В процессе обучения нейронная сеть способна выявлять сложные нелинейные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке. Нейронные сети используются как для классификации сигналов и изображений, для обнаружения объектов определённого типа. Кроме того, что любая обученная МНС в некоторой мере может определять принадлежность образов к своим классам, её можно специально обучить надёжному детектированию определённых классов. В этом случае выходными классами будут классы принадлежащие и не принадлежащие к заданному типу образов. Нейронные сети применяются так же для извлечения ключевых характеристик изображения, которые затем используются для последующей классификации. Основная область применения нейронных сетей исследование двумерных и трёхмерных объектов, однако их успешно можно применять и для анализа временных рядов, где нейросетевой подход практически не имеет недостатков, в отличие от анализа изображений и трёхмерных объектов [Брилюк, Старовойтов, 2006]. Примеры использования искусственных нейронных сетей для решения задач моделирования и прогнозирования временных рядов рассмотрены в работе [Козадаев, 2008]. 30 i
31 Итак, нейронные сети являются результативным инструментом моделирования и прогнозирования временных рядов, распознавания возмущений заданной формы на временных рядах, позволяющим снизить требования к квалификации пользователя. Стоит отметить, что поэтапное развитие методов поиска и распознавания аномалий заданной морфологии на временных рядах обусловлено не только успехами математической теории обработки сигналов, методов распознавания образов, развитием вейвлет-анализа и нейронных сетей совместно с развитием вычислительной техники, но и сменой подходов исследователей к описанию моделей сигнала. От детерминированного подхода, применимого только в случае точного определения искомых возмущения на временных рядах, в дальнейшем был совершен переход к более реалистичному вероятностно-статистическому подходу, позволяющему считать исходные данные неточными, рассматривать их как случайные процессы, что позволило применять к обработке данных статистические алгоритмы анализа сигналов. В настоящее время большое развитие получили методы с использованием нечёткой логики, направленные уже на моделирование деятельности интерпретатора (эксперта) и являющиеся весьма эффективным подходом, позволяющим учесть его логику Современная система наблюдений магнитного поля Земли ИНТЕРМАГНЕТ Общее описание Наиболее точную и оперативную информацию о магнитном поле Земли предоставляет международная сеть наземных обсерваторий ИНТЕРМАГНЕТ ((INTERMAGNET International Real-time Magnetic Observatory Network) [Kerridge, 2001] (рис. 1.3). Сеть обсерваторий ИНТЕРМАГНЕТ, осуществляющих наблюдения магнитного поля Земли, была основана в 1987 г. и функционирует под эгидой Международной ассоциации по геомагнетизму и аэрономии [ Впервые за историю создания подобных глобальных сетей основополагающей идеей была регистрация геомагнитных наблюдений в непрерывном режиме и на постоянной основе [Kerridge, 2001]. Прежде организация всемирных геофизических наблюдений всегда носила временный характер. Например, множество геофизических обсерваторий, созданных в рамках Международного геофизического года МГГ в конце 50-х гг. [Chapman, 1959] (рис. 1.4), просуществовало всего 2 3 года. Основное назначение сети включает производство наблюдений, а также сбор, хранение, распространение и научный анализ данных о геомагнитном поле в оперативном режиме. Мировая сеть 31
32 ИНТЕРМАГНЕТ непрерывно растет, на данный момент она включает в себя более 110 обсерваторий [ (рис. 1.3). Рис Карта обсерваторий ИНТЕРМАГНЕТ с указанием их кодов по состоянию на август 2010 г. Рис Карта обсерваторий МГГ с 1957 по 1959 гг. [Allen et al, 1985]. На рис. 1.5 графически приведена динамика роста числа обсерваторий сети ИНТЕРМАГНЕТ и динамика роста объема базы данных, измеренного в данных за сутки. 32
33 Рис Динамика роста обсерваторий и накопленных данных ИНТЕРМАГНЕТ. По горизонтальной оси года, по вертикальной количество обсерваторий ИНЕТРМАГНЕТ (слева) и объем суточных данных 10 5 (справа). Динамика территориального покрытия сети ИНТЕРМАГНЕТ по частям света показана на рис Рис Динамика территориального покрытия сети ИНТЕРМАГНЕТ (слева) и территориальная принадлежность обсерваторий на 2011 г. (справа) по частям света. По сути, ИНТЕРМАГНЕТ представляет собой свод стандартов, охватывающих все этапы обсерваторских наблюдений и позволяющих получать измерения высочайшего качества. К ним относятся требования к конструкции павильонов, векторным и скалярным магнитометрам, изменчивости базовой линии (не более 5 нтл в год), нормам работы на обсерватории (напр., минимум одно абсолютное измерение в неделю) и многое другое. Работоспособность большинства обсерваторий обеспечивается национальными правительствами, некоторые функционируют при поддержке университетов, и лишь немногие при поддержке частных компаний [Love, 2008]. Предварительные (preliminary), необработанные данные геомагнитных наблюдений из обсерваторий в течение 72 часов поступают в 5 узлов сбора данных (Geomagnetic Information Node GIN), 33
34 расположенных в городах Эдинбург (Великобритания), Голден (шт. Колорадо, США), Киото (Япония), Оттава (Канада) и Париж (Франция) [St-Louis, 2008]. На рис. 1.7 приведена динамика запросов к базам данных ИНТЕРМАГНЕТ. Из графика видно, что со временем наблюдается рост интереса к предварительным, необработанным данным. Рис Динамика запросов к базам данных ИНТЕРМАГНЕТ в количестве загруженных суточных данных за год. Предварительные данные отображены красным, окончательные синим, все данные черным. На данный момент Российский сегмент представлен пятью обсерваториями в поселке Борок (BOX) [Chulliat and Anisimov, 2008] (рис. 1.8), городах Иркутск (IRT), Новосибирск (NVS), Магадан (MGD) и Якутск (YAK). Регистрация данных о магнитном поле Земли осуществляется в виде временных рядов. Обсерватории расположены по всему земному шару и каждая из них обладает оборудованием, необходимым для цифровой регистрации абсолютных значений трех компонент и модуля вектора магнитного поля Земли в точке [Jankowski and Sucksdorff, 1996; Turner et al., 2007]. Согласно стандартам ИНТЕРМАГНЕТ, минимальный комплект оборудования включает в себя: 1. Феррозондовый магнитометр на немагнитном теодолите (деклинометр/инклинометр) для измерения абсолютных значений магнитных склонения и наклонения; 2. Скалярный протонный магнитометр для измерения абсолютного значения полной напряженности магнитного поля Земли; 3. Векторный феррозондовый магнитометр (вариометр) для измерения вариаций компонент магнитного поля Земли; 34
35 4. Система сбора и регистрации данных (аппаратно-программный комплекс), поступающих с векторного и скалярного магнитометров в непрерывном режиме. Рис Павильоны для электромагнитных измерений в Геофизической обсерватории «Борок» (код IAGA BOX). Дом для абсолютных измерений первый справа, дом для измерения вариаций первый слева [Chulliat and Anisimov, 2008]. Векторный феррозондовый магнитометр предназначен для мониторинга вариаций компонент вектора магнитного поля. Как правило, векторные данные выражаются либо в декартовых компонентах X (север), Y (восток) и Z (вниз), либо в горизонтально-полярных компонентах: горизонтальная интенсивность H = (X 2 + Y 2 ) 1/2, склонение D = arctan (Y/X) и Z (вниз) [Love, 2008; Jankowski and Sucksdorff, 1996]. Формально, склонение это угол направления горизонтальной компоненты H магнитного поля. Качественно работающая обсерватория производит данные с небольшим дрейфом в точности измерений: обычно такой дрейф составляет менее 20 нтл ежегодно. Однако, ионосферные и магнитосферные исследования, а также картографирование глобального магнитного поля за длительный срок требуют более точных данных. В связи с этим, на современной обсерватории также установлен магнитометр, основанный на протонной прецессии, для измерения абсолютного значения полной напряженности магнитного поля F = (X 2 + Y 2 + Z 2 ) 1/2. На обсерватории также установлен зафиксированный теодолит с интегрированным на телескопе феррозондовым магнитометром (деклинометр/инклинометр). Примерно раз в неделю работник обсерватории, используя деклинометр/инклинометр, производит серию измерений для получения значений магнитного склонения D и магнитного наклонения I = arctan(z/h). Эти абсолютные значения магнитных углов используются в дальнейшем для калибровки данных, полученных вариометром, с целью компенсации долгосрочного дрейфа. Окончательные данные (definitive), прошедшие обработку, имеют абсолютную точность выше 5 нтл, что позволяет проводить содержательный анализ магнитных вариаций на различных временных масштабах [Love, 2008]. Обработанные окончательные данные подготавливаются сотрудниками обсерваторий и узлов сбора данных и становятся доступными для мирового научного сообщества с задержкой более 1 года с момента их 35
36 регистрации. Ежегодно независимая группа экспертов осуществляет проверку регистрируемых данных. Предварительные и окончательные данные доступны на сайте ИНТЕРМАГНЕТ по адресу Каждый год руководство ИНТЕРМАГНЕТ устраивает рабочие встречи, где обсуждаются такие вопросы как новые стандарты для обсерваторий, анализ новых заявок на участие в сети и их соответствие принятым стандартам, принципы обработки и передачи накопленных данных, перспективы развития узлов сбора данных и т.д. На встречи также приглашаются представители отдельных обсерваторий Принципы работы и взаимодействия геомагнитного оборудования Измерения магнитного поля феррозондовым магнитометром (fluxgate sensor) основываются на нелинейном соотношении между индуцирующим и индуцированным магнитным полем в таких материалах как ферромагнетики. Обычно устройство состоит из двух идентичных катушек намотанных на параллельные ферромагнитные сердечники, причем соединение катушек таково, что индуцированные магнитные поля в сердечниках находятся в противофазе. Переменный ток, протекающий по катушкам подбирается так, чтобы сердечники полностью намагничивались в точности за полупериод колебаний. Если имеется постороннее магнитное поле, ориентированное вдоль сердечников, то насыщение магнетизации будет происходить быстрее в одном полупериоде и медленней в другом. Далее чувствительный к сдвигу фаз датчик покажет разность фаз индукционных и накачивающих токов. Важно отметить, что эффект связан с сонаправленностью магнитного поля и сердечников, то есть измерение магнитного поля дает лишь проекцию на направление [Turner et al., 2007]. Отсюда вытекает возможность измерения компонент вектора, в частности одновременного измерения (рис. 1.9). Рис Феррозондовый магнитометр модели IPGP VM391, установленный в Геофизической обсерватории «Борок» [Chulliat and Anisimov, 2008]. 36
37 Соответствующий датчик может быть расположен так, что сердечники катушек параллельны какой-либо настраиваемой оси (оптической оси немагнитного теодолита в случае деклинометр/инклинометра) или вертикальной плоскости, проходящей через отвес (в случае вариометров с подвешенным датчиком) [Jankowski and Sucksdorff, 1996]. Идея скалярного измерения магнитного поля (измерения интенсивности поля) основана на том, что для протона спиновый момент L и магнитный момент M параллельны, их отношение (в фиксированной системе единиц) называется протонным гиромагнитным отношением. При включении внешнего магнитного поля, магнитный момент возмущается, стало быть, изменяется проекция параллельного ему спина, возникает то, что в квантовой механике называется Ларморовская прецессия протона, методы измерения частоты этой прецессии были разработаны более полувека назад. Величина этой (быстро затухающей) прецессии связана с интенсивностью возмущающего магнитного поля, что и дает метод «протонной прецессии» для измерения интенсивности. Достижимая здесь точность порядка 0.1 нтл. Эффект Оверхаузера состоит в некоторой модернизации указанной технологии: вначале с помощью частот накачки, можно переводить спины электронов в высокоэнергетическое состояние, в так называемый электронный магнитный резонанс. При этом в целом атоме возникает поляризация, которая усиливает прецессию. Речь идет здесь о достаточно кратковременных процессах, поэтому все измерения повторяются с некоторой частотой (килогерцы), задаваемой внешним источником. Таким образом, достигается точность порядка 1 пикотеслы, но по сравнению с обычным протонным прецессионным магнитометром (PPM) датчик, основанный на эффекте Оверхаузера, может использоваться менее продолжительное время (обычно 5 лет) [Turner et al., 2007]. Совместное использование феррозондовых датчиков в вариометрах и инклинометрах а также абсолютных датчиков направлено на то, чтобы все компоненты магнитного поля были бы измерены в хорошо определенном базисе. При этом инклинометр/деклинометр (рис. 1.10) используется для привязки к геодезическим осям (для этого и нужен теодолит), подвешенный датчик вариометра дает измерения с хорошо определенной вертикальной осью но оба они нуждаются в абсолютной калибровке, для чего используется скалярный магнитометр. Блок сбора данных, представляющий собой специально разработанный компьютер и программное обеспечение, необходим для оцифровки, сохранения и архивации данных, регистрируемых вариометром в непрерывном режиме. Данные, накопленные за сутки, ежедневно должны отправляться из блока сбора данных в центральный узел сбора данных ИНТЕРМАГНЕТ. Набор этих 37
38 инструментов является минимально необходимым для оборудования магнитной обсерватории [Turner et al., 2007; Chulliat et al., 2009а]. Рис Интерьер дома для проведения абсолютных измерений при помощи деклинометра/инклинометра на базе теодолита [Chulliat and Anisimov, 2008]. Местная съемка геомагнитных вариаций по пространству достигается одновременным использованием одного зафиксированного скалярного магнитометра и градиометра, состоящего фактически из двух одинаковых скалярных магнитометров. В результате принимаются решения о пригодности выбранных мест для создания обсерваторий ИНТЕРМАГНЕТ по результатам местной магнитной съемки Подготовительные работы по созданию геомагнитной обсерватории Перед установкой геомагнитного оборудования требуется проведение тщательной работы по выбору подходящего места для размещения каждой обсерватории. Геомагнитные обсерватории устанавливаются для работы в течение длительного времени. Одна из их основных задач состоит в регистрации геомагнитного векового хода. В рамках этой задачи, десять или даже сто лет считается коротким временем. Поэтому, выбор места для обсерватории является крайне важной задачей: изменения магнитных характеристик в окрестности не допустимы. Магнитные свойства в зоне планируемой обсерватории должны быть изучены тщательно заранее. Магнитные карты местности дают лишь общее впечатление о магнитной однородности запланированной области. Но местная съемка с разрешением в метры обязательно должна быть проведена в месте строительства 38
39 помещений, так как мелкомасштабные вариации также могут иметь значительные градиенты [Turner et al., 2007; Chulliat et al., 2009а]. Местная съемка геомагнитных вариаций по пространству достигается одновременным использованием двух протонных магнитометров, один из которых зафиксирован, а второй перемещается по прямоугольной сетке, узлы которой расположены приблизительно через 1 метр или меньше. В частности следует выбирать область так, чтобы горизонтальные и вертикальные градиенты оказались менее 1 нтл на метр. Среди требований к территории обсерватории выделим те, которые связаны не просто с магнитной съемкой на местности, но со стабильностью магнитных характеристик во времени. Нестабильность может быть связана, например, с возвратными токами, так например, геомагнитные наблюдения в Брорфельде (Дания, код обсерватории ИНТЕРМАГНЕТ BFE) выявили скачки 6 нтл по горизонтальной компоненте поля и 3 нтл по вертикальной компоненте. Косвенный источник этих скачков проходящий в значительном удалении кабель по которому течет постоянный ток в 1500 А из Центральной части Европы в Скандинавию. Обычно такие кабели содержат лишь фазовый провод, так что возвратные токи передаются через заземление. Подобный эффект в более скромных масштабах например наблюдается вблизи тех железных дорог РФ, где задействованы электровозы постоянного тока. Важный фактор составляют пиковые нагрузки именно они индуцируют возвратные токи большой мощности, при этом предсказать собственно район, где можно будет наблюдать магнитные эффекты этих возвратных токов по-видимому невозможно при современных технологиях. Поэтому проверка стабильности градиентов во времени должна быть проведена непосредственно [Turner et al., 2007]. Поскольку морская вода хорошо проводит электричество, возвратные токи более интенсивны в морях и соленых водоемах вообще, косвенным следствием является то, что магнитные обсерватории в прибрежной зоне будут значительно лучше фиксировать вариации, связанные с этими токами. Таким образом, в приморской зоне строительство обсерваторий (включающих анализ базовой линии для системы вариометров) нежелательно. Необходимое удаление от объектов, продуцирующих магнитное поле железные дороги, мощные линии энергопередач постоянного тока в целом оценивается десятками километров, но в каждом случае точнее можно будет сказать только после детальной магнитной съемки на местности, проверки ее стабильности во времени: только смена 39
40 энергонагрузки на электрические сети выявляет изменения градиента [Chulliat et al., 2009а]. В дополнение к магнитным свойствам зоны обсерватории, следует принимать в расчет многие другие факторы: например, обсерватории, обслуживаемые людьми, должны располагаться не слишком далеко от цивилизации, иначе они не смогут привлечь к себе квалифицированный персонал. С другой стороны, обсерватория должна оставаться достаточно далеко от возмущений, производимых людьми. Деятельность, связанная со строительством зданий, сложно предсказуема на десятилетия или столетия вперед, однако необходимо стараться учесть и это. В любом случае, для обсерватории должна быть отведена довольно большая территория радиусом порядка 300 м, отмеренным от помещения для абсолютных измерений и как минимум на расстоянии 1 км от ближайшей железной дороги. Если железная дорога электрическая, расстояние должно составлять несколько километров, а в случае поездов на постоянном токе десятки километров, в зависимости от проводимости земли Абсолютные измерения офсетным методом Абсолютные измерения производятся на обсерватории в «абсолютном» павильоне примерно 1-2 раза в неделю при помощи одноосевого феррозондового магнитометра, установленного на немагнитном теодолите, и скалярного магнитометра [Jankowski and Sucksdorff, 1996]. Абсолютные измерения заключаются в определении абсолютных значений склонения D abs, наклонения I abs и полной напряженности F abs магнитного поля в заданной точке («абсолютный» пиллар) в географической системе координат. По ним вычисляются также горизонтальная и вертикальная компоненты H abs и Z abs : H F cos I, (1.1) abs abs abs Z F sini. abs abs abs Офсетный метод абсолютных измерений заключается в измерении погрешностей при восьми положениях теодолита, перпендикулярных магнитному вектору. При измерении склонения D эти положения находятся в горизонтальной плоскости, и они перпендикулярны горизонтальной компоненте H: 1. Сенсор сверху, теодолит направлен на восток; 2. Сенсор снизу, теодолит направлен на запад; 3. Сенсор снизу, теодолит направлен на восток; 4. Сенсор сверху, теодолит направлен на запад. 40
41 При измерении наклонения I положения находятся в вертикальной плоскости, и они перпендикулярны полному вектору F: 5. Сенсор сверху, теодолит направлен на север; 6. Сенсор снизу, теодолит направлен на юг; 7. Сенсор снизу, теодолит направлен на север; 8. Сенсор сверху, теодолит направлен на юг. Наблюдателем находится положение теодолита 1, близкое к перпендикуляру компоненте H. Далее положения 2-4 последовательно устанавливаются путем вращения теодолита на 180 о либо в вертикальной, либо в горизонтальной плоскостях. Аналогично происходит в случае положений 5-8 для измерения I. При каждом из положений регистрируются значения с датчика магнитометра M(i), i=1,,8. Они представляют собой значения проекции вектора на ось сенсора магнитометра. Эти значения, как правило, малы, поскольку сенсор во всех положениях почти перпендикулярен вектору. Введем следующие обозначения: A ref азимут миры; A mark угол в шкале теодолита в горизонтальной плоскости, соответствующий азимуту миры; PDD угол в шкале теодолита в горизонтальной плоскости, при котором начинается измерение склонения D, т.е. соответствует положению 1; PDI угол в шкале теодолита в вертикальной плоскости, при котором начинается измерение наклонения I, т.е. соответствует положению 5. При этом угол в горизонтальной плоскости выставляется на PDD-90 o ; F abs (i) абсолютное значение F, полученное на абсолютном пилларе в момент i-го измерения, i=1,,8; PDDerr(i), i=1,,4 угол в шкале теодолита, недостающий до перпендикулярности теодолита компоненте H при измерении D в положениях 1,,4; PDIerr(i), i=1,,4 угол в шкале теодолита, недостающий до перпендикулярности теодолита вектору F при измерении I в положениях 5,,8. Сначала вычисляются PDIerr(i) по формулам: M( j) PDIerr( i) arcsin, i 1. 4, j 5. 8. Fabs ( j) Поскольку в теодолите углы в вертикальной плоскости отсчитываются от зенита, для I имеем среднюю ошибку в виде: PDIerr (1) PDIerr (2) PDIerr (3) PDIerr (4) PDIerr. 4 41
42 Смена знаков в числителе компенсирует тот факт, что при перевороте сенсора через зенит в вертикальной плоскости, или при повороте сенсора на 180 о горизонтальной плоскости происходит смена знака в показаниях датчика магнитометра. Таким образом, окончательная формула для I abs : Iabs PDI PDIerr. Для D средняя ошибка рассчитывается с использованием полученного I abs. Сначала вычисляются PDDerr(i): в как Mi () PDDerr( i) arcsin, i 1. 4, Habs () i где H abs (i) абсолютное значение H в момент i-го измерения (i=1,,4), рассчитанное H ( i) F ( i)cos( I ). abs abs abs Таким образом, в случае D средняя ошибка будет PDDerr (1) PDDerr (2) PDDerr (3) PDDerr (4) PDDerr, 4 а D abs будет рассчитываться по формуле: D PDD PDDerr 90 A A. 0 abs ref mark В данной формуле ( PDD PDDerr ) отражает искомый угол, перпендикулярный к H в шкале теодолита, 0 ( PDD PDDerr 90 ) угол в шкале теодолита, соответствующий направлению H, ( A A ) разница между известным азимутом и соответствующим показанием ref mark теодолита в горизонтальной плоскости, которая используется для приведения шкалы теодолита к шкале реальных углов в горизонтальной плоскости Расчет базовой линии и временная привязка Базовая линия После получения абсолютных значений компонент поля в точке расположения абсолютного пиллара встает задача привязать вариационные измерения компонент вектора магнитного поля к этим абсолютным значениям. Задача осложняется тем фактом, что измерение трех компонент поля при помощи векторного магнитометра осуществляется вдоль осей, не совпадающих с осями географической системы координат 42
43 (рис. 1.11). Это обстоятельство обусловлено естественной погрешностью при физической установке прибора. Рис Ориентация векторного магнитометра относительно географической системы координат в горизонтальной плоскости. dx и dy непрерывные измерения вариаций горизонтальных компонент (северной и восточной) векторным магнитометром. В измерениях, полученных феррозондовыми векторными магнитометрами, иногда наблюдается дрейф, обусловленный либо температурными вариациями, либо старением блока электроники. Для периодической калибровки векторного магнитометра и компенсации возможного наклона пиллара, на котором установлен магнитометр, регулярно производятся абсолютные измерения компонент вектора магнитного поля. Полученные абсолютные значения используются для расчета калибровочной кривой, которая называется базовой линией [Peltier and Chulliat, 2010]. На векторных магнитометрах FGE диапазон измерения dx, dy (рис. 1.11) и dz составляет 10 В, при этом 10 В примерно соответствует 3895 нтл. C учетом того, что абсолютные значения компоненты X обычно лежат в пределах первых десятков тысяч нтл, появляется необходимость в уточнении некоторого квазипостоянного слагаемого X 0 (рис. 1.11). X 0 называется значением базовой линии компоненты X, а его уточнение происходит при каждой новой серии абсолютных измерений. В результате абсолютных измерений также уточняются значения базовых линий D 0 (рис. 1.11) и Z 0 для склонения и вертикальной компоненты соответственно. Непрерывные векторные измерения из обсерваторий публикуются в географической системе координат. Для того, чтобы установить взаимосвязь между 43
44 векторными и абсолютными измерениями, которые осуществляются в географической системе координат, вводятся следующие формулы: H X dx dy 2 2 abs ( 0 ), dy dy dy Dabs D0 arcsin D0 arctan D0 arctan, H 2 2 abs X 0 dx Habs dy (1.2) Z Z dz, abs F F df, abs 0 0 где dz и df непрерывные измерения вариаций вертикальной компоненты векторным магнитометром и полной напряженности поля скалярным магнитометром. По формулам (1.2) вычисляются значения базовой линии X 0 (нтл), D 0 (град), Z 0 (нтл) и F 0 (нтл) для горизонтальной северной компоненты, склонения, вертикальной компоненты и полной напряженности соответственно. Эти значения соответствуют полученным абсолютным измерениям собой сплайны, построенные по X 0, D 0, Z 0 и F 0. D abs, I abs и F abs. Сами базовые линии представляют Временная привязка абсолютных значений и значений базовой линии Полученному значению положениях i=1,,4, а полученному значению измерений M(i) в положениях i=5,,8. D abs присваивается среднее время T D измерений M(i) в I abs присваивается среднее время T I F abs рассчитывается как среднее по четырем значениям F abs (i), i=5,,8, и полученному значению присваивается время T I. Согласно формуле (1.2) для расчета X 0 и D 0 требуется значение H abs. Поскольку H abs рассчитывается через F abs (1.1), то H abs присваивается также время T I. Для расчета X 0 согласно формуле (1.2) значения dx и dy также берутся за момент времени T I. Тем самым, X 0 присваивается время T I. Аналогично, значению Z 0 присваивается время T I. В случае D 0 ситуация выглядит не так однозначно. Как было отмечено ранее, соответствует время используются значения T I, однако при расчете D 0 по формуле (1.2), помимо H abs H abs, D abs и dy. В этом случае берутся значения D abs и dy за момент времени T D, и D 0 также присваивается время T D. Максимальные колебания H abs за день составляют примерно 50 нтл/день, само значение составляет примерно нтл, а dy, как правило, принимает значения в пределах 100 нтл. Таким образом, в слагаемом 44
45 dy arcsin H abs пренебречь. в формуле (1.2) расхождением по времени между dy и H abs можно Квазиокончательные данные Как было сказано выше, на магнитных обсерваториях производятся два типа данных: предварительные данные, доступные в течение 72 часов в случае обсерваторий ИНТЕРМАГНЕТ, и окончательные данные, доступные не чаще, чем раз в год. В окончательных данных учтена поправка на изменения базовой линии, в то время как предварительные данные не скорректированы должным образом. Последние служат материалом для изучения быстрых вариаций поля, обусловленных внешними источниками. Многие пользователи и группы исследователей нуждаются в непрерывном доступе к данным, скорректированным относительно базовой линии. Основные задачи, которые требуют наличие таких квазиокончательных (quasi-definitive) данных, включают в себя моделирование геомагнитного поля и расчет индексов геомагнитной активности. Так, глобальные модели разложения современного поля по сферическим гармоникам обычно основываются на совокупности данных, полученных со спутников [Lesur et al., 2008; Olsen et al., 2009] и на обсерваториях. Полностью откалиброванные данные со спутников Oersted и CHAMP [ становятся доступными в течение нескольких дней после ввода в эксплуатацию. Годовая задержка в подготовке окончательных обсерваторских данных тем самым мешает строить модели текущего магнитного поля Земли. По той же причине ограничена пригодность обсерваторских данных для расчета и проверки модели Международного эталона геомагнитного поля (International Geomagnetic Reference Field IGRF), осуществляемые каждые пять лет [Macmillan and Maus, 2005; Наличие квазиокончательных данных также позволило бы улучшить качество оперативных версий геомагнитных индексов, таких как Dst. В работе [Peltier and Chulliat, 2010] предложен оригинальный метод для подготовки квазиокончательных данных в конце каждого календарного месяца, используя временные базовые линии. Для апробации метода использовались предварительные и окончательные данные девяти обсерваторий ИНТЕРМАГНЕТ за 2008 г. (рис. 1.12). Ежемесячные квазиокончательные данные за 2008 г., полученные предложенным методом, сравнивались с официальными окончательными данными за тот же период. Полученные временные базовые линии оказались очень близки к окончательным, хотя за интервалы 45
46 нескольких дней в конце каждого месяца наблюдались некоторые расхождения. Тем не менее, средние значения и среднеквадратические отклонения разницы между квазиокончательными и окончательными данными не превышали 0.3 нтл. Такой показатель полностью удовлетворяет соответствующий стандарт точности ИНТЕРМАГНЕТ, допускающий вариативность базовой линии в 5 нтл за год. Этот результат демонстрирует перспективность оперативной подготовки квазиокончательных данных на большинстве обсерваторий типа ИНТЕРМАГНЕТ. Рис Расположение девяти обсерваторий, на которых испытывался метод расчета квазиокончательных данных. Алгоритм расчета квазиокончательных данных после окончания месяца М года Г (далее М/Г) выглядит следующим образом: 1. Предварительная обработка данных, заключающаяся в удалении выбросов и скачков на предварительных минутных или секундных данных; 2. Расчет временной базовой линии за период с 1 декабря года (Г-1) по последнее число М/Г. При расчете используются абсолютные измерения, проводимые минимум один раз в неделю согласно требованиям ИНТЕРМАГНЕТ. Для аппроксимации разницы между абсолютными измерениями и показаниями вариометра используется сглаживание кубическими сплайнами; 3. Расчет квазиокончательных данных с поправкой на базовую линию, полученную на втором шаге, за период с 1 января года Г по последнее число М/Г и их окончательная проверка экспертом. Контроль качества включает в себя визуальную проверку временных базовых линий и удаление на них выбросов, проверку связности между полученными квазиокончательными данными и окончательными данными за предыдущий год, оценку разности между скалярными данными и модулем вектора поля, рассчитанным по 46
47 векторным данным, а также визуальную проверку всех компонент на разных временных масштабах. Используя описанный подход, рассчитываются двенадцать последовательных массивов квазиокончательных данных за год Г. При этом, каждый последующий массив заменяет предыдущий. Впрочем, в работе [Peltier and Chulliat, 2010] показано, что ко многим обсерваториям применима модификация этого метода, при которой на третьем шаге рассчитываются квазиокончательные данные только за М/Г. Полученные таким образом базовые линии немного отличаются от окончательных базовых линий за 2008 г., которые были опубликованы на INTERMAGNET DVD. Однако было установлено, что разница между опубликованными окончательными и квазиокончательными данными не превышала 1 нтл. На рис показаны окончательные и построенные последовательно временные базовые линии, относящиеся к обсерваториям BOX и TAM. Рис Отображение временных базовых линий H 0, D 0 и Z 0, которые рассчитывались каждый месяц для обсерваторий BOX и TAM. Красным цветом показана окончательная базовая линия. Крестиками помечены абсолютные измерения. Для лучшей читаемости вертикальная шкала для каждой компоненты и каждой обсерватории индивидуальна. 47
48 Для оценки качества квазиокончательных данных был осуществлен статистический анализ разницы между построенными последовательно массивами минутных квазиокончательных данных и окончательными минутными данными за 2008 г. девяти магнитных обсерваторий, перечисленных выше. Для всех обсерваторий и средние значения, и среднеквадратичные отклонения этой разницы составляли очень малые значения (менее 0.05 нтл на CLF, LZH, MBO, до 0.3 нтл на BOX), что укладывается в порог 5 нтл стандарта точности данных ИНТЕРМАГНЕТ. Наибольшие среднеквадратичные отклонения, наблюдаемые, например, в феврале на обсерватории BOX (рис. 1.14), в июне на KOU, или в декабре на PPT, относятся к месяцам, за которые окончательная базовая линия сильно искривлена [Peltier and Chulliat, 2010]. Рис Изменение среднего значения и среднеквадратичного отклонения (представлены в виде планок погрешностей) разницы (в нтл) между квазиокончательными и окончательными минутными данными по компоненте X девяти выбранных обсерваторий за 2008 г.. Среднее значение и среднеквадратичное отклонения за месяц n рассчитывались по всем данным с января по месяц n. Для лучшей читаемости вертикальные шкалы подобраны индивидуально для каждой обсерватории. 48
49 Регистрация секундных данных На сегодняшний день, согласно стандартам ИНТЕРМАГНЕТ, регистрация данных осуществляется с частотой 1/60 Гц. При этом, сами измерения, как правило, производятся с большей частотой (напр., 1/5 Гц или 1 Гц). Таким образом, при фильтрации и оцифровке наблюденных данных предполагается поминутное усреднение [St-Louis, 2008]. Однако ряд обсерваторий уже осуществляет регистрацию данных с частотой 1 Гц [Chulliat et al., 2009а, 2009б; Worthington et al., 2009]: так, например, обсерватория Kakioka (KAK) в Японии производит секундные данные в непрерывном режиме с 1983 года [Love, 2008]. В ближайшее время в рамках стандарта ИНТЕРМАГНЕТ планируется повышение частоты регистрации до 1 Гц, что повлечет за собой модернизацию оборудования на многих обсерваториях и узлах сбора данных сети. На сегодняшний день магнитные обсерватории ИНТЕРМАГНЕТ предоставляют оцифрованные минутные данные. Двадцать лет тому назад, когда была образована сеть ИНТЕРМАГНЕТ, распространение таких данных представляло собой существенный прорыв по отношению к аналоговым, часовым данным, которые были все еще единственным видом наблюдений на многих обсерваториях. Тем не менее, в 2003 г. участники ИНТЕРМАГНЕТ пришли к выводу, что обсерваториям необходимо развиваться в направлении регистрации секундных данных для соответствия другим наземным сетям (таким как IMAGE, CANOPUS, GMC и др.) и магнитным спутникам (таким как Ørsted и CHAMP), которые к тому моменту уже на постоянной основе осуществляли регистрацию и распространение секундных данных. Опрос пользователей, проведенный председателем исполнительного комитета ИНТЕРМАГНЕТ Дж. Ловом в 2005 г. [Love, 2005], помог оценить потребности научного сообщества, нуждающегося в секундных магнитных данных, и приступить к переходу на секундную регистрацию данных. Наибольшая потребность в секундных данных исходит от космофизиков, изучающих быстрые вариации внешнего происхождения, такие как УНЧ-волны (напр., [Uozumi et al., 2000]) и внезапные импульсы (напр., [Chi and Russell, 2005]). Например, пульсации Pi2 могут быть использованы для распознавания начала суббурь (напр., [Kennel, 1996]). Учитывая глобальное географическое покрытие обсерваториями [Love, 2008], сеть ИНТЕРМАГНЕТ крайне эффективно дополнила бы региональные наземные сети путем предоставления секундных данных в изолированных местах, не покрытых региональными сетями. Появится также возможность по-новому взглянуть на долгосрочные изменения ионосферы и магнитосферы, используя наземные секундные данные, поскольку обсерватории представляют собой устойчивую инфраструктуру, 49
50 способную функционировать в течение десятилетий. Эти данные представляют собой ценность и для научного сообщества в области геомагнетизма, исследующего ионосферные магнитные поля, такие как Sq-поле и экваториальный электроджет (напр., [Manoj et al., 2006]). Спутники, предназначенные для магнитных измерений, такие как CHAMP [ летают по квазиполярной орбите на скорости примерно 7 км/с. Тем самым, они покрывают расстояние около 420 км за промежуток времени между двумя последовательными минутными измерениями, осуществляемыми на близлежащих обсерваториях. При этом ширина экваториального электроджета составляет около 600 км. Таким образом, синхронизированные наземные и спутниковые данные внесут большой вклад в понимание пространственно-временных характеристик ионосферных токов, таких как экваториальный электроджет. Сегодня все больше обсерваторий осуществляют регистрацию секундных данных, и в рамках ИНТЕРМАГНЕТ ведется работа по реализации возможности распространения этих данных в режиме квазиреального времени. Однако по-прежнему, главной проблемой перехода на секундный стандарт остается сложность очистки предварительных данных от техногенных аномалий. При секундной регистрации количество техногенных возмущений на магнитограммах становится несравнимо большим, чем в случае минутной регистрации. В огромной мере возрастает вероятность ошибок и субъективного подхода экспертов. Это делает преобразование предварительных данных в окончательные крайне затруднительным, а иногда и невозможным. Опрос пользователей, проведенный Дж. Ловом в 2005 г. [Love, 2005], позволил выявить ряд требований к секундным данным, отражающих всеобщее мнение: Разрешение данных должно составлять 10 птл, абсолютная точность данных не имеет значения; Каждое измерение должно быть центрировано на секунде всемирного времени (UT) при временной точности около 10 мс. Некоторые пользователи отметили необходимость в повышенной временной точности (1 мс) в целях изучения распространения волн; Секундные данные должны быть получены путем фильтрации данных, зарегистрированных с более высокой частотой, при помощи цифрового фильтра, например, гауссовского фильтра с предельной частотой между 0.3 и 0.5 Гц. 50
51 Эти требования впоследствии были утверждены ИНТЕРМАГНЕТ. Требование, связанное с разрешением данных, было повышено до 1 птл на ежегодной встрече в г. Голдене (шт. Колорадо, США) в 2008 г. Другое требование, которое возникло в результате опроса пользователей и последующих дискуссий, было связано с тем, что шумовой спектр магнитометра не должен превышать спектра геомагнитного сигнала на частотах между 0 и 1 Гц. Однако спектр геомагнитного сигнала резко убывает с частотой, и его типичное значение составляет 1пТл/ Гц на частоте 1 Гц. Тем самым, подобное требование становится невыполнимым для большинства (если не всех) существующих феррозондовых магнитометров, у которых собственный приборный шум принимает более высокие значения на частоте 1 Гц. Для полного удовлетворения данного требования должны быть разработаны новые, малошумящие феррозондовые магнитометры [Chulliat et al., 2009б] Источники и методы оценки геомагнитной активности Воздействие солнечного ветра на геомагнитное поле Говоря о солнечно-земных связях, необходимо сразу подчеркнуть, что существуют два канала передачи энергии от Солнца к Земле электромагнитное и корпускулярное излучения. Первое из них считается основным: именно по нему к Земле поступает основная доля энергии Солнца на каждый квадратный метр земной поверхности приходит около 1.37 квт/с. Этот поток энергии лежит преимущественно в видимом и инфракрасном диапазонах длин волн и отличается постоянством его изменения не превышают долей процента, благодаря чему он даже носит название солнечная постоянная. Достигая Земли за 8 мин, поток, который поглощается в основном атмосферой и поверхностью Земли, играет важную роль в атмосферной погоде. Электромагнитное излучение в ультрафиолетовом и рентгеновском диапазонах претерпевает значительные изменения при развитии активных процессов на Солнце. Потоки энергии в названных диапазонах крайне малы даже когда во время сильнейших солнечных вспышек поток рентгеновского излучения возрастает на три порядка, суммарный поток энергии остается на шесть порядков меньше солнечной постоянной [Ермолаев, Ермолаев, 2009]. Если основной поток солнечного излучения в видимом и инфракрасном диапазоне необходим для существования биосферы, то солнечное рентгеновское и ультрафиолетовое излучения губительны для живой материи. К счастью, они практически полностью поглощаются еще в атмосфере Земли при ионизации ее верхних слоев [Петрукович и Зеленый, 2001]. 51
52 Второй канал корпускулярное излучение является ключевым в «космической погоде» и именно он будет рассматриваться в дальнейшем. Корпускулярное излучение состоит из солнечного ветра и космических лучей. В последнее время космические лучи принято называть энергичными частицами, что лучше отражает их физическую сущность, так как они представляют собой заряженные частицы (электроны, протоны и ионы), разогнанные до колоссальных (часто релятивистских) скоростей. Эти частицы бывают галактического и солнечного происхождения. Первые рождаются за пределами Солнечной системы. В среднем, их поступление на орбиту Земли меньше поступления частиц солнечного происхождения. Возрастание активности Солнца приводит к уменьшению потока этих частиц. Во время активных процессов на Солнце (вспышки, разрушение арок, корональные выбросы и т.п.) (рис. 1.15) и в межпланетной среде (главным образом, на ударных волнах) происходит ускорение энергичных частиц солнечного происхождения. Рис Изменение годового числа солнечных пятен с 1700 по 2006 гг., указывающее на цикличность солнечной активности (
11 лет). По существу, энергичные частицы это радиация, которая может проникать внутрь тел и разрушать молекулы живой и неживой природы. К счастью, поверхность Земли надежно защищена магнитосферой и атмосферой. Однако во время космических полетов и даже трансарктических перелетов на самолете энергичные частицы могут представлять ощутимую опасность и для людей, и для электронных устройств. Именно под 52
53 воздействием радиации выходит из строя значительная часть приборов космических аппаратов. Например, с этой причиной связываются сбои в работе научной аппаратуры на космических аппаратах SOHO и АСЕ в октябре ноябре 2003 г. [Веселовский и др., 2004]. Плазма солнечной короны имеет температуру до К, в связи с чем она не может быть полностью удержана гравитационным полем Солнца и «убегает» в межпланетное пространство, заполняя собой гелиосферу. Хотя почти вся Солнечная система находится внутри солнечной короны, плазму, удаленную от Солнца на расстояние более нескольких солнечных радиусов и имеющую характеристики, которые значительно отличаются от характеристик плазмы в основании короны, принято называть солнечным ветром. Обладая скоростью в среднем 400 км/с, он достигает Земли за 2 5 сут. При этом на орбите Земли его плотность составляет несколько ионов в 1 см 3, что практически «недостижимо» в условиях наземных экспериментальных установок. Тем не менее, солнечный ветер оказывается основным агентом, переносящим энергию от Солнца к магнитосфере Земли и ее внешним оболочкам. Происходящие в рассматриваемой системе медленные изменения, для которых характерно время порядка месяцев и более, сейчас иногда называют «Космическим климатом». Если их исключить из рассмотрения, то останется динамическая часть, характеризуемая быстрыми отклонениями от некоторой усредненной картины, которая является предметом исследований при изучении «Космической погоды». В последние годы исследования роли магнитных бурь в жизнедеятельности человека приобретают все большее значения. Намечены пути снижения риска серьезных последствий путем принятия превентивных мер при приближении магнитных бурь. Однако подобных исследований к настоящему моменту проведено явно недостаточно, что в основном связано с их сложностью и междисциплинарностью и необходимостью определенных знаний в смежных областях науки. Сказанное показывает, что исследование солнечных и межпланетных источников геомагнитных бурь остается актуальной и важной задачей «Космической погоды» и ее многочисленных практических приложений. Общая концепция наших представлений об источниках бурь не менялась в течение многих лет: основным источником магнитосферных возмущений является отрицательная (южная) Bz-компонента межпланетного магнитного поля (ММП), так как в этом случае магнитосфера становится открытой, энергия может поступать из солнечного ветра в магнитосферу и приводить к магнитным бурям. Обычно ММП лежит в плоскости эклиптики и не содержит какую-либо из компонент Bz; только возмущенные типы солнечного ветра могут содержать Bzкомпоненту ММП, включая и южную. 53
54 Согласно современным представлениям существуют два основных сценария передачи энергии от Солнца к магнитосфере. Первый сценарий: 1. Солнечное возмущение (солнечная вспышка и выброс корональной массы Coronal Mass Ejection, далее CME) межпланетное CME (ICME, Ejecta и магнитное облако Magnetic Cloud, далее MC), включающее южную компоненту Bz ММП (Bz<0) магнитная буря. Второй сценарий: 2. Корональные дыры, формирующие быстрые потоки солнечного ветра взаимодействие быстрого потока с предшествующим медленным потоком и образование области сжатия и деформации ММП (Corotating Interaction Region, далее CIR), включающей южную компоненту Bz ММП (Bz<0) магнитная буря. Корональные дыры в отличие от вспышек и CME являются достаточно стабильными солнечными структурами и могут существовать в течение нескольких 27- суточных солнечных оборотов. Корональные дыры имеют открытую конфигурацию магнитного поля, которая позволяет короне образовывать быстрые потоки солнечного ветра. Только те солнечные вспышки, которые связаны с CME, могут рассматриваться как кандидаты на солнечные источники магнитных бурь. Большинство вспышек не имеет никакой причинно-следственной связи с магнитными бурями [Ермолаев, Ермолаев, 2009; Акасофу и Чепмен, 1975] Магнитосферные явления Плазма солнечного ветра и плазма в окрестности Земли практически идеальные проводники электрического тока. Поэтому, в соответствии с законами магнитной электродинамики, внешняя плазма солнечного ветра и межпланетное магнитное поле не могут вплотную приблизиться к Земле из-за ее сильного магнитного поля. В результате взаимодействия солнечного ветра и межпланетного магнитного поля с плазмой и магнитным диполем Земли образуется полость (магнитосфера), на границе (магнитопаузе) которой устанавливается баланс давлений плазмы и поля внешнего и внутреннего происхождения. Эта магнитопауза удалена в подсолнечной области на расстояние около км от Земли [Ермолаев, Ермолаев, 2009] (рис. 1.16). 54
55 Рис Структура магнитосферы. Ионосфера ближайший к поверхности Земли слой, проводящий электричество. Она лежит на изоляторе нейтральной атмосфере. В отличие, например, от солнечного ветра, ионосфера «умеет» проводить ток поперек силовых линий магнитного поля. Эту способность создают частые соударения ионов и электронов с нейтральными атомами, в большом количестве присутствующими на таких высотах. Сталкиваясь, заряженные частицы меняют направление движения и переходят от одной силовой линии к другой, разрушая их изоляцию. Магнитосферные токи имеют пространственную (3D) структуру, а ионосферные проистекают в 2D проводящей оболочке Земли, т.е. они горизонтальны по отношению к Земле [Брюнелли и Намгаладзе, 1988]. В первом приближении магнитосфера недоступна для внешней плазмы солнечного ветра, который может лишь изменить форму магнитопаузы в соответствии с условием баланса давлений на ней. Однако в действительности ситуация оказывается более сложной. Когда межпланетное магнитное поле (ММП) обладает компонентой, параллельной земному магнитному диполю (южная компонента ММП), в области соприкосновения противоположно направленных ММП и земного поля происходят нарушение условия идеальной проводимости плазмы и эрозия магнитного поля. В магнитосферу попадают плазма солнечного ветра и переносимая им энергия. Этот процесс называется пороговым (триггерным) механизмом. В зависимости от темпа поступления энергии возможны три сценария реакции магнитосферы. 1. Когда скорость поступления энергии меньше или равна скорости стационарной диссипации энергии внутри магнитосферы, она не изменяет своей формы в 55
56 магнитосфере не наблюдается каких-либо существенных изменений, т.е. она остается невозмущенной. 2. В случае, когда скорость поступления энергии превышает скорость стационарной диссипации, часть энергии уходит из магнитосферы по «квазистационарному каналу», что приводит к восстановлению ее состояния. Роль такого канала играют магнитные суббури [Ермолаев, Ермолаев, 2009]. Когда направление межпланетного магнитного поля становится противоположным направлению геомагнитного поля на дневной стороне, начинается процесс так называемого пересоединения. При сближении противоположно направленных силовых линий магнитное поле обращается в нуль и принцип вмороженности нарушается. Из «замкнутой» геомагнитной линии и «свободной» линии межпланетного поля образуются две «открытые» силовые линии, которые одним концом начинаются на Земле в полярной шапке, а другим уходят в межпланетное пространство (рис. 1.17а). Пересоединение «выгодно» с энергетической точки зрения, так как суммарная длина силовых линий уменьшается. Поток солнечного ветра сносит «открытые» линии на ночную сторону. Здесь противоположно направленные линии снова сближаются, и процесс ночного пересоединения воссоздает линии солнечного ветра и замкнутые геомагнитные линии, которые постепенно возвращаются на дневную сторону. При этом магнитосфера и ионосфера оказываются вовлеченными в круговорот глобальную конвекцию. Скорость пересоединения на ночной стороне обычно меньше, чем на дневной, поэтому в хвосте магнитосферы происходит накопление открытых силовых линий и, следовательно, магнитной энергии. Размер полярной шапки растет, и зона аврорального овала сдвигается ближе к экватору на несколько градусов. Через некоторое время (1-2 часа) магнитный хвост, «переполненный» магнитным полем, теряет устойчивость, процесс пересоединения на ночной стороне принимает взрывной характер, и за несколько минут избыточные силовые линии сбрасываются. Этот циклический процесс называется магнитосферной суббурей и сопровождается значительным возмущением всей внешней магнитосферы Земли. Фактически происходит обрыв части магнитного хвоста, а его остаток поджимается к Земле (рис. 1.17б). В этот момент часть плазмы внешней магнитосферы становится «лишней» и сбрасывается по силовым линиям в авроральную зону ионосферы. 56
57 (а) (б) Рис Механизм пересоединения, к которому приводит взаимодействие ММП и геомагнитного поля. Происходит возникновение «открытых» силовых линий, которые начинаются в полярной шапке Земли и уходят в пространство [Петрукович и Зеленый, 2001] (а); Эволюция отдельной силовой линии и обрыв магнитного хвоста [Харгривс, 1982] (б). При «отрыве» магнитного хвоста электрический (хвостовой) ток, в нормальных условиях текущий поперек хвоста (рис. 1.18а), вынужден обойти этот разрыв через ближайший проводник ионосферу, используя «резервную цепь»: вдоль силовых линий к Земле, затем через ионосферу в области ночной части полярного овала и обратно в хвост [Петрукович и Зеленый, 2001]. Вновь образуемый ток называется «электроджет» (рис. 1.18б). Сила такого ионосферного тока порой превышает миллион ампер, а магнитное поле, наводимое им на поверхности Земли в авроральной зоне, вносит существенные вариации в геомагнитное поле. Наиболее впечатляющее проявление суббурь полярное сияние, возникающее в результате бомбардировки нейтральных атомов атмосферы потоками плазмы хвоста магнитосферы, ускоренной вдоль магнитных силовых линий. Нейтральные атомы при столкновении с энергичными ионами и электронами испускают фотоны. Магнитосфера может долгое время сбрасывать излишки энергии в полярные области обоих полушарий Земли в виде суббурь с периодичностью около 3 ч. [Ермолаев, Ермолаев, 2009]. 57
58 (а) (б) Рис (а) Токовая система магнитосферы Земли. По магнитопаузе течет ток Чепмена- Ферраро. Показаны также хвостовой и кольцевой токи; (б) Схема образования электроджета во время магнитной суббури, при которой электрический ток начинает течь через ионосферу Земли [Петрукович и Зеленый, 2001]. 3. Когда скорость поступления энергии существенно превышает скорость стационарной и квазистационарной диссипации, происходит глобальная перестройка токовой системы магнитосферы и ионосферы, сопровождаемая сильными возмущениями магнитного поля на Земле, что по существу и называется магнитной бурей. Интенсивность магнитного пересоединения на дневной стороне возрастает на порядок, приводя к разрастанию области, занимаемой полярной шапкой. Во время сильной бури мощнейшие магнитные суббури следуют одна за другой, а авроральная зона расширяется вплоть до умеренных широт. Основной вклад в изменение магнитного поля вносит кольцевой ток, создаваемый в области геомагнитного экватора [Ермолаев, Ермолаев, 2009] (рис. 1.18а). Кольцевой ток течет вокруг Земли на расстояниях км в виде тора, лежащего вблизи плоскости экватора. Ионы, являющиеся переносчиком заряда, захвачены магнитным полем Земли и дрейфуют в западном направлении [Daglis et al., 1999]. У поверхности Земли ток создает магнитное поле, направленное противоположно основному геомагнитному. В отличие от магнитных суббурь, при которых возмущения магнитного поля наблюдаются в полярных областях, во время магнитных бурь поле изменяется и на низких широтах вблизи экватора. При сильных бурях полярные сияния могут опускаться на к экватору от полярных областей и наблюдаться на низких широтах, как это происходило, например, 30 октября 2003 г. Таким образом, магнитосферные возмущения возникают в результате резких изменений в существующих токовых системах в магнитосфере и ионосфере Земли или образования новых токовых систем. Важно отметить, что изменение кольцевого тока во время бури значительно больше электроджета, возникающего при суббурях. Однако из-за 58
59 того, что кольцевой ток расположен далеко от поверхности Земли в отличие от электроджета, который практически достигает нижних слоев ионосферы и атмосферы, изменения магнитного поля на Земле во время магнитных бурь носят глобальный характер (исключением являются небольшие области вблизи магнитных полюсов) и составляют в максимуме не более 500 нт. Изменение же магнитного поля во время суббури носит локальный характер и может составлять нт. Надо помнить, что постоянное поле Земли составляет около нт, т.е. в любом случае речь идет об изменениях, не превышающих несколько процентов, что значительно меньше полей техногенного происхождения [Ермолаев, Ермолаев, 2009] Солнечносуточная вариация Солнечносуточная вариация (S q -вариация) это вариация с периодом 24 ч, которая проявляется, в виде плавного изменения всех элементов геомагнитного поля. В ночные часы элементы магнитного поля Земли D, H, Z остаются почти неизменными, а в утренние, дневные и вечерние часы по местному времени происходят их плавные изменения до максимальных значений. S q -вариация существует каждый день, но в возмущенные дни, вследствие превосходящих по амплитуде возмущенных вариаций, она становится малозаметной. На рис приведена магнитограмма, полученная на обсерватории Иркутск в магнитоспокойный день 17 марта 2002 г. Время на магнитограмме указано UT. Плавные изменения элементов D, Н, Z на этой магнитограмме с максимумом в утренние и дневные часы и есть S q -вариация. Отклонение наблюдаемых значений от суточной вариации S q характеризует геомагнитную активность. Рис Магнитограмма, полученная на обсерватории Иркутск в магнитоспокойный день 17 марта 2002 г.: компоненты H, D, Z. 59
60 Регулярность S q -вариации позволила сделать предположение, что эта вариация связана с вращением Земли вокруг своей оси и с волновым излучением Солнца, в результате чего в ионосфере на высоте км возникает система электрических токов (токовая система S q ), которая движется над поверхностью Земли вслед за Солнцем. Эта токовая система вызывает пространственно-временное распределение векторов возмущения с максимумом в местный полдень. Амплитуда S q -вариации зависит от пространственного положения (широты) пункта наблюдения и изменяется в пределах от 5 до 100 нтл. Максимальная амплитуда наблюдается на магнитном экваторе под экваториальным электроджетом и на средних широтах под источником S q -токοвой системы электрических токов (рис. 1.20). Рис Амплитуда S q -вариации в зависимости от широты. Существует зависимость интенсивности S q -вариации от времени года. Максимальная амплитуда наблюдается летом, когда Солнце стоит выше над горизонтом и минимальная во время зимнего солнцестояния. В равноденствие амплитуда является средней в пределах зимней и летней и одинакова в обоих полушариях (рис. 1.21). 60
61 Рис Система электрических токов, соответствуюшая солнечносуточным вариациям в периоды равноденствия Индексы геомагнитной активности Регулярные суточные вариации магнитного поля создаются, в основном, изменениями токов в ионосфере Земли из-за изменения освещенности ионосферы Солнцем в течение суток. Нерегулярные вариации магнитного поля создаются вследствие воздействия потока солнечной плазмы (солнечного ветра) на магнитосферу Земли, процессами внутри магнитосферы, и взаимодействия магнитосферы и ионосферы. Индексы геомагнитной активности являются количественной мерой геомагнитной активности и предназначены для описания вариаций магнитного поля Земли, вызванных нерегулярными причинами [Индексы геомагнитной активности, 2013]. Все индексы вычисляются на основании наземных измерений магнитного поля и публикуются по всемирному времени UT [Mayaud, 1980]. Так как для конструирования индексов используются показания различных сетей магнитных станций, то в них оказываются включенными отклики различных магнитосферно-ионосферных токовых систем. Положение двух систем наземных станций, данные которых используются для вычисления Dst- и Kp-индексов, наиболее часто применяющихся для описания магнитных бурь, показаны на рис [Ермолаев, Ермолаев, 2009]. 61
62 Рис Карты расположения обсерваторий и станций, данные которых используются для расчета индексов AE, K p, a m, D st и aa. Существующие индексы геомагнитной активности [ можно условно разделить на три группы: 1. Первая группа индексов информирует о локальной величине по территории геомагнитной возмущенности: С, К, а К, r H, Q; 2. Вторая группа индексов характеризует геомагнитную активность на всей Земле, это так называемые планетарные индексы: C i, C p, C 9, К p, К т, К s, К п, а р, А р, а m, A m, aa, Aa; 3. Третья группа индексов отражает интенсивность магнитной возмущенности от вполне определенного источника. Например, индекс D st характеризует интенсивность симметричной части кольцевого тока, AЕ-индекс (авроральная электроструя) возмущенность в овале полярных сияний, индекс РС, который получают по геомагнитным данным обсерваторий Восток или Thule, расположенных в полярных шапках, и спутниковым данным, характеризует возмущенность в полярных шапках. Всего существует более 20 индексов. Все индексы геомагнитной активности, перечисленные выше, вычисляются по тому или иному ограниченному набору обсерваторий (рис. 1.22, 1.23) и публикуются по всемирному времени UT. 62
63 Рис Карта зон в магнитной системе координат: северная зона полярных сияний (серый цвет), субавроральная зона (зеленый цвет), зона низких широт (розовый цвет со штриховкой). На карте отмечены обсерватории, используемые при расчете индексов: K p (зеленые квадраты), AU, AL, AE, AО (желтые круги) и D st (красные треугольники). Традиционно при определении индекса геомагнитной активности выдвигаются следующие требования: 1. четкий физический смысл; 2. наглядность и простота в употреблении; 3. подробность описания возмущённости по амплитуде; 4. подробность описания возмущенности по времени; 5. оперативность получения; 6. индексы должны быть вычислены за большие интервалы времени (длина временных рядов). Подробное описание большинства существующих геомагнитных индексов приведено в Приложении 2. В настоящее время нет ни одного индекса, который удовлетворял бы одновременно всем этим требованиям в одинаковой мере. Каждый индекс имеет некоторые преимущества по сравнению с другими. При использовании классических индексов геомагнитной активности полезно помнить, что исходными данными являлись аналоговые магнитограммы, полученные при скорости лентопротяжного механизма около 20 мм/ч. Таким образом, геомагнитная активность в этом случае характеризует возмущенность магнитного поля в диапазоне частот примерно 5 x Гц, т. е. с периодом от нескольких минут до года. С одной стороны, можно предположить, что при достаточной статистике магнитных бурь должна существовать корреляция между экстремальными значениями различных индексов. Такой анализ был выполнен для 1085 магнитных бурь в период гг. [Loewe, Prolss, 1997]. С другой стороны, подобные результаты могут 63
64 привести к иллюзии, что магнитосферные индексы взаимозаменяемы. Однако уже первые попытки анализа реальных данных демонстрируют неидентичность поведения различных индексов во время одного и того же события. Например, в интервале времени UT 24 октября 2003 г. [Веселовский и др., 2004] при отмечаемых высоких значениях Кр-индекса Dst-индекс оставался на обычном уровне. Зависимость экстремальных значений Кр-индекса от экстремальной величины Dstиндекса для 611 магнитных бурь ( 300 < Dst < 60 нt) в период гг. представлена на рис [Ермолаев, Ермолаев, 2003]. Большой разброс данных объясняется тем, что Кр- и Dst-индексы измеряются на разных геомагнитных широтах и чувствительны к разным токовым системам (магнитосферным явлениям): авроральному электроджету (магнитным суббурям) и кольцевому току (магнитным бурям). Таким образом, для того, чтобы изучать связь магнитных бурь с различными явлениями и исключить из анализа авроральные явления, необходимо использовать Dst-индекс. В случае проведения исследований влияния аврорального электроджета на различные системы лучше использовать специальный АЕ-индекс. Кр-индекс чувствителен к обоим явлениям и не позволяет исследовать отдельно влияние каждой токовой системы [Ермолаев, Ермолаев, 2009]. Рис Соотношение экстремальных значений индексов Кр и Dst для 611 магнитных бурь с 300 < Dst < 60 нt в период гг. Сплошная линия аппроксимация представленных данных [Ермолаев, Ермолаев, 2003]. Для корректного использования индексов геомагнитной активности в приложении к смежным дисциплинам необходимо иметь общие представления о принципах построения и физическом смысле геомагнитных индексов, их взаимозависимости и интервалах их значений, которые соответствуют различным уровням геомагнитной 64
65 активности [Ермолаев, Ермолаев, 2009]. Более подробная информация может быть найдена в [Mayaud, 1980; Loewe, Prolss, 1997]. Наиболее глубокие и детальные исследования морфологических особенностей распространения геомагнитных возмущений по земному шару связаны с анализом всей совокупности исходных обсерваторских данных, а не с анализом индексов. М. С. Бобров, исследуя записи 72 станций на протяжении Международного геофизического года ( гг.), установил, что почти все геомагнитные возмущения имеют общепланетарный характер [Бобров, 1961]. Следовательно, изучение магнитных возмущений по материалам небольшого числа обсерваторий, охватывающих ограниченные интервалы широт и долгот, не может дать полной картины явления. Исследователь должен располагать легко обозримой общепланетарной картиной изучаемого возмущения. Геомагнитная активность является наиболее прямым выражением воздействия солнечных корпускулярных потоков на атмосферу Земли. Поэтому структура корпускулярных потоков должна отражаться в тех или иных характерных особенностях геомагнитных возмущений. Для это необходимо анализировать магнитограммы, записанные на всевозможных широтах и долготах. В совокупности эти данные дают общепланетарную картину геомагнитных возмущений за тот или иной период [Бобров, 1961] Наблюдения и исследование цунами Общее описание Цунами (яп. 津波, где 津 (цу) «порт, залив», 波 (нами) «волна») это длинные волны, порождаемые мощным воздействием на всю толщу воды в океане или другом водоёме. Причиной большинства цунами являются подводные землетрясения, во время которых происходит резкое смещение (поднятие или опускание) участка морского дна. В момент смещения, направленного вверх, на поверхности воды образуется горб высотой до 5 м. Цунами образуются при землетрясении любой силы, но большой силы достигают те, которые возникают из за сильных землетрясений (более 7 баллов). В результате землетрясения распространяется несколько волн. Более 80 % цунами возникают на периферии Тихого океана. Первое научное описание явления дал Хосе де Акоста в 1586 в Лиме, Перу после мощного землетрясения, тогда цунами высотой 25 метров ворвалось на сушу на расстояние 10 км [ Служба предупреждения цунами России использует такое определение цунами: «Цунами длиннопериодные волны, возникающие в океанах и морях, в основном 65
66 вследствие подводных землетрясений, а также как результат извержений подводных или островных вулканов или оползней больших масс земных пород» [Воробьев, 2006]. В Российской Федерации угрозам цунами подвержено побережье Камчатского и Приморского краев и Сахалинской области, а также, в меньшей степени, побережье Хабаровского края и Магаданской области. Очаги наиболее опасных для Дальнего Востока России цунами преимущественно сосредоточены в районе глубоководного Курило-Камчатского желоба, а также у западного побережья Латинской Америки. 4 ноября 1952 года мощным землетрясением (оценка магнитуды по разным источникам колеблется от 8,3 до 9,0), которое произошло в Тихом океане в 130 километрах от побережья Камчатки, было вызвано сильнейшее цунами. Три волны высотой до метров (по разным источникам) уничтожили город Северо-Курильск и нанесли ущерб ряду прочих населённых пунктов Курильских островов и Камчатки.. По официальным данным, погибло более двух тысяч человек. Событие 1952 года стало ключевым в нашей стране. После него вышло постановление правительства об организации службы предупреждения цунами [ В открытом океане волны цунами распространяются со скоростью 66 g H, где g ускорение свободного падения, а H глубина океана (так называемое приближение мелкой воды, когда длина волны существенно больше глубины). При средней глубине 4000 метров скорость распространения получается 200 м/с или 720 км/час. В открытом океане высота волны редко превышает один метр, а длина волны (расстояние между гребнями) достигает километров, и поэтому волна не опасна для судоходства. При выходе волн на мелководье, вблизи береговой черты, их скорость и длина уменьшаются, а высота увеличивается. У берега высота цунами может достигать нескольких десятков метров. Наиболее высокие волны, до метров, образуются у крутых берегов, в клинообразных бухтах и во всех местах, где может произойти фокусировка. Районы побережья с закрытыми бухтами являются менее опасными. Цунами обычно проявляется как серия волн, т.к. волны длинные, то между приходами волн может проходить более часа. Именно поэтому не стоит возвращаться на берег после ухода очередной волны, а стоит выждать несколько часов [ Механизмы образования цунами Причинами возникновения цунами могут быть подводные землетрясения, извержение подводных вулканов, подводные оползни, падение в воду обломков скал, взрывы в воде и др. (рис. 1.25).
67 Рис Механизмы возбуждения волн цунами. Абсолютное большинство волн цунами вызываются подводными землетрясениями. При землетрясении под водой образуется вертикальная трещина (разлом) и часть дна опускается. Дно внезапно перестает поддерживать столб воды, лежащий над ним. Поверхность воды приходит в колебательное движение по вертикали, стремясь вернуться к исходному уровню, среднему уровню моря, и порождает серию волн. В глубоком океане масса такой потерявшей опору колонны воды огромна. Когда сброс дна прекращается, эта колонна находит себе новый, более низкий «пьедестал» и таким движением рождает волны с высотой, эквивалентной расстоянию, на которое переместилась эта колонна. Подвижка при землетрясениях имеет высоту обычно порядка 50 см, но по площади огромна десятки квадратных километров. Поэтому возбуждаемые волны цунами имеют маленькую высоту и очень большую длину. Эти волны несут колоссальный запас энергии. При внезапном изменении поверхности океанического дна огромная масса воды над ней также претерпевает изменения. Происходящее на дне волнение передается через все слои воды к поверхностным водам, так что масса воды высотой иногда в метров превращается в единую гигантскую волну, которая может охватить собой огромное пространство. Но далеко не каждое подводное землетрясение сопровождается цунами. Цунамигенным (т.е. порождающим катастрофическую волну) может быть лишь землетрясение с неглубоко расположенным очагом. При этом сила подземного толчка 67
68 должна быть такой, чтобы произвести сброс участков морского дна. Считается, что если очаг землетрясения лежит неглубоко под дном океана (в пределах км), а само землетрясение обладает большой силой (магнитуда более 7,8), то возникновение цунами почти совершенно неизбежно. Если же магнитуда меньше 6, то вероятность цунами близка к нулю [Гидрометеорология и гидрохимия морей, 1998; Марчук и др., 1983]. Наиболее сильные цунами генерируются в зонах субдукции. Считается, что энергия цунами составляет примерно один процент от энергии землетрясения. За год на Земле происходит в среднем: 1 землетрясение с магнитудой 8,0 и выше; 10 с магнитудой 7,0-7,9; 100 с магнитудой 6,0-6,9 и 1000 с магнитудой 5,0-5,9. В зависимости от направления перемещения водных масс (то есть от того, поднимается или опускается дно) образуются два вида волн цунами. Когда дно поднимается, формируется волна так называемого положительного знака. Образуется одиночная волна специфической формы, полностью располагающаяся над первоначальным уровнем моря и, главное, убегающая от места возникновения с постоянным ускорением. В том случае, когда дно океана проваливается, образовавшаяся пустота неминуемо должна заполниться водой. Поэтому формируется волна цунами отрицательного знака. Такая волна в виде впадины распространяется также с ускорением. Она по форме обратная волне положительного знака. После возникновения цунами, как и все другие виды волн, начинают перемещаться с места своего образования с ускорением. Сформировавшийся волновой профиль продолжает «растекаться» также с ускорением. Необходимо уточнить, что вода остаётся на месте, а разбегается импульс возмущения в виде волны (рис. 1.26). Рис Картина распространения волны цунами. 68
69 По мере уменьшения глубины океана скорость движения и размеры волны соответственно уменьшаются. При приближении к берегу с дальнейшим уменьшением глубины любые волны, в том числе и цунами, двигаются всё с меньшей скоростью, а высота их при этом возрастает [Воробьев, 2006]. Причиной возникновения цунами может быть оползень. 9 июля 1958 года в результате землетрясения на Аляске в бухте Литуйя возник оползень. Масса льда и земных пород обрушилась с высоты 900 м. Образовалась волна, достигшая на противоположном берегу бухты высоты более 500 м. Подобного рода случаи весьма редки и, конечно, не рассматриваются в качестве эталона. Но намного чаще происходят подводные оползни в дельтах рек, которые не менее опасны. Землетрясение может быть причиной оползня и, например, в Индонезии, где очень велико шельфовое осадконакопление, оползневые цунами особенно опасны, так как случаются регулярно, вызывая локальные волны высотой более 20 метров [ Другим источником цунами могут служить вулканические извержения. Крупные подводные извержения обладают таким же эффектом, что и землетрясения. При сильных вулканических взрывах образуются кальдеры. Кальдеры это котлообразные впадины с крутыми склонами и ровным дном, образующиеся вследствие провала вершины вулкана. В диаметре кальдеры достигают км, а в глубину несколько сотен метров. При взрыве вулканов кальдеры моментально заполняются водой, в результате чего возникает длинная и невысокая волна [Гир, Шах, 1988]. Классическим примером такого источника может служить извержение вулкана Кракатау 27 августа 1883 года, расположенного у берегов Индонезии. Волны цунами распространились по всему Индийскому океану от берегов Индии на севере до мыса Доброй Надежды на юге. В Атлантическом океане они достигли Панамского перешейка, а в Тихом океане Аляски и Сан-Франциско. Цунами от взрыва этого вулкана наблюдались в гаванях всего мира и уничтожили в общей сложности 5000 кораблей, погибло 36 тысяч человек [Воробьев, 2006]. В наш век атомной энергии у человека в руках появилось средство вызывать по своему произволу сотрясения, раньше доступные лишь природе. В 1946 году США произвели в морской лагуне глубиной 60 м подводный атомный взрыв с тротиловым эквивалентом 20 тыс. тонн. Возникшая при этом волна на расстоянии 300 м от взрыва поднялась на высоту 28,6 м, а в 6,5 км от эпицентра ещё достигала 1,8 м. Но для дальнего распространения волны нужно вытеснить или поглотить некоторый объём воды, и цунами от подводных оползней и взрывов всегда несут локальный характер. Если одновременно 69
70 произвести взрыв нескольких водородных бомб на дне океана, вдоль какой-либо линии, то не будет никаких теоретических препятствий к возникновению цунами, такие эксперименты проводились, но не привели к каким либо существенным результатам по сравнению с более доступными видами вооружений. В настоящее время любые подводные испытания атомного оружия запрещены серией международных договоров. Падение метеорита может вызвать огромное цунами, так как, имея огромную скорость падения, данные тела имеют также колоссальную кинетическую энергию, которая будет передана воде, следствием чего и будет волна. Так, падение метеорита 65 млн. лет назад тоже вызвало цунами, отложения которого найдены на территории штата Техас (о чём говорилось в фильме National Geographic). Ветер может вызывать большие волны (примерно до 20 м), но такие волны не являются цунами, так как они короткопериодные и не могут вызывать затопления на берегу. Однако возможно образование метеорологического цунами при резком изменении давления или при быстром перемещении аномалии атмосферного давления. Такое явление наблюдается на Балеарских островах и называется Риссага (Rissaga) [ В последнее время ученые склоняются к тому, что помимо выше рассмотренных возможных источников цунами существуют также и другие источники Наблюдения цунами. Российская служба предупреждения о цунами В настоящее время системы предупреждения о цунами созданы и функционируют во многих странах Тихоокеанского региона: США, Японии, Канаде, Филиппинах, Чили, Французской Полинезии, Австралии и др. Создана и действует система предупреждения о цунами в Индийском океане [ Служба предупреждения о цунами в настоящее время организована на принципах международного сотрудничества, что особенно важно для своевременного объявления тревоги в связи с опасностью удаленных цунами (телецунами) [Воробьев, 2006]. Системы предупреждения цунами строятся главным образом на обработке сейсмической информации. Если землетрясение имеет магнитуду более 7.0 и эпицентр расположен под водой, то подаётся предупреждение о цунами. В зависимости от региона и заселённости берегов условия выработки сигнала тревоги могут быть различными. Вторая возможность предупреждения о цунами это предупреждение «по факту» способ более надёжный, так как практически отсутствуют ложные тревоги, но часто такое предупреждение может быть выработано слишком поздно. Предупреждение по факту 70
71 полезно для телецунами глобальных цунами, оказывающих влияние на весь океан и приходящих на другие границы океана спустя несколько часов. Так индонезийское цунами в декабре 2004 года для Африки является телецунами. Классическим случаем являются Алеутские цунами после сильного заплеска на Алеутах можно ожидать существенный заплеск на Гавайских островах. Для выявления волн цунами в открытом океане используются придонные датчики гидростатического давления. Система предупреждения, основанная на таких датчиках со спутниковой связью с приповерхностного буя, разработанная в США, называется DART (Deep-ocean Assessment and Reporting of Tsunamis) (рис. 1.27). Обнаружив реальную волну тем или иным образом, можно достаточно точно определить время её прибытия в различные населённые пункты. Рис Схема функционирования системы DART и передачи данных [ Донные сейсмические станции с датчиками гидростатического давления имеют целый ряд преимуществ по сравнению с традиционными донными станциями, которые оснащены сейсмографами [Башилов и др., 2008]. Отдельные сведения по особенностям сигналов и конструкций донных сейсмических станций с датчиками гидростатического давления приведены в работах [Левин и Носов, 2005; Куликов, 1995; Дыхан и др., 1981]. Существенным моментом системы предупреждения является распространение актуальной информации среди населения. Очень важно, чтобы население представляло, 71
72 какую угрозу несёт с собой цунами. Японцы имеют множество образовательных программ по природным катастрофам, а в Индонезии население в основном было не знакомо с цунами, что и стало основной причиной большого количества жертв. Также важное значение имеет законодательная база по застройке прибрежной зоны [ В СССР с 1961 г. к наблюдениям волн цунами были привлечены все метеостанции, расположенные на Курильских островах. Метеостанции были оборудованы высотными ориентирами для визуального определения высот волн. В пунктах Катангли, Корсаков, Крильон, Поронайск, Южно-Курильск, Курильск, Матуа, Бабушкино за изменением уровня моря стали проводиться инструментальные наблюдения. Были открыты ведомственные посты наблюдений цунами, построен мареограф в Северо-Курильске, организованы группы цунами для обеспечения круглосуточного дежурства, установлены мареографы в бухте Касатка (Буревестник) и на м. Терпения [Поплавский и др., 1997]. Главным критерием для принятия решения о тревоге цунами в службе был магнитудно-географический критерий, когда при регистрации землетрясения на сейсмической станции достигается пороговое значение магнитуды. Поэтому функционирование службы базировалось практически лишь на сейсмических наблюдениях, производившихся станциями АН СССР, оснащенных сейсмографами с механической или гальванометрической регистрацией. Естественно, не было никакой автоматической или автоматизированной обработки данных наблюдений. Наблюдения на береговых гидрометеорологических станциях, которые производились визуально либо механическими самописцами, играли вспомогательную роль, поэтому запись уровня моря на редких мареографных установках не могла играть существенную роль для оперативного предупреждения о цунами. В 2003 году в связи с созданием Единой государственной системы предупреждения и ликвидации чрезвычайных ситуаций (РСЧС) служба предупреждения о цунами получила статус функциональной подсистемы ФП РСЧС-Цунами. За время существования службы на Курильских островах после землетрясений в Курило-Камчатской впадине наблюдалось 5 сильных цунами. У берегов Сахалина зарегистрирован 21 случай цунами. Службой было выдано к настоящему времени более 80 предупреждений об угрозе цунами. Примерно 30% из выдаваемых службой предупреждений оправдывались, т.е. 70% были ложными. В 20% случаев цунами пропускались. Поэтому вопрос о необходимости технического переоснащения службы возникал неоднократно. В 1980 году постановлением Совета Министров СССР было сформулировано государственное задание 72
73 по созданию в г.г. Единой автоматизированной системы предупреждения о цунами (ЕАСЦ), разработке и производству новых технических средств для ее оснащения. С этих разработок начался процесс модернизации системы предупреждения о цунами (СПЦ) (рис. 1.28, 1.29). Научно-методические основы совершенствования системы создавались, в основном, учеными АН СССР под руководством академика Соловьёва С.Л. Рис Структура СПЦ. Рис Пункты сейсмических и гидрофизических наблюдений и центры сбора информации и предупреждения СПЦ. К тому периоду относится создание таких новых методических основ, как гидрофизический метод прогноза, включающий непосредственные наблюдения цунами в 73
74 открытом океане и использование математических моделей распространения и трансформации волны. Сейчас можно отметить, что теоретические научно-методические и научно-технические разработки в период г.г. значительно опережали возможности технологий, имевшихся в распоряжении создателей ЕАСЦ, и были лишь частично реализованы в ходе первого этапа модернизации в гг. В период с 1991 г. по 2005 г. происходила деградация службы предупреждения о цунами, обусловленная как экономическими причинами, так и разрушением землетрясениями ряда наблюдательных сейсмических станций и морских гидрологических постов. Было множество проблем, ухудшающих достоверность и своевременность предупреждений о цунами. Среди них - очень малое число сейсмических станций, отсутствие возможности одновременной обработки данных нескольких станций, что приводило к задержкам и ошибкам в определении параметров землетрясений. Было необходимо воссоздать сеть морских наблюдений. Начавшиеся в 2006 году мероприятия по новой модернизации СПЦ также инициированы чрезвычайным стихийным бедствием - цунами в Индийском океане 26 декабря 2004 года, унесшим жизни около 300 тысяч человек. В рамках федеральной целевой программы «Снижение рисков и смягчение последствий чрезвычайных ситуаций природного и техногенного характера в Российской Федерации до 2010 года" в гг., при активном участии МЧС России реализованы мероприятия по совершенствованию системы предупреждения о цунами. Принятие решений об объявлении тревоги об угрозе цунами и отмены тревоги об угрозе цунами осуществляется на основе магнитудно-географического критерия и результатов обработки данных инструментальных и визуальных наблюдений уровня моря. Магнитудно-географический метод определения опасности возникновения цунами в результате подводного землетрясения использует два критерия: 1. Географическое расположение эпицентра землетрясения в определенной области Тихого океана. 2. Превышение порогового для этой области значения магнитуды. Если оба критерия удовлетворены, то считается, что цунами возникнет, и тревога должна безусловно объявляться. При регистрации подводного землетрясения сейсмическая информация поступает в соответствующий пункт (центр) сейсмологической подсистемы (рис. 1.30), который рассчитывает и оценивает параметры землетрясений: координаты эпицентра, глубину гипоцентра землетрясения, магнитуду, цунамигенность землетрясения. 74
75 Рис Сейсмическая подсистема СПЦ. При очагах цунами в ближней зоне соответствующего цунамизащищаемого пункта ответственность за объявление тревоги цунами возложена на Геофизическую Службу Российской Академии Наук ( Поэтому, при близком сильном землетрясении, в случае признания его цунамигенным, в первую очередь, по магнитудногеографическому критерию, соответствующая сейсмостанция немедленно формирует и передает в каналы связи по схеме оповещения сигналы и сообщения об угрозе цунами по регламенту работы системы. Одновременно параметры землетрясения передаются в соответствующий Центр СПЦ. Специфика технологии функционирования СПЦ состоит в том, что если очаг цунамигенного землетрясения находится в ближней зоне относительно соответствующего пункта, то тревога по этому пункту (или району) объявляется немедленно. Если землетрясение находится в дальней зоне Тихого океана, то имеется резерв времени для детального сравнительного анализа сейсмологических данных и данных измерений уровня моря, а также данных от зарубежных центров. Центр СПЦ, получив предварительные параметры и оценку цунамигенности землетрясения, немедленно начинает анализ поступающей информации. Одновременно начинается непрерывная обработка данных об уровне моря, поступающих от гидрофизической (уровенной) сети СПЦ (рис. 1.31). 75
76 Рис Гидрофизическая (уровенная) сеть СПЦ. Гидрофизическая сеть обеспечивает: непрерывные наблюдения уровня моря и измерения уровня различными методами; передачу измеренных данных в центры сбора и обработки данных соответствующего уровня СПЦ; обработку данных для обнаружения аномальных изменений уровня, фильтрация гидрологических явлений, обнаружение цунамиподобных сигналов и идентификация волн цунами; расчет характеристик волн цунами (времена вступления, амплитуды, периоды); сбор и накопление первичных измерительных данных об уровне моря; получение и накопление данных о проявлениях цунами на берегу (величине заплеска, характере воздействия на объекты). На основе поступивших сейсмологических данных в Центре СПЦ производится предварительный расчет времен воздействия волн цунами на цунамизащищаемые пункты (времен подхода первой и последней волны цунами) и ожидаемых высот волн. При наличии резерва времени, ведется непрерывный анализ информации, поступающей с сети измерений уровня моря. Данные измерений уровня моря позволяют определить, как сам факт возникновения волны, так и её основные параметры: оценку времени прихода, амплитуду первой волны и другие. Наличие инструментальных наблюдений уровня моря позволяет подтвердить или отменить тревожное сообщение, переданное в соответствующий пункт, до которого волна цунами должна дойти позже. Отмена угрозы цунами производиться по данным сети измерений уровня моря. Состояние угрозы цунами отменяется, если в течение нормативного времени после 76
77 прихода волны цунами ни в одном пункте измерений не зафиксирован факт прихода волны цунами [ Имеющиеся проблемы и трудности в обеспечении функционирования СПЦ Российской Федерации приведены ниже [Воробьев, 2006]: крайне малое число сейсмостанций, привлекаемых к СПЦ, отсутствие совместной обработки сейсмических данных от нескольких станций; временные задержки, ошибки в определении параметров землетрясений возрастание вероятности пропусков и ложных тревог; несвоевременность передачи предупреждений об угрозе цунами; практически полное отсутствие инструментальных дистанционных наблюдений цунами; большая вероятность пропусков цунами и ложных тревог; неудовлетворительное выполнение Россией обязательств в рамках международной Тихоокеанской СПЦ; отсутствие надежной оперативной связи с сейсмическими и гидрометеорологическими станциями на Курильских островах и в других труднодоступных местах, а также центров СПЦ с цунамизащищаемыми пунктами на Камчатке и Курильских островах; невозможность своевременно и надежно довести сигналы и сообщения до цунами-защищаемых пунктов, а также своевременно получать данные от пунктов наблюдений СПЦ; ненадежность и недостоверность используемого в настоящее время магнитудно-географического критерия цунамигенности землетрясений и отсутствие в практике работы научно обоснованных комплексных критериев прогнозирования возникновения и степени опасности цунами; невозможность достоверного прогнозирования возникновения цунами; недостаток в центрах СПЦ современных технических средств и программного обеспечения для информационной поддержки принятия решений, в том числе для оперативного моделирования распространения цунами, расчета высот волн и оценки степени опасности цунами для конкретных пунктов побережья; ненадежность работы аппаратно-программных комплексов (АПК) центров СПЦ; невозможность достоверно оценить степень опасности цунами для пунктов побережья. 77
78 Система DART Национальное управление США по изучению океана и атмосферы (NОАА) развернула глубоководную систему обнаружения волн цунами систему DART (Deepocean Assessment and Reporting of Tsunamis) [ Ее еще называют заякоренные буи системы «Оценка и сообщение о цунами в глубоком океане». Это часть американской Национальной программы уменьшения опасности цунами плод усилий Тихоокеанской морской экологической лаборатории Национального управления океанических и атмосферных исследований, чтобы решать задачу регистрации и передачи данных о цунами в глубоководной части океана в реальном масштабе времени. DART призвана обеспечить оперативное информирование об опасности цунами и снизить риск подачи ложных тревог. Четыре автоматические цунами-станции работают в северной части Тихого океана, в Аляскинской зоне субдукции. Еще три такие станции работают в районе штата Орегон, вблизи каскадной зоны субдукции, где, по мнению специалистов, мощное цунами можно ожидать в ближайшие десятилетия. По геологическим данным, катастрофические цунами случаются здесь раз в несколько столетий. В августе 2001 г. вступила в строй станция в глубоководной зоне Тихого океана у Южной Америки. Эта область печально знаменита тем, что 23 июня 2001 года там произошло сильное землетрясение, породившее цунами, которое обрушилось на южное побережье Перу. Наблюдениями данной станции в той или иной мере охвачены также побережья Японии, Гавайских островов и западных районов Латинской Америки. На рис представлена общая схема построения Международной системы оповещения о цунами в Тихом океане. Рис Схема построения Международной системы оповещения о цунами в Тихом океане. 78
79 Каждая глубоководная цунами-станция (рис. 1.33) снабжена донным регистратором давления, которое соответствующим образом меняется в случае прохождения мощной волны цунами. Зафиксировав ее движение, станция передает акустический сигнал на буй, находящийся на поверхности моря, а с буя радиосигнал поступает к искусственному спутнику Земли, а оттуда к наземным станциям, которые ретранслируют его в Сиэтл, в распоряжение Тихоокеанской лаборатории по изучению морской среды (PMEL именно ее коллектив и разработал всю эту систему). Одновременно информацию получают и станции раннего оповещения о цунами, расположенные на Аляске (WCATWC от Берингова пролива до Алеутских о-вов) и на Гавайях (PTWC), а также национальный центр обработки данных буйковых и прибрежных станций (NDBC). Рис Схема доведения сигналов от глубоководных цунами-станций. Система якорного крепления ДАРТ состоит из двух главных компонентов: пакета для мониторинга морского дна, который определяет изменения в давлении воды, и заякоренного поверхностного буя, который передает сигналы в режиме реального времени на искусственный спутник Земли. Поверхностный буй прикреплен якорем к дну океана на глубине метров. На буе устанавливаются радиочастотная антенна и антенна системы глобального позиционирования для отправки данных на геостационарный оперативный экологический спутник (GOES, ГОЭС) NОАА. Пакет для мониторинга морского дна, закрепляемый якорем на дне океана под поверхностным буем, состоит из центрального процессора, преобразователя энергии, акустической модемной техники и самописцев донного давления, которые могут обнаруживать и измерять малые и большие цунами. 79
80 Волны цунами в глубоком океане порождают более сильное давление, чем окружающая вода, и донный пакет ДАРТ регистрирует повышенное давление в толще воды с прохождением волны цунами. Показания датчика давления снимаются каждые 15 минут, и при обнаружении сигнала цунами осуществляется автоматический переход на 15-секундный интервал измерений. После регистрации перепада давления акустическая система связи на донном пакете передает данные по акустическому каналу связи (в диапазоне частот кгц) на поверхностный буй ДАРТ, аппаратура которого преобразует эти данные в радиосигнал, поступающий на спутник ГОЭС. Спутник переправляет данные на наземные принимающие станции, которые передают сигналы в центры предупреждения о цунами на Аляске и Гавайях. Устройство глубоководной станции цунами приведено на рис Рис Устройство глубоководной станции цунами. Регистратор придонного давления способен определять амплитуду волны цунами всего в 0,5 см на глубинах до 6 км. Все данные, включая давление и температуру, сохраняются на жестком диске процессора. Щелочные батареи обеспечивают работу комплекса в течение 12 месяцев. 80
81 Телецунами это цунами, которое происходит вдали от побережья данной страны и пересекает открытые воды. Именно здесь становятся ценными глубоководные датчики, поскольку они могут обнаруживать цунами в открытом море. Следует отметить, что автоматизированная система регистрации цунами с помощью вынесенных в океан донных станций была запроектирована в СССР еще в начале 80-х годов, однако проект, к сожалению, так и не был реализован. Чтобы ДАРТы были доступны другим странам, NОАА планировала в 2005 году разместить в Интернете чертежи системы ДАРТ после того, как будет готова документация по обновленной версии ДАРТ под названием «ДАРТ II». После того как документация по ДАРТII будет готова, а чертежи размещены в Интернете, любая страна или компания может суметь загрузить эти схемы и изготовить ДАРТII. Основная разница между заякоренными буями систем ДАРТI и ДАРТ II связана со спутниковой передачей данных с ДАРТ II в центры предупреждения. ДАРТI использует спутник, охватывающий только треть земной поверхности, поэтому он, например, не может использоваться в Индийском океане, поскольку этот участок спутник не охватывает. ДАРТ II использует глобальную спутниковую систему сотовой связи («Иридий»), которая может применяться в любой точке мира, включая Индийский океан (рис. 1.35) [Воробьев, 2006]. Рис Устройство глубоководной станции цунами системы ДАРТ II. 81
82 Прогноз цунами Как ни странно, но проблема прогноза цунами оказывается несколько более простой, чем проблема прогноза землетрясений. Здесь также необходимо заранее предсказать место, время и энергию события. Но в отличие от прогноза землетрясений прогноз цунами может быть иногда вполне достоверным и при этом базироваться на определенном запасе времени, обеспечивающим эффективность прогноза. Это интервал времени между возникновением сейсмического толчка и моментом прихода волны цунами к данной точке побережья [Поплавский и др., 1997; Поплавский, 2002]. При прогнозе цунами сейсмического происхождения обычно используются: статистические прогнозы на основе собранного эмпирического материала о современных и древних событиях (палеоцунами); прогноз возбуждения волны в источнике цунами на основе обработки динамических характеристик сейсмограмм; прогноз возникновения источника цунами в океане на основе регистрации гидроакустической волны от землетрясения; прогноз возникновения источника цунами в океане на основе обработки спутниковой информации о процессах в эпицентральной зоне (акустическая кавитация, турбулизация поверхности, волновые структуры); прогноз времен прихода волны цунами и ее интенсивности в пунктах побережья на основе компьютерных моделей и вычислительного эксперимента с учетом гидродинамических закономерностей и реальной батиметрии дна; прогноз прихода волны цунами на основе обработки записей автономных систем вынесенных в океан гидрофизических буйковых и донных регистраторов и станций наблюдения. Понятно, что прогноз цунами от удаленных источников имеет значительно больше шансов на успех, чем прогноз местных или локальных цунами. Например, цунами, возникшее у берегов Аляски, придет к берегам Камчатки только через несколько часов, и прогноз этого события для жителей побережья Камчатки может быть вполне достоверным. Статистические прогнозы базируются на материалах опубликованных каталогов цунами. Существуют каталоги для многих цунами-опасных мест. Известно, что в Тихом океане примерно каждые полтора года возникает одно разрушительное цунами, а в конкретном регионе, подверженном действию цунами, частота появления катастрофического цунами составляет около 100 лет. Поиски следов сильнейших цунами 82
83 древних времен дают ученым ценнейший материал для повышения надежности статистических прогнозов. Традиционные методы предупреждения о волнах цунами основаны в первую очередь на сейсмической информации, получаемой сразу после землетрясения. Поскольку землетрясения предсказать очень трудно, то и долгосрочный прогноз цунами сделать достаточно сложно. Но когда происходит землетрясение, у ученых еще остается некий запас времени от минут до пяти-шести часов, в зависимости от удаленности очага, чтобы определить факт возникновения цунами, время его возможного приходак определенным точкам побережья и предупредить население. Здесь большую помощь могут оказать специальные компьютерные программы, которые позволяют проводить расчеты цунами при условии, что известны место и магнитуда землетрясения, глубина его залегания, рельеф дна и другие переменные данные. Прогноз цунами связан с прогнозами землетрясений. И пока делать точные выводы сложно: очень часто сила цунами непропорциональна силе землетрясений. Бывали случаи, когда сильные землетрясения вызывали очень слабые цунами, и тревога оказывалась ложной. Но бывает и наоборот. Идеальной ситуации, позволяющей создавать точные прогнозы на будущее, в мире нет. Сейсмическая информация сегодня продолжает оставаться главной для выдачи оперативного прогноза: является ли данное землетрясение цунами-генным, т.е. вызовет ли оно цунами или нет. Алгоритм оперативной обработки сейсмограмм лежит в основе работы служб предупреждения о цунами. Совершенствование сейсмической аппаратуры и методов обработки открывают новые возможности для прогностических подходов. Спутниковая информация и возможности ее автоматической обработки дают обнадеживающие результаты для развития прогностических методов в третьем тысячелетии. Первый случай обнаружения из космоса океанского волнового возмущения, идентифицируемого как волна цунами от Гуамского землетрясения 1993 года, зафиксирован в научной литературе. Наблюдения океанской поверхности со спутника значительно расширяют возможности океанографии. Кардинально решить проблему позволяет спутниковая альтиметрия, которая регистрирует крупномасштабные смещения уровня океана высотой всего в несколько сантиметров. Такие измерения уже сейчас можно проводить с искусственных спутников Земли GEOSAT, TOPEX/POSEIDON, ERS-1.2, JASON-1, ENVISAT, а в перспективе и с российского геодезического спутника «Геоик-2». Практически непрерывное исследование высоты поверхности Мирового океана идет с 83
84 1985 года. Созданы оригинальные базы данных спутниковой альтиметрии, они регулярно пополняются и доступны для научного использования в двух центрах: в США и в Европе. В последнее время возникла технология обнаружения очагов возникновения и распространения цунами со спутников, их альтиметрические данные позволяют регистрировать возмущения поверхности океана с точностью в несколько сантиметров. Как свидетельствует расшифровка данных с американского спутника, который пролетел по траектории над Индийским океаном в тот момент, когда фронт цунами находился между Суматрой и Шри-Ланкой, альтиметрическими датчиками была зарегистрирована длинная волна цунами амплитудой около 80 см. Недавно замечено, что в отдельных случаях перед головным фронтом цунами бежит некая тень полоса воды более темной окраски. Это явление рассмотрел геофизик Годин. Он установил, что гигантская волна при движении вызывает специфический ветер, который захватывает лишь тонкий слой приводной атмосферы, лежащей непосредственно над цунами. Эта струя воздуха усиливает морское волнение, нарушает гладкость зеркала вод и образует темную полосу, параллельную волновому фронту, проходящему между гребнями волн. Благодаря подобному признаку цунами, предваряемое своей «тенью», может быть обнаружено в открытом океане, пока оно еще не нанесло смертельного удара по суше. Фиксировать такую «тень» могли бы радиолокаторы и радиометры, устанавливаемые на борту самолета или искусственного спутника Земли. В случае цунами, возникающих в результате подводных оползней, извержений подводных вулканов или действия метеорологических возмущений, прогноз событий оказывается достаточно проблематичным. Это связано с локальным характером явления и ограниченностью времени для прогноза. Тем более что первичная сейсмологическая информация об источнике генерации цунами в этих случаях, как правило, отсутствует [Воробьев, 2006] Обоснование и постановка задачи диссертации Последние десятилетия в геофизике и смежных науках наблюдается стремительный рост объема получаемой информации о процессах, происходящих на Земле и в околоземном пространстве. Наземные сети геофизических наблюдений не только непрерывно растут, но и осуществляют переход на более высокочастотную регистрацию данных с целью удовлетворения потребностей более широкого круга научных и практических интересов. Так, переход с минутной на секундную регистрацию геомагнитных данных является одной из актуальных, трудных и обсуждаемых задач в геомагнитном сообществе. Кроме того, происходит переход от накопленных ранее 84
85 аналоговых представлений результатов измерений к цифровым. Вследствие этого возросла роль автоматизации сбора и анализа данных и математических методов их обработки. Статистика показывает, что не менее стремительно растет и число запросов к цифровым данным. При небольших объемах данных опытному эксперту не составляет труда извлечь из них полезную информацию. Но для эффективного использования объемных массивов данных и получения на этой основе качественно новых результатов актуальной является задача создания адекватных автоматизированных методов комплексного анализа и обработки данных. В этом случае автоматизированное извлечение полезной информации должно быть формализовано, происходить единообразно и объективно. Одной из важнейших проблем современной геофизики является распознавание, изучение, классификация аномальных событий на длинных одномерных и многомерных временных рядах геофизических наблюдений. Несмотря на огромное многообразие и разнородность типов наблюдаемых рядов геофизических наблюдений эта проблема может рассматриваться в общей постановке, достаточно инвариантной к выбору того или иного типа информации. Тем самым, возникает необходимость создания общей теории и методов распознавания аномалий на рядах геофизических наблюдений различной природы. Этот общий метод должен адаптироваться к конкретному выбору типа геофизических данных в виде нетривиальной самостоятельной реализации. Вероятностно-статистические методы выделения возмущений, частотно-временной анализ, вейвлет-анализ и нейронные сети являются эффективными при наличии априорной информации. Во многих случаях априорная информация об искомых возмущениях весьма ограничена и касается только общих представлений об их форме. Форма аномалии является достаточно нечетким понятием, а корреляционные свойства ее неизвестны. Поскольку природа явлений, отраженных в регистрируемых данных, априори не известна и изменчива во времени, то и методы должны быть в большой степени адаптивными. Требуются такие методы анализа временных рядов, которые бы позволяли решать задачи распознавания аномальных событий в самом общем случае. Одной из актуальных проблем анализа геофизических данных является распознавание физических и техногенных аномалий на рядах геомагнитных наблюдений и обнаружение всплесков магнитной активности. В то же время, крайне актуальной задачей является развитие сетей наблюдения магнитного поля Земли. При решении фундаментальных и прикладных задач геомагнетизма необходимым условием является наличие геомагнитных данных, предварительно очищенных от техногенных аномалий. 85
86 Актуальной задачей является различение естественных аномалий, обусловленных физическими процессами, и техногенных аномалий. Например, разделение магнитосферных возмущений (пульсаций) от промышленных помех (электропоезда, самолеты) на магнитограммах. В обсерваторской практике такая деятельность до сих пор осуществляется вручную, что служит серьезным препятствием для адекватного использования данных и развития систем геомагнитных наблюдений. При стремительном росте объема данных использование единичных мер для описания характеристик наблюдаемых процессов представляется устаревшим и неэффективным. В геомагнетизме такими единичными мерами являются геомагнитные планетарные индексы. Они предназначены для оценки общей интенсивности магнитных бурь и рассчитываются по данным фиксированного набора станций. Современный этап развития сетей наблюдений требует перехода к новой парадигме в анализе геомагнитных данных, подразумевающей обработку целиком массива наблюдений на многих станциях, как единого целого. В геомагнитных исследованиях требуется введение меры комплексного анализа данных, позволяющей в единой шкале оценивать относительную магнитную активность в разных регионах Земли по данным максимального числа наблюдений. Такая мера позволила бы получать мгновенные «снимки» распределения магнитной бури в каждый момент времени для изучения динамики распространения возмущений по земному шару. Создание общей формализованной методологии обеспечивает независимость результатов обработки от субъективных факторов (напр., отличия в подходах различных экспертов к анализу данных). В то же время решается актуальная задача значительного сокращения задержки в получении обработанных данных мировым научным сообществом. Математическая формализация распознавания временных возмущений будет способствовать значительному повышению качества обработки данных геомагнитных измерений, что внесет существенный вклад в расширение и углубление знаний о магнитном поле Земли. В настоящее время главными задачами по преодолению отставания российской сети магнитных наблюдений от мирового уровня являются: (1) развитие пунктов геомагнитных наблюдений в России; (2) создание национального центра геомагнитных данных, который будет служить ядром российского сегмента ИНТЕРМАГНЕТ; (3) преобразование результатов наблюдений российских обсерваторий в окончательные данные, предоставляемые научной общественности, вместо передачи «сырых» данных в различные зарубежные центры. 86
87 Распознавание временных участков с сейсмическими и цунами- волновыми возмущениями в сигналах датчиков гидростатического давления донных сейсмических станций, содержащих сигналы землетрясений и цунами, является актуальной геофизической задачей. Cигналы датчиков гидростатического давления с такими составляющими являются ранними предвестниками возможных цунами. Цунамиволновые возмущения, обнаруживаемые в сигналах датчиков гидростатического давления от донных сейсмических станций, которые располагаются вдали от берега, могут приниматься в качестве непосредственных предвестников цунами. Донные сейсмические станции, объединённые в глобальную систему, могут обеспечить эффективное предупреждение цунами и внести весомый вклад в изучение сейсмичности Земли. Эти утверждения основаны на том, что 80% всех землетрясений происходят под дном океанов и морей, и сеть исключительно из наземных сейсмических станций не может регистрировать землетрясения без пропусков [Гетманов и др., 2012]. На основании вышесказанного, задачи диссертации заключаются в следующем: 1. Создание алгоритмической системы автоматизированного, адаптивного распознавания аномальных событий произвольной природы на длительных временных рядах различных геофизических наблюдений; 2. Системно-математическая и алгоритмическая реализация разработанного общего метода для распознавания аномальных событий на временных рядах минутных, секундных и полусекундных магнитограмм, зарегистрированных наземными обсерваториями и искусственными спутниками Земли. Оптимизация системы обучения и математическая формализация критериев эффективности разработанного метода. Создание формализованного метода оценки эффективности работы алгоритмов в задаче распознавания аномальных событий техногенной природы на магнитограммах в периоды спокойного магнитного поля и повышенной активности; 3. Программно-алгоритмическая реализация метода для автоматизированного, формализованного и единообразного распознавания аномальных событий техногенной природы на магнитограммах наземных сетей наблюдений; доведение качества распознавания до уровня, сравнимого с работой эксперта вручную; сравнение созданного метода с классическими статистическими методами распознавания; 4. Разработка модели и технологической схемы функционирования межрегионального центра геомагнитных данных по обслуживанию российскоукраинского сегмента сети ИНТЕРМАГНЕТ; 5. Создание нового метода распознавания и мониторинга геомагнитной активности на основе данных всей глобальной сети наземных наблюдений для возможности изучения 87
88 динамики распространения магнитных бурь по земному шару в режиме реального времени; разработка меры, дающей оценку геомагнитной активности в различных регионах Земли в единой шкале, и ее сравнение с классическими индексами геомагнитной активности. Оценка эффективности разработанного метода в задаче внутреннего анализа сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ; 6. Реализация метода для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане; применение реализованной алгоритмической системы для решения задачи распознавания на записях наблюдений системы DART-2 (глубоководная система обнаружения волн цунами) временных участков, соответствующих сигналам от подводных землетрясений (P-волн) и волн цунами; оценка работы системы с работой эксперта. 88
89 ГЛАВА 2. Метод и алгоритмы дискретного математического анализа геофизических данных Данная глава посвящена описанию разработанных алгоритмов, которые составили основу диссертационной работы и были применены в геофизике. Глава основана на результатах, опубликованных в работах [Агаян и Соловьев, 2004; Соловьев и др., 2005, 2012а; Soloviev et al., 2009, 2012а, 2012c, 2013; Богоутдинов и др., 2010; Гвишиани и др., 2010а, 2011; Сидоров и др., 2012; Kleimenova et al., 2012; Клейменова и др., 2013; Зелинский и др., 2014]. В ходе подготовки диссертации были получены следующие свидетельства о государственной регистрации программ для ЭВМ: (1) Агаян С.М., Соловьев А.А. «Кристалл». Свидетельство от ; (2) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SP». Свидетельство , от ; (3) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SPs». Свидетельство от Поскольку разработанные в рамках диссертации алгоритмы опираются на элементы нечеткой математики и теорию дискретного математического анализа (ДМА), то в главе также приведены базовые положения теории нечетких множеств (раздел 2.1) и общие принципы ДМА (раздел 2.2) Базовые элементы теории нечетких множеств Основные определения Основной особенностью классического множества является наличие четкой границы между элементами, которые принадлежат и не принадлежат этому множеству. Другими словами, если все рассматриваемые элементы принадлежат универсальному множеству U, тогда классическое подмножество AU может определяться функцией принадлежности, принимающей только два значения: «элементы, принадлежащие A» и «элементы, не принадлежащие A». Теория нечетких множеств расширяет это понятие путем введения более сложных функций принадлежности. Для начала дадим некоторые формальные определения. Рассмотрим основное множество U, которое назовем универсальным. Определение 1. A нечеткое подмножество U (или A нечеткое множество на U), если существует отображение A : U L, где L некоторое упорядоченное множество. 89
90 Простым примером L является отрезок [0, 1]. Назовем значения отображения A( x ), x U степенью принадлежности элемента x нечеткому множеству A. Назовем A функцией принадлежности нечеткого множества A. Если L=[0, 1], тогда используется следующая терминология: «x U полностью принадлежит A» тогда и только тогда, когда ( x ) 1 ; «x U не принадлежит A» тогда и только тогда, когда ( x ) 0 ; «x U частично принадлежит A» тогда и только тогда, когда 0 ( x A ) 1. Введем два особых нечетких множества: пустое множество такое, что ( x) 0 x U ; универсальное множество U такое, что ( x U ) 1 x U. Любое классическое подмножество AU может рассматриваться как нечеткое множество на U с функцией принадлежности 1, если x A A( x). 0, если x A Если множество U конечно, или U является множеством натуральных чисел, тогда его нечеткие подмножества A обозначаются следующим образом: где. U x1 x2 x n классических множеств. Примеры. A A( x1 ) / x1, A( x2) / x2. A( xn) / xn. A A( xi ) / xi, или, xa i A ( x ) / x ( x ) / x. ( x ) / x. A 1 1 A 2 2 A n n, а под знаком суммы понимается операция объединения 1. Положим U x, x, x. Тогда A 0.2/ x,0.5/ x,0.8/ x / x 0.5/ x 0.8/ x является нечетким множеством на U. 2. Пусть U 0,1. n. A A универсальное множество целых чисел. Определим функцию принадлежности нечеткого подмножества S (от Small малый ) следующей формулой: 2 n S ( n) 1 10 Тогда нечеткое множество S может быть записано как 1. 90
91 n S 1 / n. n0 10 Определение 2. Если A нечеткое множество на U, тогда элемент x0 U такой, что ( x ) 0.5 называется точкой перехода множества A. Для нечеткого множества S A ( Small ) точка перехода x 0 равна 10. Если универсальное множество U является множеством вещественных чисел, тогда используется следующая запись: A ( ) / A x x dx. U Определение 3. Нечеткие множества с функцией принадлежности : U [0,1] называются нечеткими множествами первого типа. Если A : U L, где L нечеткое множество первого типа на отрезке [0, 1], тогда A называется нечетким множеством второго типа, или супер нечетким множеством. Следующим пример иллюстрирует это определение. Положим U = . Пусть A нечеткое множество на U, в котором только для трех элементов x1, x2, x 3 ( x ) 0. Остальные элементы U \ < x1, x2, x 3>не принадлежат A. Допустим, что элементы A x1, x2, x 3 имеют разную степень принадлежности множеству A: x 1 «слабо», x 2 «умеренно», x 3 «сильно» принадлежат A. Тогда нечеткое множество A может быть записано следующим образом: A = . (2.1) Теперь определим каждое из множеств «слабо», «умеренно» и «сильно», как нечеткое множество первого типа на отрезке [0, 1]. W = «слабо» = , (2.2) W = «умеренно» = , (2.3) W = «сильно» = . (2.4) Другими словами, когда мы говорим «сильно», мы имеем ввиду, что в формуле (2.1) элементу x 3 соответствует нечеткое множество первого типа на отрезке [0, 1], которое определяется формулой (2.4). Аналогично для (2.2) и (2.3). Таким образом, A (2.1) является нечетким множеством второго типа, или супер нечетким множеством. На базе этого примера можно определить нечеткое множество A второго типа следующим образом. A
92 формулой: Положим, U конечное, либо целочисленное множество. Тогда A < A / x, A / x. A / x. >, где Ai 0, либо A i является нечетким множеством первого типа и определяется В (2.5) y j [0,1] и A( y j) [0,1]. i i Ai 1 1 Ai k k n n A < ( y ) / y. ( y ) / y. >. (2.5) Не следует путать понятия «степень принадлежности» и «вероятность». Несмотря на то, что в обоих случаях мы имеем дело с вещественной характеристикой на отрезке [0, 1], сущность этих характеристик принципиально разная. Понятие степени принадлежности предполагает наличие универсума U и показывает, насколько сильно элементы свойствами, что определяется функцией событием, другими словами, изменением универсума. xu обладают изначально заданными A. Напротив, понятие вероятности связано с Разница может быть продемонстрирована на следующем примере. Допустим, автобус вмещает 50 пассажиров. Для того, чтобы определить нечеткое множество «молодых» с помощью множества пассажиров, необходимо рассмотреть 50 конкретных людей и определить, в какой степени A каждый пассажир является молодым. В случае «вероятности», задача формулируется иначе: каковы шансы того, что среди произвольной группы из 50 человек найдется молодой человек на конкретном месте. Опять же, понятие «молодой» может быть сформулировано в терминах нечетких множеств. Им будет являться человек, для которого степень «молодости» не равна нулю [Gvishiani, Dubois, 2002]. Пусть A нечеткое множество на универсальном множестве U c функцией принадлежности : U [0,1]. A Определение 4. Определим носитель A классическим подмножеством: supp( A) < xu : ( x) 0>. Если supp( A) < x1. x n >конечное множество, тогда A может быть записано как n A ( x ) / x. ( x ) / x ( x ) / x. A 1 1 A n n A i i i1 A 92
93 Операции над нечеткими множествами Для создания алгоритмов с использованием классификаций нечетких множеств, необходимо ввести основные операции над нечеткими множествами аналогичные тем, которые используются в теории классических множеств. Ниже приводятся формальные определения таких операций. Определение 1. Пусть A и B нечеткие множества, принадлежности, X универсальное множество. Тогда, A и B их функции A B, если x X ( x) ( x) (равенство), (2.6) A A B, если x X ( x) ( x) (включение). (2.7) A Определение 2. Дополнение A нечеткого множества A определяется функцией принадлежности n(1) = 0. так: где ( x ) n A( x ), A B B n: [0, 1] [0, 1] операция отрицания. (2.8) Другими словами, n невозрастающая инволютивная функция, такая что n(0) = 1, а Функция n(u) может иметь разный вид. Классическая функция отрицания выглядит n(u) = 1 u. (2.9) В дальнейшем будет использоваться классическое отрицание. Тем самым, (2.8) может быть представлено следующим образом: ( x ) 1 A( x ) (2.10) A Аналогичные принципы могут быть построены с использованием других функций отрицания. Некоторые известные функции отрицания приведены ниже: квадратичное отрицание: n ( u) 1 r 2 u, отрицание Сучено: 1 u n ( u). 1 u Определение 3. Определим т-норму как функцию T: [0, 1] [0, 1] [0, 1], удовлетворяющую следующим условиям: T(0,0) 0; T( u, v ) T( u, v ), если u1 u2, v1 v2 ;
94 T( u, v) T( v, u) ; T( u,1) T(1, u) u ; T( u, T( v, w)) T( T( u, v), w). Т-норма T называется «архимедовой», если T непрерывна как функция от двух аргументов и T(u, u) < u u[0, 1]. Т-норма T называется «строгой т-нормой», если T строго возрастающая функция от обоих аргументов. Ниже приведены некоторые примеры т-норм: минимум (т-норма Задэ): T( u, v) min( u, v) ; вероятностная т-норма: Tp( u, v) u v ; т-норма Лукашевича: T ( u, v) max(0, u v 1) ; m т-норма Домби: min( u, v), если u 1или v 1 Tw ( u, v). 0, в остальных случаях Определение 4. Определим т-конорму как функцию : [0, 1] [0, 1] [0, 1], удовлетворяющую следующим условиям: (1, 1) = 1; ( u, v ) ( u, v ), если u u, v v ; (u, v) = (v, u); (0, v) = (v, 0) = v; ( u, ( v, w)) ( ( u, v), w). Т-конорма называется «архимедовой», если непрерывна как функция от двух аргументов и (u, u) > u u[0, 1]. Т-конорма называется «строгой т-конормой», если строго возрастающая функция от обоих аргументов. Класс т-конорм дуален классу т-норм. Это означает, что любая т-конорма может быть получена из т-нормы T, используя следующее преобразование: Примеры т-конорм включают в себя: (u, v) = 1 T(1 u, 1 v). ( u, v) max( u, v) ; p ( u, v) u v u v ; ( u, v m ) min(1, u v ) ; max( u, v), если u 0 или v 0 w ( uv, ). 1, в остальных случаях 94
95 Дуальными являются следующие пары т-норм и т-конорм: T( u, v) min( u, v) и ( u, v) max( u, v) ; T (, ) p u v u v и p ( u, v) u v u v ; Tm ( u, v) max(0, u v 1) и ( u, v m ) min(1, u v ) ; T (, ) w u v и ( uv w, ). Понятия т-норм и т-конорм используются для определения операций пересечения и объединения нечетких множеств. Определение 5. Пусть A и B нечеткие множества, A и B их функции принадлежности, T т-норма и т-конорма, дуальная по отношению к T. Тогда пересечение и объединение нечетких множеств A и B определяются следующими функциями принадлежности: T(, ), AB A B (, ). AB A B Действительно, x X, ( x) T( ( x), ( x)) и 0 ( ) 1 по определению AB A B x AB т-нормы (см. определение 3). Аналогично, x X, ( x) ( ( x), ( x)) [Gvishiani, Dubois, 2002] Нечеткие бинарные отношения AB A B Архимедовы т-нормы и, соответственно, операции пересечения и объединения нечетких множеств, могут быть представлены аддитивными генераторами архимедовых функций. Такие генераторы являются непрерывными, монотонно убывающими функциями f :[0,1] такими как: ( множество неотрицательных вещественных чисел), 1 T( u, v) f ( f ( u) f ( v)), (2.11) где 1 ( 1) f ( y), если y [0, f (0)] f ( y). (2.12) 0, если y f(0) Аддитивные генераторы и дуальность т-норм и т-конорм являются основой в изучении обобщенных операций пересечения и объединения нечетких множеств. Следующий оператор усреднения также играет важную роль в приводимых конструкциях. Понятие «обобщенное среднее значение» было введено А.Н. Колмогоровым [Колмогоров, Фомин, 1981]. Среднее значений C1, C2. C n определяется по формуле: 95
96 N F 1 1 M ( C1, C2. CN) F F( Ci) N, (2.13) i1 где F(u) функция, а F -1 ее обратное преобразование. Ниже приведен часто используемый особый вариант обобщенного среднего: N F 1 1 r M r ( C1, C2. CN ) F Ci N. (2.14) i1 Несложно показать, что если C 0, i 1. N, тогда i M ( C1, C2. CN ) min 1i N ( Ci ), (2.15) M ( C, C. C ) max ( C ) 1 2 N 1i N i N 1/ i i M ( C, C. C ) C, (2.16) N N i 1 N N 1 M ( C, C. C ) C. (2.17) N Формулы (2.16) и (2.17) очевидно определяют геометрическое и арифметическое среднее соответственно. Этот факт также является основанием для использования термина «обобщенное среднее» в отношении функции (2.13). Пусть имеется отображение : XY и нечеткое множество AX. Тогда образ A, отображенный при помощи, будет представлять собой нечеткое множество BY с функцией принадлежности где -1 (y) = . x 1 ( y) i ( y) sup ( x), y Y, (2.18) B A Определение 1. Бинарное нечеткое отношение R между множествами X и Y является нечетким множеством в прямом произведении XY с функцией принадлежности определенной по формуле (2.18). R : XY [0,1], Пусть бинарное нечеткое отношение между X и Y с функцией принадлежности ( xy, ) и A нечеткое множество в X c функцией принадлежности ( x ). Тогда образ B 1/ r A нечеткого множества A, порожденный нечетким отношением, будет являться нечетким множеством в Y с функцией принадлежности [Gvishiani, Dubois, 2002]: B( y) supmin( A( x), ( x, y)), y Y. xx 96
97 2.2. Общие принципы дискретного математического анализа Алгоритмический подход ДМА Одно из направлений развития дискретной математики связано с моделированием умения человека анализировать данные. Действительно, опытный исследователь прекрасно выделяет аномалии в двух- и трёхмерных физических полях, умеет перейти от их локального уровня к глобальному для целостной интерпретации, находит сигналы нужной формы на записях небольшой длины и делает многое другое. Объясняется это более естественным и устойчивым по сравнению с математическим характером восприятием им формы, дискретности и стохастичности. Приведём три примера. 1. Гладкая в математическом смысле функция f на отрезке [a, b] после даже достаточно тщательной дискретизации [a, b] либо под воздействием небольшого стохастического возмущения потеряет это свойство, но попрежнему останется гладкой для человека. 2. Математическую монотонность f на [a, b] может нарушить любое сингулярное возмущение, в то время как человеческое восприятие тренда более устойчиво к нему. Лишь достаточно «большое» возмущение заставит человека изменить своё решение о монотонности f на [a, b]. 3. В многомерном конечном массиве X любой, в частности, геологогеофизической природы особую роль реперных точек играют наиболее «плотные» из них, сильнее всего концентрирующие X вокруг себя. Они важны для анализа X, например, при кластеризации или трассировании в нём. Нетривиальное формальное выражение плотности в X не может быть построено в рамках классической математики, потому что для неё X дискретное пространство, все точки которого одинаково изолированы и не интересны. Но человек бессилен в больших размерностях и перед большими объёмами, поэтому особую актуальность приобретает задача передачи компьютеру путём моделирования умения человека анализировать данные для работы в реальных условиях. Наш коллектив занялся таким моделированием более 10 лет тому назад, сразу учитывая то обстоятельство, что человек мыслит и оперирует не числами, а нечёткими понятиями. Ещё Норберт Винер в своей работе «Творец и робот» отмечал: «По-видимому, главное преимущество человека перед компьютером это его способность оперировать с нечётко очерченными понятиями» [Винер, 1966]. Именно в этой связи в 1965 году американский математик Лотфи Заде создал теорию нечётких множеств [Zadeh, 1965; Заде, 2001]. Основная идея Заде заключалась в 97
98 том, что человеческий способ рассуждений, опирающийся на естественный язык, не может быть описан в рамках традиционных математических формализмов. Этим формализмам присуща строгая однозначность интерпретации, а всё, что связано с использованием естественного языка, имеет многозначную интерпретацию. Программа Заде состояла в построении новой математической дисциплины, в основе которой лежала бы не классическая теория множеств, а теория нечётких множеств. Последовательно проводя идею нечёткости, по мнению Заде, можно было построить нечёткие аналоги всех основных математических понятий и создать необходимый формальный аппарат для моделирования человеческих рассуждений и человеческого способа решения задач. Программа построения нечёткой математики быстро нашла отклик среди исследователей из разных стран мира. Часть исследователей устремилась «вширь», вводя в рассмотрение нечёткие расширения таких фундаментальных понятий математики, как функция, отношение, предикат. Появились нечёткие уравнения и нечёткие интегралы, нечёткая логика и нечёткая топология и т.д. Другие исследователи устремились «вглубь». Их целью было выявление самой природы нечёткости. В потоке чисто математических работ начал возникать поток работ прикладных. Идеи Заде и его последователей нашли и находят применение при создании систем, понимающих тексты на естественном языке, при создании планирующих систем, опирающихся на неполную информацию, при обработке зрительных сигналов, в управлении техническими, социальными и экономическими системами, в системах искусственного интеллекта и робототехнике. Всё это доказало, что нечёткая математика и нечёткая логика обладают достаточно большими возможностями для моделирования человеческих представлений и рассуждений по сравнению с обычными множествами и булевой логикой. Булевы признаки внутренне дизъюнктны (жестки), что приводит в реальности к выхолащиванию. Содержательные признаки должны быть непрерывными (мягкими), а потому нечёткими. Нечёткая математика и нечеткая логика позволили дать строгое математическое описание в действительности расплывчатых экспертных утверждений и преодолеть лингвистический барьер между человеком, суждения и оценки которого являются приближенными, качественными и нечёткими, и компьютером, который может выполнять только чёткие инструкции. Таким образом, с помощью нечёткой математики становится возможной формализация эксперта при анализе геолого-геофизической информации. Но имеется ещё одно обстоятельство, делающее нечёткую математику привлекательной для геологии и геофизики. Нечёткая математика является формальным аппаратом, способным наиболее адекватно учесть не только мнение экспертов, но и нечёткость данных. Действительно, в 98
99 геологии и геофизике мы часто имеем дело с приближенными величинами, да и модели сложных природных процессов не всегда точны из-за излишней их идеализации, в частности, линеаризации, дискретизации и т.п. Это свидетельствует о естественности нечёткого подхода к геологии и геофизике, которым изначально присущ нечёткий характер в силу неполноты и расплывчатости наших знаний о Земле. В этой связи процитируем Заде: «Образно говоря, теории о природе должны отражать то, что природа «пишет» скорее произвольными мазками, чем шариковой ручкой» [Нечеткие множества и теория возможностей. Последние достижения, 1986]. Итак, стремление решать сегодня геологические и геофизические задачи наиболее адекватно реальности требует перехода от жёстких, чётких формальных методов к мягким, нечётким. И, в первую очередь, это касается математики, использующейся в геологии и геофизике. Упомянутое выше проникновение нечёткости в математику происходило в основном в её дискретные области (логику, графы, автоматы, группы, алгоритмы), за исключением имеющей скорее теоретический характер нечёткой топологии. Программа Заде остановилась на пороге «непрерывной» математики, составляющей основу анализа и обработки данных (математический и функциональный анализ, спектральные методы, дифференциальные уравнения и т.д.). Причина большая сложность нечёткой арифметики: она тесно связана с интервальным анализом, который, в свою очередь, недистрибутивен и крайне ограничен в своих применениях. Теперь можно сформулировать основную цель и задачи наших исследований продолжить программу Заде проникновения нечётких множеств в непрерывную математику, разработать мягкие, нечёткие методы анализа данных и применить их в изучении физических полей Земли. Как было сказано выше, работа в этом направлении началась в 1999 году и привела к новому методу анализа данных. Называется он «Дискретный математический анализ» (в дальнейшем ДМА). Для его понимания необходимо обратиться к стандартному дискретному анализу: «Дискретный анализ область математики, занимающаяся изучением свойств структур конечного характера. Дискретный анализ представляет собой важное направление в математике, имеющее характерные для него предмет исследования, методы и задачи, специфика которых обусловлена, в первую очередь, необходимостью отказа в дискретном анализе от основополагающих понятий классический математики предела и непрерывности и (в связи с этим) тем, что для многих задач дискретного анализа сильные средства классической математики оказываются, как правило, мало приемлемыми» [Математическая энциклопедия, 1979]. 99
100 Была предпринята попытка исправить это положение и получить конечный предел, но не в рамках классической математики, а нечётким моделированием способности человека ощущать предельность. Надо отметить, что подход к конечному пределу и ДМА, как продолжение программы Заде на «непрерывную» математику, следует считать одним из возможных. Далее с помощью конечного предела по сценарию классической математики были получены конечные аналоги основных фундаментальных понятий: непрерывности, связности, плотности, тренда и др. Так возник ДМА. Он представляет собой серию алгоритмов, нацеленных на решение основных задач анализа данных: кластеризацию и трассирование в многомерных массивах, морфологический анализ рельефов, поиск аномалий и трендов на записях и так далее. Все алгоритмы ДМА носят универсальный характер, скреплены единой формальной основой, базирующейся, в свою очередь, на конечном пределе. Для более точного описания ДМА обратимся к его блок-схеме (рис. 2.1). Три верхние блока относятся к «Формальным основам» ДМА. Умение человека анализировать данные объясняется не только способностью оперировать с нечёткими понятиями, но и очень гибким, адаптивным восприятием фундаментальных понятий предельности, близости, непрерывности, связности и др. Потому что именно из этих понятий, как из конструктора, складываются все алгоритмы обработки данных. В блоке «Формальные основы» мы пытаемся достичь такого отношения к этим понятиям, трактуем их как нечёткие и строим функции принадлежности к ним, тем самым переводя их на язык нечёткой математики, для того, чтобы дальше работать с ними с помощью нечёткой логики. В результате такой формализации предельность, близость, непрерывность, связность, тренд и т.д. предстают в ДМА в виде параметризованных нечётких структур, что придаёт им необходимую гибкость и адаптивность. В этой связи процитируем Рональда Ягера: «. всё, что нам нужно для решения большинства практических задач это параметризованные семейства определений, которые в час надобности допускали бы нестандартный выбор операторов, отражающих характерные особенности конкретного приложения. Преимущество этого подхода состоит в том, что, избегая фиксированных, конкретно-независимых определений, теория нечётких множеств и нечёткая логика достигают плюрализма, который повышает их гибкость и экспрессивные возможности» [Нечеткие множества и теория возможностей. Последние достижения, 1986]. 100
101 Рис Схема ДМА. «Формальные основы» дают возможность строго определить все объекты и понятия ДМА: кластеры, сгущения, трассы, аномалии, тренды, сглаживания, морфологию и т.д. На их поиск нацелены остальные блоки ДМА. Каждый из них развёртывается в серию алгоритмов, объединённых единым названием. Блоки слева (Роден, Кристалл, Монолит, Трассирование) представляют алгоритмы, нацеленные на поиск кластеров, сгущений, трасс в многомерных дискретных пространствах [Агаян и Соловьев, 2004; Соловьев и др., 2005; Гвишиани и др., 2002а, 2002б; Mikhailov et al., 2003]. Остальные ветви схемы ДМА относятся к конечным временным рядам (КВР) и образуют вторую серию алгоритмов, представленных на рис. 2.1 («Равновесие», «Прогноз», DRAS, FLARS, алгоритмы поиска нечетких монотонностей, экстремумов, морфологический анализ КВР: алгоритм «Геометрические меры») [Гвишиани и др., 2003а, 2003б; Gvishiani et al., 2004; Zlotnicki et al., 2005; Агаян и др., 2005; Богоутдинов и др., 2007]. К этой же серии относится и алгоритм FCARS (Fuzzy Comparison Algorithm for Recognition of Signals). 101
102 Настоящая диссертация во многом посвящена расширению именно этого раздела ДМА. Находящиеся в этих блоках алгоритмы реализуют функциональный подход к рядам, напоминающий классический математический анализ гладких функций. Именно этим объясняется название подхода: для рядов строятся дискретные аналоги гладкости, разрывности, монотонности, экстремума, выпуклости, изучается и их геометрия. Таким образом, ДМА является единой основой большой серии алгоритмов, имеющих достаточно универсальный характер. Ниже мы будем говорить о ДМА, отождествляя его с алгоритмами, представленными на рис Итак, ДМА это подход к изучению многомерных массивов и временных рядов, базирующийся на моделировании предела в конечной ситуации и реализованный в серии алгоритмов. Основой построения конечного предела послужил более устойчивый по сравнению с математическим характер восприятия человеком дискретности и стохастичности. Другими словами, то, что академик Кейлис-Борок называл моделированием «на глаз»: решает не математика, а эксперт, и его решение нужно формально выразить [Кейлис-Борок, 1968]. Нечёткая математика и нечёткая логика обладают достаточными возможностями для моделирования экспертных представлений и рассуждений, и потому именно они послужили технической основой ДМА. ДМА не противоречит классическим методам обработки данных, а дополняет их, но по сравнению с ними значительно более ориентирован на эксперта. В изучении данных, представленных временными рядами, выделяются две последовательные задачи. Первая из них выделение сигнала на фоне шума. Вторая распознавание аномальных участков выделенного сигнала. Диссертация посвящена второй задаче, важной в исследованиях, связанных с ретроспективным анализом и оценкой возможного возникновения таких природных явлений как землетрясения, извержения вулканов, магнитные бури и т.д., а также явлений, носящих техногенный характер. Исходной информацией при этом являются наблюдаемые временные ряды геофизических данных. Эта работа продолжает цикл исследований [Гвишиани и др., 2002а, 2002б; Mikhailov et al., 2003; Гвишиани и др., 2003а, 2003б; Gvishiani et al., 2004; Агаян и Соловьев, 2004; Соловьев и др., 2005; Zlotnicki et al., 2005; Агаян и др., 2005; Богоутдинов и др., 2007], в которых описывается новый подход к исследованию аномалий. К настоящему моменту ДМА имеет важные геолого-геофизические и геодинамические приложения [Гвишиани и др., 2002б; Mikhailov et al., 2003; Zlotnicki et al., 2005; Соловьев и др., 2005; Агаян и др., 2005; Богоутдинов и др., 2007]. Среди них изучение аномалий на сейсмических, геоэлектрических, геомагнитных, и гравитационных 102
103 записях, поиск магнитных аномалий, мониторинг вулканов, геодинамические приложения, геоэкологические исследования мест возможного захоронения радиоактивных отходов. В то же время сфера приложений ДМА существенно шире. Так, описанные ниже алгоритмы могут быть использованы в анализе временных рядов самой различной природы. Общепринятые алгоритмы выделения аномалий на временных рядах основываются преимущественно на статистическом и частотно-временном анализах. Созданные в рамках ДМА алгоритмы поиска аномалий на временных рядах представляют собой иной подход к моделированию рассуждений и действий человека при поиске аномалий, по сравнению с подходами к распознаванию аномальных событий, перечисленными в историческом экскурсе. В рамках ДМА это попытка моделирования логики интерпретатора, распознающего «на глаз» аномалии на записи, с целью ее дальнейшего автоматизированного использования для анализа больших массивов данных, не поддающихся ручной обработке. Трактовка аномальности является свободным параметром этих алгоритмов, а потому они способны работать с очень широким пониманием аномальности на временных рядах и могут моделировать практически любое экспертное мнение по этому вопросу. Алгоритмы DRAS, FLARS и FCARS [Гвишиани и др., 2003б; Gvishiani et al., 2004; Гвишиани и др., 2008б] дают оценку границ искомых аномалий и осуществляют их морфологический разбор в виде начальной, центральной и конечной стадий с выделением сильных и слабых фаз в центральной стадии. Достаточная «гибкость» алгоритмов обеспечивается посредством широкого набора «выпрямлений» [Гвишиани и др., 2003б; Gvishiani et al., 2004; Zlotnicki et al., 2005; Гвишиани и др., 2008а, 2008б], возникающих при моделировании работы интерпретатора. Упрощая работу интерпретатора, визуально определяющего аномалии на записи, мы понимаем ее следующим образом. Сначала он скользит взглядом по записи, оценивая для себя в терминах положительных чисел активность ее небольших фрагментов. При этом выработанные числовые оценки «мысленно» присваиваются фрагментам или центрам фрагментов записи. Так от исходной записи интерпретатор переходит к неотрицательной функции, которую естественно назвать «выпрямлением» записи. Действительно, ее точкам, более активным с точки зрения искомых сигналов, будут соответствовать большие значения этой функции (выпрямления). Далее, поиск интерпретатором аномалий на записи сводится к поиску возвышенностей на ее выпрямлении, отвечающим наиболее активным участкам записи. Таким образом, 103
104 интерпретатор работает на двух уровнях: локальном выпрямлении записи, и глобальном поиске возвышенностей на выпрямлении. Естественно, предложенная упрощенная модель логики интерпретатора не может рассматриваться, как единственная и/или универсальная. Кроме того, рассуждения интерпретатора во многом определяются тем конкретным типом аномалий (данных), которые он рассматривает. Представляется, однако, что процесс «выпрямления» в той или иной форме оказывается «задействованным» в любом случае. Локальный уровень: построение выпрямления записи. Аномалия на записи (временном ряде) понятие неоднозначное, видоизменяющееся как от записи к записи, так и в рамках одной записи. Так же как и для других, интуитивно ясных математических понятий (например, элемент множества), мы не пытаемся дать ее строгого определения. Аномальность возникает из примеров, которые даются экспертами. В рамках ДМА для адекватного моделирования «аномалий» (зон повышенной активности) применяется открытый к пополнению набор «выпрямлений». Точные конструкции приведены в разделе Глобальный уровень: поиск возвышенностей на выпрямлении. Примеры показывают, что рельеф выпрямления может быть устроен достаточно сложно (см. раздел 2.2.2). Аномалии могут не обладать постоянно высокой активностью, быть неоднородными (активных участков больше, но их разделяют «спокойные» точки). Соответствующие им участки выпрямления представляют собой осциллирующие возвышенности. Естественно искать «платформу», то есть связное основание такой возвышенности и на ней указать искомые «всплески». Для этого необходима более тонкая, чем просто выбор по вертикальному уровню, процедура выделения возвышенностей на ( k ). Эта процедура должна сочетать в себе процесс объединения y (поиск платформ) и процесс размежевания (вырезание всплесков внутри платформ) [Гвишиани и др., 2008а]. Для поиска больших значений выпрямления используются нечеткие сравнения (см. раздел 2.2.3) Выпрямления и их примеры Пусть дана дискретная положительная полуось, 0, 1, 2, 104 h kh h k и КВР y y y( kh), определенный на отрезке (периоде регистрации) T h. Введем k параметр локального обзора 0, кратный h : h. Назовем фрагменты локального обзора записи y с центром в kh T ее отрезок: 2 1 h k y y,, y,, y. k h k k h
105 k Определение. Если J y совокупность фрагментов локального обзора записи y и : J, где - множество положительных действительных чисел, то k k суперпозицию k y y ( k) def назовем выпрямлением y на основе. y Собственно отображение будем называть выпрямляющим функционалом. Выпрямление можно считать определенным удачно, если то, что интерпретатор объявляет аномалиями на записи, переходит к возвышенности на выпрямлении. Соответственно для построения выпрямления крайне полезным оказывается наличие материала обучения, т.е. обработки достаточно длительной части записи экспертом. Примеры выпрямлений. 1. Длина фрагмента обзора 2. Энергия фрагмента обзора L k y k 1 h y y jk j 1 j h k k h 2 j k E y y y, где y jk h k h k h j k 2 h 3. Отличие фрагмента обзора от его регрессии n-го порядка: k h k n 2 n( ) [ j Regr k ( )], y jk h R y y jk h y j где n Regr k - оптимальное среднеквадратичное приближение n-го порядка y фрагмента Regr 0 k y k 2 y. Заметим, что при n=0 получается предыдущий функционал энергия: k k k h h h 2 h k 0 2 yj yk, j k y j k h jk jk jk h h h 4. Осцилляция фрагмента обзора: k R0( y) y Regr ( jh) y y E( y) k h k h k O( y) max y min y [Гвишиани и др., 2003б]. jk h j jk h j Единый локальный уровень семейства алгоритмов ДМА для анализа временных рядов состоит в построении выпрямления y и переходе к нему от записи y. Это преобразование моделирует первый этап анализа, проводимого интерпретатором «на глаз». На рис. 2.2а приведена запись y естественного электрического потенциала в окрестности вулкана Ла Фурнез (остров Реюньон, Франция; 8-9 марта 1998 года), на рис. 105
106 k 2.2б ее выпрямление с помощью выпрямляющего функционала «Энергия E y k рис. 2.2в ее выпрямление с помощью выпрямляющего функционала «Длина L y», а на». Рис Примеры выпрямлений записи: а - запись собственного электрического потенциала в окрестности вулкана Ла Фурнез (остров Реюньон, Франция; 8-9 марта 1998 года); б - выпрямление этой записи с помощью выпрямляющего функционала энергия ; в - выпрямление с помощью выпрямляющего функционала длина Нечеткие сравнения Во многих случаях обычная мера превосходства одного числа над другим в виде их разности оказывается слишком грубой. В частности, алгоритмы ДМА требуют более тонких конструкций сравнения чисел. Определение. Нечеткое сравнение n( a, b ) действительных чисел a и b измеряет в знакопеременной шкале отрезка [-1,1] степень превосходства b над a : n( a, b) mes( a b) [ 1,1]. (2.19) Таким образом, роль нечеткого сравнения может играть любая функция 2 f ( a, b), f : [ 1,1], возрастающая по b при фиксированном a и убывающая по a при фиксированном b (возрастание и убывание понимаются при этом в обычном смысле) с дополнительными граничными условиями 106
107 a lim f ( a, b) 1 b lim f ( a, b) 1 a f ( a, a) 0. b a Действительно, такие функции будут обладать свойствами, которые естественно требовать при сравнении чисел. Если n( a, b ) - нечеткое сравнение, а - монотонно возрастающее преобразование отрезка [ 1,1] в себя, то суперпозиция ( n)( a, b) также будет нечетким сравнением, которое называется вариацией n при помощи. Выбор дает возможность усиливать или ослаблять базовое сравнение n. В алгоритмах семейств алгоритмов ДМА для анализа временных рядов достаточно использовать нечеткие сравнения, определенные на положительных числах. Действительно, обработка записей этими алгоритмами ведется через их выпрямления, принимающими только положительные значения. Введем следующее семейство базовых нечетких сравнений n ( a, b), 0, а также их вариации специального вида n, ( a, b). Определение. Если ab, 1. для любого 0, то b a n ( a, b) ( a b ) 1 2. для любого ( 1,1) положим n, ( a, b) ( n ( a, b)), где t, t [,1] 1 () t t, t [ 1, ] 1 Такая вариация корректна: n0, ( a, b) 0( n ( a, b)) n ( a, b). При 0 получается усиление n, при 0 - наоборот, его ослабление. В дальнейшем под сравнением n( a, b ) понимается какое-либо n, ( a, b), 0, 1 1. Нам понадобится расширение n( a, b ) до понятия нечетких сравнений n( a, A ) и n( A, a ) произвольного числа a 0 с произвольной взвешенной совокупностью чисел A ( a, w ), a,0 w вес a, i 1,, N. Такое расширение неоднозначно. Каждый N i i 1 i i i вариант такого расширения по-своему дает формализацию понятия «большой (маленький) относительно A (по модулю A )». Мы понимаем n( a, A) mes( a A), как функцию принадлежности на к нечеткому понятию «быть маленьким по модулю A» и n( A, a) mes( A a), как функцию принадлежности на большим по модулю A». к нечеткому понятию «быть 107
108 В дальнейшем развитии алгоритмических конструкций алгоритмов использовались три расширения: Бинарное расширение. n( a, a ) w N i1 i i b(, ) [ 1,1] N i 1 wi n a A n n( a, a) w N i1 i i b( A, a) [ 1,1] N i 1 wi Гравитационное расширение. (2.20) N i 1 aw i i Пусть gra центр тяжести совокупности A, т.е. gra N w n ( a, A) n( a, gra) [ 1,1] g n ( A, a) n( gra, a) [ 1,1] g i1 i, тогда (2.21) -расширение. Левый момент l ( a, A) ( a a ) w : a a есть довод за максимальность a по i i i модулю A. Соответственно, правый момент r ( a, A) ( a a) w : a a минимальность a по модулю A. Тогда есть довод за i i i l r n ( a, A) n ( a, A), ( a, A) [ 1,1]. (2.22) r l n ( a, A) n ( a, A), ( a, A) [ 1,1] Представляется естественным считать, что если выполнение некоторого свойства выражается в шкале [ 1,1], то попадание в отрезок 1,1 2 0, 1 2 означает сильно- (слабо-) экстремальное проявление этого свойства. Следуя этому, формализуем понятия «большой» и «маленький» по отношению к взвешенной совокупности A (по модулю A ). Определение. Назовем число a 0 для данной взвешенной совокупности A на основании данного нечеткого сравнения n и его расширений n( A, a ), n( a, A ) 1. сильно (слабо) большим, если n( A, a) 1, сильно (слабо) маленьким, если n( a, A) 1,1 2 n( A, a) 0, 1 ; 2 n( a, A) 0, 1. 2 Пример. Мера экстремальности ( k) в алгоритме FLARS (мера FLARS а) получается как результат сравнения (2.20) значения выпрямления ( k ) с взвешенной совокупностью y y k Im ( k) ( k ), ( k ), k T, где ( k ) - модель глобального обзора на отрезке [ ab, ] записи y в точке k : k y 108
109 ( k) n Im ( k), ( k), где y y k k. (2.23) k ( k ) 1 max k a, k b 1 Стандартный FLARS [Gvishiani et al., 2004] получается при использовании конструкции -расширения (2.22). Аналогично можно построить две другие версии FLARS, используя бинарную (2.20) и гравитационную (2.21) конструкции. Последние приводят к более «жестким» моделям алгоритма FLARS. Степень различия в «жесткости» принятия решения этими тремя версиями алгоритма FLARS представлена на следующем синтетическом примере (рис. 2.3). Рис Примеры применения алгоритма FLARS с различными конструкциями расширения нечеткого сравнения. Черным цветом обозначены распознанные аномальные участки: а - мягкая - конструкция, n определено формулой (2.22); б умеренная бинарная конструкция, n b определено формулой (2.20); в жесткая гравитационная конструкция, n g определено формулой (2.21). 109
110 Пример. Параметр локального обзора в алгоритмах DRAS и FLARS [Гвишиани и др., 2003б; Gvishiani et al., 2004] означает близость на отрезке регистрации T записи y. С помощью нечетких сравнений его выбор также может быть автоматизирован: обозначим через dt k k : k k T совокупность всех нетривиальных расстояний на T. Тогда - сильноминимальный элемент по mod dt и является решением уравнения n(, dt ) Алгоритм распознавания выбросов на минутных данных SP (SPIKE) Неформальная логика, лежащая в основе поиска выброса на записи, может быть коротко описана следующим образом: Выброс цепь связанных друг с другом сингулярных фрагментов записи, представляющих собой значительные по вертикали и незначительные по горизонтали возмущения, не приводящая к смещению уровня записи [Богоутдинов и др., 2010]. Аналогично с алгоритмами [Агаян и др., 2005; Гвишиани и др., 2008а; 2008б], построенный в этой работе алгоритм распознавания выбросов на записи имеет два уровня. На локальном уровне ищутся сингулярные фрагменты, а на глобальном уровне анализируются их сочетания на предмет смещения уровня записи. Запись (магнитограмму) мы будем интерпретировать как временной ряд y < y y( t)>, заданную на отрезке (периоде регистрации) T дискретной полуоси t h < t kh, h 0, k 1,2, >, где h шаг дискретизации, k узел наблюдения. Без потери общности положим h 1. Локальный уровень. Сингулярный фрагмент на записи y y() t - это значительное по вертикали (сингулярное по значениям) и незначительное по горизонтали (сингулярное по времени, кратковременное) ее возмущение. Поскольку сингулярный фрагмент значителен по вертикали, он обязательно должен включать в себя резкие, стремительные динамики на yt (). Под динамиками на записи yt () везде в дальнейшем понимаются участки резких стохастических трендов. Идеальный пример это двухэлементная динамика [ y, y ] с очень большой по модулю производной D ( t ). t t h Однако мы находимся в стохастической ситуации, отличной от идеальной. Соответственно, на проявление стремительности и резкости записи yt () мы даем динамике записи не более 2 тактов, где h. Их поиск на yt () будем осуществлять y 110
111 с помощью выпрямления осцилляция Oy( t, ) [Гвишиани и др., 2008а; 2008б] (рис. 2.4): Oy( t, ) max y( t ) y( t ) : t, t [ t, t ] (2.24) и нечеткого сравнения n [Гвишиани и др., 2008а] (см. раздел 2.2.3). Под n мы будем подразумевать какое-либо из нечетких сравнений Минковского b a n( a, b) n ( a, b) ( b a ) 1, ab,, 0 [Колмогоров, Фомин, 1981; Гвишиани и др., 2008а]. Оно поможет нам выбрать очень большие значения для Oy( t, ) : A A(, n) T : t A n( O ( T), O ( t)), [0.75,1], (2.25) y y где O ( t) O ( t, ) и O ( T) < O ( t, ): t T>. y y y y -100 Magnetogram = 10, = Рис Фрагмент магнитограммы (вверху) и построенное для нее выпрямление осцилляция Oy( t, ) (внизу). Большие значения Oy( t, ) находятся выше отмеченного уровня. Именно на отрезках [ t, t ] при t A и лежат резкие динамики d t y, d [ b, e ] [ t, t ]. Мы называем их сингулярными фрагментами или t t t элементарными динамиками на yt () и отождествляем с носителем Следующий шаг определение d : y t dt t d. d t (рис. 2.5). Поскольку динамика кратковременна по горизонтали и сингулярна по вертикали, то на отрезке d t d t обязательно 111
112 будут лежать точки со значительными по модулю производными. Обозначим их совокупность через B : B B(, n) T : t B n( D ( T), D ( t) ), [0.5,1]. (2.26) y y (а) (б) Рис Примеры элементарных динамик. Они выделены черными цветом. Тогда концы d t лежат в B. Так мы боремся с инерцией при определении помощью отбрасывания его возможных слабых концов ( энергичная динамика должна энергично начинаться и энергично заканчиваться ). Итак, с помощью горизонтального параметра h d t с d t, нечеткого сравнения n и двух уровней вертикальной сингулярности очень большого и значительного мы формализовали понятие сингулярного фрагмента (элементарной динамики) d t на записи 112
113 yt (). Итог локального уровня совокупность элементарных динамик < d, t A>на глобальном уровне, и будут складываться выбросы. динамики t t. Из них, Глобальный уровень. Посмотрим на запись yt () глобально, перенумеруем d, t A и обозначим их через < d >, k 1,, A k. Теперь определим выброс s на yt () как цепь довольно близко расположенных друг с другом элементарных динамик yt (). Пусть d k, не приводящую к смещению базового уровня h параметр достаточной близости между динамиками d k в выбросе s :, и результат предварительного анализа на стадии обучения. Выброс s определяется объединением k** d e b kk* k k k1 :, собой фрагмент записи yt () с началом b * и концом e ** : s y. k k * ** k k,, k 1 и представляет [ b *, e ** ] k k Определим крылья () s и () s выброса s (рис. 2.6). Они помогут выразить его вертикальную сингулярность на глобальном уровне и, тем самым, завершить формализацию s. Положим ( s) y ( s) y [ b *, b *] k k [ e **, e ** ] k k. 113
114 (а) (б) Рис Серым цветом обозначено множество ( s) ( s), черным цветом множество s. Сохранение выбросом базового уровня записи yt () означает ее спокойствие на объединении () s и () s по сравнению с s (рис. 2.7), что формализуется нечетким сравнением n. n( O( ( s) ( s)), O( s))
115 (а) n( O( ( s) ( s)), O( s)) (б) Рис Значение n( O( ( s) ( s)), O( s)) больше 0.5 говорит о наличии выброса (черный цвет). Последовательная реализация описанных выше шагов приводит к объективному распознаванию выбросов на записи временного ряда yt () и представляет собой самодостаточный алгоритм их поиска. По аналогии с целью исследования будем называть его алгоритмом SP (сокращенно от SPIKE). Из (2.24)-(2.26) следует, что конкретная реализация алгоритма SP определяется выбором следующих свободных параметров: 115
116 h параметр обзора динамики, h, параметр достаточной близости между динамиками, [0.75,1] уровень экстремальности осцилляции, [0.5,1] уровень значительности производной, каждый набор свободных параметров обозначим через (. ), а их совокупность через 4 P. (2.27) Таким образом, построенный в рамках введенной математической модели алгоритм SP осуществляет единообразное формализованное выделение выбросов на временных рядах произвольной природы. Блок схема алгоритма SP приведена на рис Рис Блок-схема алгоритма SP. 116
117 2.4. Алгоритм распознавания выбросов на секундных данных SPs (SPIKEsecond) Предлагаемый алгоритм SPs (от SPIKEsecond) нацелен на поиск на записи (временном ряде) y сингулярных выбросов (спайков) произвольной природы с простой морфологией, показанных на рис. 2. Рис Примеры (а) положительного и (б) отрицательного выбросов. Логика, лежащая в основе алгоритма, основана на следующей модели выброса. Простой выброс (в дальнейшем выброс) S представляет собой сингулярный стохастический экстремум, имеет вершину t(s), в которой встречаются его энергичные стороны l S и r l S, окруженные спокойными крыльями ( ) r w S и w ( S ) (рис. 2.9). Ниже приведены формальные определения перечисленных понятий: вершина t(s), энергичность, стороны l S и r l S, спокойствие, крылья ( ) r w S и w ( S ). Графически некоторые из этих понятий отражены на рис Алгоритм SPs начинает поиск выброса S с определения его вершины t t( S), выбирая тот или иной экстремум на y. Далее SPs строит стороны l S и r S вокруг t. Если l r они оказываются трендами, энергичными на записи y, то тройка S ( S, t, S ) образует квазивыброс на y (рис. 2.10), с которым SPs продолжает работать. Далее алгоритм ищет l r спокойные крылья w ( S ) и w ( S ), соответственно, слева и справа от l S и r S. Наличие таких крыльев делает квазивыброс S изолированным от других квазивыбросов, то есть выбросом (рис. 2.10б). Именно на распознавание таких выбросов на записи y нацелен алгоритм SPs. 117
118 Рис Примеры квазивыбросов: (а) квазивыброс не является выбросом, (б) квазивыброс является выбросом. l r l r Формирование сторон ( S, S ) и крыльев ( w, w ) выброса требует распознавания на записи y связи «спокойствие-энергичность» и «возрастание-убывание». В алгоритме SPs это делает так называемый -анализ. Таким образом, алгоритм SPs состоит из трех блоков: «-анализ», «Поиск квазивыбросов» и «Выбор выбросов». На рис приведена его блок-схема. 118
119 Рис Блок-схема алгоритма SPs. Перед точным описанием каждого блока алгоритма SPs подведем промежуточный итог в виде следующих положений: 119
120 1) В поиске выбросов необходимо различать на исходной записи спокойные и энергичные участки. 2) В свою очередь, энергичные участки нуждаются в дальнейшей классификации на возрастающие и убывающие. Действительно, выбросы это квазивыбросы, окруженные спокойными крыльями, а квазивыбросы представляют собой комбинации энергичных возрастаний и убываний. 3) Учитывая принципиальную применимость алгоритма к широкому классу временных рядов различной природы, следует определить спокойствиеэнергичность, возрастание-убывание в общей стохастической ситуации. Блок 1: «-анализ». В основе распознаваний «спокойствие-энергичность» и «возрастание-убывание» в алгоритме SPs лежит линейная регрессия [Draper and Smith, 1966]. Она просто и эффективно решает эти проблемы своим угловым коэффициентом: его знак отвечает за возрастание и убывание, а модуль за спокойствие и энергичность. Однако линейной регрессии можно верить только на непродолжительных фрагментах записи y. Т.о., понадобилась оригинальная процедура для распространения понятий «спокойствия-энергичности» и «возрастания-убывания» на произвольные фрагменты записи y. Перейдем к точному изложению -анализа в форме приведенных ниже последовательных шагов. 1) Исходная запись (временной ряд) y предполагается заданной на отрезке (периоде регистрации) T [ a, b] дискретной положительной полупрямой < kh, k 1,2, >, h h 0 : y < y y( kh), kh T>k Без ограничения общности положим h 1, так что h. 2) Если k, и отрезок [ k, k ] T, то назовем -фрагментом k y записи y ее ограничение на [ kk, ]: k y < yk,, yk >. 3) Введем в рассмотрение линейную регрессию [Draper and Smith, 1966] фрагмента k y : k Regr( k y) r qk, k [ k, k ]. Коэффициенты r r( k) и q q( k) определяются с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реальных значений [ kk, ]. k y от значений регрессии Regr( k y) на интервале k 120
121 4) Распознавание «возрастание-убывание» для -фрагментов записи y определяем следующим образом: фрагмент фрагмент k k y возрастающий, если Regr( k y) k k y убывающий, если Regr( k y) k < Regr( k y), k > Regr( k y). 5) Распознавание «спокойствие-энергичность» для -фрагментов на записи y выполняется на основе: k k k модуля разности F( y) Regr( t y) Regr( t y), считающимся в алгоритме SPs показателем активности фрагмента формализации для k y, k y с помощью нечеткого сравнения понятий сильноактивного (энергичного) и слабоактивного (спокойного) -фрагмента. 6) Нечеткое сравнение n( A, B ) неотрицательных чисел A и B измеряет в знакопеременной шкале отрезка [ 1,1] степень превосходства B над A (см. раздел 2.2.3): n( A, B) mes( A B) [ 1,1]. Во многих случаях обычная линейная мера превосходства B над A в виде их разности B A оказывается слишком грубой. Тогда целесообразно использование различных вариантов нечетких сравнений A и B с нормировкой. В алгоритме SPs мы используем нечеткое сравнение B A n ( A, B) ( A B ) 1, A 0, B 0, 0 ; n (0,0) 0. (2.28) 7) Распознавание «спокойствие-энергичность» для -фрагментов записи y использует нечеткое сравнение n (рис. 2.12): фрагмент фрагмент n( F( y), F( y)) b a 1 k k k y энергичный, если k[ a, b] 1 n( F( y), F( y)) b a 1 k k k y спокойный, если k[ a, b] 2, где 1 (0,1], (2.29), где 2 (0,1]. (2.30) 121
122 k Рис Фрагмент записи (сверху) и соответствующий график F( y), рассчитанный k для 5 (снизу). Значения F( y) выше отмеченного уровня соответствуют энергичным фрагментам k y. Здесь 0.5 и ) Локальный взгляд на запись y в алгоритме SPs моделируется мягко выбором множества локальных размеров обзора (2.31) 1 m i [Гвишиани и др., 2008а; 2008б]. Вариативность ( m 1) придает устойчивость и гибкость алгоритму SPs в его последующих, уже глобальных на y, распознаваниях «спокойствие-энергичность», «возрастаниеубывание». Будем считать -фрагментом записи y любой ее i -фрагмент y для k i i подходящего i и k [ a, b ], i 1,, m. С помощью -фрагментов и их связных i i объединений распознавания «спокойствие-энергичность» и «возрастание-убывание» продолжаются на произвольные фрагменты записи y. Фрагмент y [ cd, ] считается возрастающим (убывающим), если существует его связное покрытие возрастающими (убывающими) -фрагментами. Формально это выглядит так: p y возрастающий [ c, d] j1[ c j, d j ], где [ cd, ] c c 1, d dp, c j [ c j1, d j1], j 2,, p, d j [ c j1, d j1], j1,, p 1 (рис. 2.13) и y возрастающий -фрагмент на y для всех j 1,, p. [ cj, dj ] Соответственно, p y убывающий [ c, d] j1[ c j, d j ], где [ cd, ] 122
123 c c 1, d dp, c j [ c j1, d j1], j 2,, p, d j [ c j1, d j1], j1,, p 1 (рис. 2.13) и y убывающий -фрагмент на y для всех j 1,, p. [ cj, dj ] Аналогично, фрагмент y [ cd, ] считается спокойным (энергичным), если существуют его связное покрытие спокойными (энергичными) -фрагментами: p y спокойный [ c, d] j1[ c j, d j ], где [ cd, ] c c 1, d dp, c j [ c j1, d j1], j 2,, p, d j [ c j1, d j1], j1,, p 1 (рис. 2.13) и y спокойный -фрагмент на y для всех j 1,, p. [ cj, dj ] Соответственно, p y энергичный [ c, d] j1[ c j, d j ], где [ cd, ] c c 1, d dp, c j [ c j1, d j1], j 2,, p, d j [ c j1, d j1], j1,, p 1 (рис. 2.13) и y энергичный -фрагмент на y для всех j 1,, p. [ cj, dj ] Рис Иллюстрация связных объединений -фрагментов. Таким образом, «-анализ» позволяет эффективно определять и распознавать спокойствие и энергичность, а также возрастание и убывание на записи y. Он служит технической основой для распознавания выбросов в последующих блоках алгоритма SPs. Блок 2: «Поиск квазивыбросов». Не ограничивая общности, работу этого блока мы формализуем для положительного квазивыброса (для отрицательного конструкция аналогична). Определение. Фрагмент S y [ cd, ] на записи y называется положительным квазивыбросом, если внутри отрезка [ cd, ] существует точка t t( S) (вершина l квазивыброса S), разделяющая S на энергичную возрастающую его левую часть S y [ ct, ] r и энергичную убывающую его правую часть S y [ td, ]. Алгоритм SPs начинает поиск положительного квазивыброса S с определения его вершины t. В качестве нее он выбирает тот или иной локальный максимум на y. После этого путем подбора энергично возрастающих -фрагментов алгоритм SPs выстраивает 123
124 максимальную связную цепь с концом в t и полагает ее левой частью l S квазивыброса S. Аналогично справа, начиная с t, алгоритм SPs выстраивает максимальную связную цепь из энергично убывающих -фрагментов и считает ее правой частью r S квазивыброса S. Таким образом, блок «Построение квазивыбросов» использует распознавания «возрастание-убывание» и «энергичность», реализуемые в блоке «-анализ». Квазивыброс определяется своей вершиной, от которой в обе стороны выстраиваются его левая и правая части. Блок 3: «Выбор выбросов». Осталась последняя задача понять какие квазивыбросы надо классифицировать как выбросы. Логика выбора состоит в отборе квазивыбросов со спокойными крыльями. Выбор крыльев для квазивыброса S y [ cd, ] в алгоритме SPs происходит адаптивно, путем их выстраивания из спокойных - l фрагментов. Левое крыло w ( S ) естественно заканчивается в точке c и имеет протяженность, равную протяженности левой части l S. Аналогично определяется правое r крыло w ( S ) квазивыброса S (рис. 2.14): w l ( S) y [2 ct, c], w r ( S) y [ d,2 d t]. Рис Иллюстрация определения левого и правого крыльев (пунктир) квазивыброса (чёрный цвет). Таким образом, блок «Выбор выбросов» использует -анализ в его части, относящейся к распознаванию «спокойствие». Спокойные крылья, сопровождающие квазивыброс, делают его выбросом. Как видно из описания, алгоритм SPs = SPs (,, 1, 2) зависит от следующих свободных параметров: < i: i, i 1,, m>набор локальных размеров обзора записи (2.31), 124
125 0 параметр нечеткого сравнения (2.28), 0 1 уровень экстремальности (2.29), уровень спокойствия (2.30). 2 Поскольку на практике в каждой версии алгоритма SPs (,, 1, 2) мы полагаем множество постоянным: < = ii, 1,,10>, то в дальнейшем мы будем считать, что i алгоритм зависит от трех свободных параметров SPs = SPs (, 1, 2). Обозначим через (,, ) каждый набор свободных параметров Алгоритм распознавания скачков JM (JUMP) Неформальная логика Неформальная логика, лежащая в основе поиска скачков на записи, может быть описана следующим образом: «Скачок аномалия на записи, приводящая к смещению ее уровня». По аналогии с целью исследования будем называть соответствующий алгоритм JM, сокращенно от JUMP скачок (англ.). В основе алгоритма JM лежит нечеткая мера скачкообразности (рис. 2.15), представляющая собой функционал исходной записи с областью значений от 0 до 1. Большие значения этого функционала соответствуют резкому изменению уровня исследуемой записи, а их выбор происходит с использованием нечетких сравнений. Рис На верхнем графике приведен фрагмент исследуемой записи B Z, на среднем соответствующая записи мера скачкообразности. 125
126 Запись (магнитограмму) мы будем интерпретировать как временной ряд y < y y( t)>, заданную на отрезке (периоде регистрации) T дискретной полуоси t h < t kh, h 0, k 1,2, >, где h шаг дискретизации, k узел наблюдения. Без потери общности положим h Нечеткие грани Для построения алгоритма выделения скачков нам понадобится понятие нечетких n граней. Пусть A a i конечное числовое множество и B A - его произвольное 1 подмножество. Тогда порядок B - порядок этого подмножества, B b: b B - сумма его элементов, SB B B - их среднее значение. Нечеткие итерационные верхние и нижние скалярные грани S ( A) и S ( A) определяются для A индуктивно с использованием вспомогательных подмножеств Начало индукции: для k 0 полагаем S ( A) S ( A) S( A) 0 0 A k, A k. ; A0 a A: a S0( A) ; A0 a A: a S0( A) Предположение и шаг индукции: считая грани S ( A), S ( A) k k и множества A k, A k уже определенными, положим S k и Ak Ak Sk ( A) Ak Ak Sk ( A) Sk 1( A) Sk( A) ; Sk 1( A) Sk( A) A A : k ( ) ; Ak 1 a A: a Sk 1( A) A a A a S A k1 1. В качестве нечетких верхней и нижней граней supa и inf A для A выбираются S k для подходящего порядка k. На рис. 2.16, 2.17 показаны нечеткие грани первых пяти и трех порядков. 126
127 Рис Пример вычисления нечетких верхней и нижней граней при k = 0,, 5. При k = 0 нечеткая верхняя и нижняя грань показана фиолетовым цветом, в остальных случаях верхняя красным, нижняя зеленым. Рис Нечеткие грани первых трех порядков. При k = 0 нечеткая верхняя и нижняя грань показана зеленым цветом, в остальных случаях верхняя красным, нижняя синим. Нечеткие грани с разной степенью жесткости разбивают числовую прямую относительно A на четыре части: маленькие, слабомаленькие ( незначительные скорее маленькие, чем большие), слабобольшие ( незначительные скорее большие, чем маленькие), большие. Чем k больше, тем разбиение жестче, менее учитывает специфику A и поэтому неинтереснее. P S k W W S k k k маленький значительный маленький незначительный большой незначительный большой значительный (, S ( A)] ( Sk ( A), S0( A)] по mod A p ( S, S ( A)] 0 k k k ( S ( A), ] Предельно жесткое разбиение получается при k, если положить S max A и совершенно не учитывать A : k S k min A, 127
128 P S W W S маленький маленький большой большой по mod A (,min A] (min AS, ] ( S0,max A] (max A, ] 0 p Разницу W ( A) S ( A) S ( A) естественно назвать стохастической шириной A k k k k-го порядка. Ширина W ( A ) гибко отображает обычное статистическое отклонение ( A) d( A). k Нечеткая мера скачкообразности Располагая алгоритмом FCARS [Гвишиани и др., 2008б] и методикой вычисления нечетких граней, мы можем перейти к поиску скачков. Поскольку скачок является аномалией (см. неформальную логику алгоритма JM), применим к ее распознаванию алгоритм FCARS. Воспользуемся этим алгоритмом и выделим на записи yt () все ее аномалии (временные возмущения). Пусть A y [ cd, ] произвольная аномалия на yt (), распознанная алгоритмом FCARS (рис. 2.18). Предполагаемый в аномалии A скачок на yt () должен приводить к значительному не только по вертикали, но и по горизонтали смещению уровня записи в районе A. Поэтому, выбирая параметр обзора переходим от аномалии A к ее -окрестности A( ) y [ c, d ] и ищем уже для A( ) скачки [ ab, ] на отрезке [ cd, ]. Их поиск осуществляется с помощью вычисления нечетких (мягких) граней конечного числового множества: нечеткого супремума sup и нечеткого инфимума inf. Их определение приведено выше. h, мы Рис На примерах показаны два события (красный цвет), распознанные алгоритмом FCARS. 128
129 Обратимся к поиску скачка ( ) отрезка [ a, b] [ c, d] ja в аномалии A y [ cd, ]. Для этого для каждого определим с помощью нечетких граней мягкие коридоры, в которых лежат фрагменты y [ a, a ] и y [ bb. Обозначим их границы слева, ] соответственно через linf y[ a, b ] и lsup y[ a, b ], а справа через rinf y[ a, b ] и rsup y[ a, b ]: linf y[ a, b] inf < y( t): t [ a, a]>; lsup y[ a, b] sup < y( t): t [ a, a]>rinf y[ a, b] inf < y( t): t [ b, b ]>; rsup y[ a, b] sup< y( t): t [ b, b ]>. Если отрезок [ ab, ] является скачком, то построенные -коридоры записи yt () слева и справа от отрезка [ ab, ] должны быть согласованы друг с другом, то есть располагаться на существенно разных уровнях. Это приводит к двум последовательным тестам (рис. 2.19): T : linf y[ a, b] lsup y[ a, b ] rinf y[ a, b ] rsup y[ a, b ] (скачок вверх) 1,u T : lsup y[ a, b] linf y[ a, b] rsup y[ a, b ] rinf y[ a, b ] (скачок вниз). 1,d Рис Внутри выбранных событий выделены скачки (красный цвет). Слева и справа на крыльях (зеленый) показаны нечеткие грани (черный цвет). Условимся, что запись [ a, b] T будет означать выполнимость для отрезка [ ab, ] теста T. Для [ a, b] T1 определим меру скачкообразности jmesa[ a, b ] аномалии A на отрезке [ a, b] [ c, d] отрезков: через нечеткое сравнение внутренних и внешних 129
130 n(rinf y[ a, b ] lsup y[ a, b ],rsup y[ a, b ] linf y[ a, b ]) T1, u jmesa[ a, b ],[ ab, ]. n(linf y[ a, b ] rsup y[ a, b ],lsup y[ a, b ] rinf y[ a, b ]) T1, d Мера jmes дает возможность устроить дальнейшую проверку аномалии A на наличие в ней скачка: будем считать, что в отрезке [ a, b] [ c, d] испытывает скачок, если справедлив тест T 2 : T : jmesa[ a, b] 2. аномалия A y [ ab, ] Если аномалия A y [ cd, ] удовлетворяет тестам T 1 и T 2, то будем считать ее скачком ja ( ) отрезок [ a, b] [ c, d], в котором мера jmesa[ a, b ] минимальна def j( A) [ a, b] argmin jmes y[ a, b, ]. [ a, b ] ( T T ) Тесты T 1 и T 2 не изменятся, если фрагмент [, ] кратный ему фрагмент [, ] 1 2 A( ) y c d заменить на A( ) y c d для 0. Другими словами, тесты 1 T и T 2 однородны. Это следствие однородности конструкций inf ( ), sup( ) и нечеткого сравнения n (). Поэтому успешно выдержавшие тесты T 1 и T 2 скачки на записи yt () могут иметь незначительный абсолютный характер. Пример (рис. 2.19, слева) иллюстрирует сказанное: найденная алгоритмом FCARS аномалия является скачком, но слабым. Нужна еще одна последняя проверка скачка на его абсолютную величину. Ее логика такова: если аномалия A имеет скачок j( A) [ a, b] записи yt () новая запись y( t) y( t) y [ ab, ], то после ее удаления из и уже в соседних для себя точках a h b h также испытает скачок, в частности, эти точки будут вертикально аномальны в смысле алгоритма FCARS. Мы приходим к тесту T 3, основанному на алгоритме FCARS: T : min( F ( a h ), F ( b h )). 3 y y s Здесь Fy ( ) выпрямление записи y на основе локального обзора h,, s - уровень сильной вертикальной аномальности в алгоритме FCARS. Последовательная реализация описанных выше шагов приводит к объективному распознаванию скачков на записи временного ряда yt () и представляет собой самодостаточный алгоритм их поиска. Конкретная реализация алгоритма JM определяется выбором следующих свободных параметров: 130
131 h параметр локального обзора алгоритма FCARS, h параметр глобального обзора, [0.9,1] уровень сильной вертикальной аномальности в алгоритме FCARS, [0.5,1] уровень скачкообразности аномалии. Каждый набор свободных параметров обозначим через (. ). Два примера работы алгоритма JM на магнитных записях ИНТЕРМАГНЕТ приведены на рис (а) (б) Рис Пример выделения скачков (черный цвет) на предварительных записях ИНТЕРМАГНЕТ (внизу) и сравнение результатов с записями, прошедшими ручной контроль качества экспертами (вверху): фрагмент записи компоненты Y на обсерватории BOU (а), фрагмент записи компоненты Z на обсерватории BOU (б) Мера аномальности В рамках диссертации при помощи описанного ниже метода решается задача оценки геомагнитной активности по данным наземных наблюдений магнитного поля 131
132 Земли. Для этого вводится мера аномальности, являющаяся модификацией алгоритма FCARS (Fuzzy Comparison Algorithm for Recognition of Signals). А именно, мы ограничиваемся использованием вертикальной меры аномальности (t) (в дальнейшем просто мера аномальности) алгоритма FCARS. Вертикальная мера аномальности алгоритма FCARS [Гвишиани и др., 2008б] v ( k) [ 1,1] в точке k T определяется как нечеткое сравнение (см. раздел 2.2.3) образа Im y y( T ) выпрямления y (рис. 2.21) с его значением ( k ) в точке k : v ( k) n Im, ( k). y y y Рис Иллюстрация первых этапов работы алгоритма FCARS: построение выпрямления и поиск возвышенностей на выпрямлении. Для адекватного моделирования локальной аномальности в алгоритме FCARS применяется открытый к пополнению набор «выпрямлений», представляющих собой разные конструкции функционалов от исходной записи (см. раздел 2.2.2). Пусть модулю Im : ( ( ) соответственно сильный (слабый) уровень экстремальности по y s s w w ) решение уравнения nim, 1 y s n y w Определение. v 1. Точка k вертикально фоновая, если ( k) 0 ( k) ; 2 y Im, 0. w v 2. Точка k вертикально аномальная, если ( k) 1 2 ( k) ; y s 132
133 v 3. Точка k вертикально потенциально-аномальная, если ( k) 0, 1 2 ( k),. y w s Обозначим через vb множество вертикально фоновых точек, через va множество вертикально аномальных и через vp множество вертикально потенциальноаномальных точек. Они дают вертикальное разбиение периода регистрации T vb va vp. На рис приведена рассчитанная вертикальная мера аномальности на примере магнитограммы обсерватории Chambon la Foret (CLF). Рис Сверху приведена магнитная запись компоненты X за январь 2005 г., полученная на обсерватории Chambon la Foret (CLF), посередине приведено выпрямление записи y (в данном случае «Длина»), снизу приведена вертикальная мера аномальности v ( k) [ 1,1]. На всех трех графиках синим цветом помечены точки, принадлежащие v множеству vb ( ( k) 0 ), зеленым и фиолетовым точки множества vp v ( ( k) 0, 1 v 2), красным точки множества va ( ( k) 1 ) Алгоритм распознавания событий на данных о цунами RTFL (Recognition of Tsunamis Based on Fuzzy Logic) Предлагаемый алгоритм RTFL (Recognition of Tsunamis based on Fuzzy Logic) предназначен для поиска на записях событий двух видов: соответствующих приходу P- волны и приходу цунами. Как и предыдущие алгоритмы, описанные в данном разделе, 133
134 RTFL также основан на базовых принципах алгоритмического подхода к анализу временных рядов в рамках ДМА. Поставленная задача решается в три этапа. На первом этапе мы проводим одномерное вейвлет-преобразование исходного сигнала с помощью симлет-вейвлетов 6-го порядка, принадлежащих семейству модифицированных вейвлетов Добеши [Смоленцов, 2005] (см. раздел 1.1.4). Затем мы проводим реконструкцию вейвлет-коэффициентов с 1- го по 5-ый уровни. В результате мы получаем наборы коэффициентов аппроксимации (рис. 2.23а) и детализации (рис. 2.23б). (а) (б) Рис Записи, построенные на базе восстановленных вейвлет-коэффициентов аппроксимации (а) и детализации (б) с 1-го по 5-ый уровни. На каждом из двух рисунков на верхнем графике приведен фрагмент исходной записи, а на последующих сверху вниз приведены записи, построенные на базе соответствующих коэффициентов 1-го уровня, с 1-го по 2-ой уровни, с 1-го по 3-ий уровни, с 1-го по 4-ый уровни и с 1-го по 5-ый уровни. 134
135 По результатам реконструкции вейвлет-коэффициентов вычисляются два временных ряда: ряд, построенный с использованием вектора коэффициентов детализации 1-го уровня, и ряд, построенный с использованием вектора коэффициентов детализации с 1-го по 5-й уровни (рис. 2.24). Назовем Выпрямлением 1 ( R 1) модуль значений первого ряда и Выпрямлением 2 ( R 2 ) модуль значений второго ряда. Эти две записи и предназначены для дальнейшего анализа. Рис Примеры записей, построенных с использованием восстановленных вейвлеткоэффициентов детализации. На каждом рисунке сверху приведен фрагмент исходной записи, посередине запись, построенная с использованием коэффициентов детализации 1-го уровня, снизу запись, построенная с использованием коэффициентов детализации с 1-го по 5-й уровни. Из обоих примеров на рис ясно видно, что большие по модулю значения на среднем графике соответствуют характерному сигналу P-волны на исходной записи, а большие по модулю значения на нижнем графике характерному сигналу волны цунами на исходной записи. Поэтому на втором этапе осуществляется поиск аномалий (больших значений) на полученных выпрямлениях. Для этого рассчитывается вертикальная мера аномальности алгоритма FCARS (Fuzzy Comparison Algorithm for Recognition of Signals) [Гвишиани и др., 2008б] (см. раздел 2.6) на R 1 и R 2. Большие значения построенной меры на R 1 соответствуют P-волнам, а большие значения построенной меры на R 2 соответствуют цунами (рис. 2.25). 135
136 Рис Примеры выпрямлений и расчета вертикальной меры аномальности согласно алгоритму FCARS (красная линия). Вначале мы разбиваем область задания на смежные отрезки длиной точек. Для первого выпрямления R 1 на каждом отрезке решаем уравнение n 0.5 (Im R 1, r ) 0.9. Все точки отрезка, в которых значение r (вертикальный уровень аномальности), мы будем считать аномальными. Фактически это означает, что в точках, где значение выпрямления r, вертикальная мера аномальности 0.9. На втором выпрямлении R 2 сценарий тот же самый, но с другими параметрами. На каждом из отрезков длиной точек мы решаем уравнение n0.5 (Im R2, r) 0.8 и определяем аномальные зоны на втором выпрямлении, т.е. точки, в которых вертикальная мера аномальности 0.8. На рис красной линией отмечены рассчитанные вертикальные уровни аномальности. Значения выпрямлений, лежащие выше соответствующего уровня, соответствуют аномальным значениям на исходной записи. Нетрудно заметить, что сегменты аномальности, особенно в случае Выпрямления 2 ( R 2 ) (рис. 2.25), образуют разрывные отрезки. Для объединения подобных сегментов и уточнения границ начала и конца аномалии служит третий этап алгоритма. Понятие близких аномалий вводится следующим образом. Для этого в случае первого выпрямления R 1 задается параметр 1 50 и считается, что две аномалии должны быть объединены в одну, если расстояние между ними меньше 1. Все полученные отрезки 136
137 считаются P -волнами. В случае второго выпрямления R 2 полученные аномалии объединяются с параметром близости Они предполагаются волнами цунами Выводы 1. Создана новая алгоритмическая система автоматизированного распознавания и изучения аномальных событий на больших временных рядах различных геофизических данных. Алгоритмы отличаются универсальностью, позволяя решать широкий спектр геофизических задач. В отличие от существующих методов распознавания аномальных событий, в их основе лежит моделирование естественных рассуждений и действий человека при поиске аномалий. Этот метод базируется на алгоритмическом подходе дискретного математического анализа (ДМА) к распознаванию аномалий на временных рядах регистрации геофизических полей. 2. На базе конструкции нечетких сравнений строго формализованы понятия, необходимые для анализа временных рядов: нечеткая мера аномальности, оценивающая в шкале от -1 до 1 степень аномальности того или иного фрагмента временного ряда на общем фоне, нечеткие грани, позволяющие выявлять наиболее характерные диапазоны изменения значений на фрагментах временных рядов, и нечеткая мера скачкообразности, оценивающая в шкале от -1 до 1 степень значительности перепада базового уровня. Эти формализации позволяют эффективно решать поставленные в рамках диссертации задачи методом ДМА. 3. Описанные в главе алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия свободных параметров. Используя конкретный набор значений параметров, алгоритмы осуществляют единообразное формализованное распознавание аномальных событий на временных рядах произвольной природы. Специфика и морфология данных при этом отражены в результатах обучения (значениях свободных параметров). 4. Разработанные алгоритмы связаны общей математической основой с использованием нечеткой логики и базируются на единой математической теории дискретном математическом анализе. Это делает соответствующую алгоритмическую систему эффективным и универсальным инструментарием, позволяющим решать широкий круг задач, связанных с анализом временных рядов и распознаванием отраженных на них аномальных событий. 5. Разработанный алгоритмический метод ДМА адаптирован для распознавания аномальных событий на временных рядах магнитограмм, зарегистрированных на наземных обсерваториях и искусственных спутниках Земли. 137
138 6. Разработанный метод адаптирован для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. 138
139 ГЛАВА 3. Распознавание на магнитограммах аномальных событий техногенного происхождения алгоритмами дискретного математического анализа Данная глава основана на результатах, опубликованных в работах [Soloviev et al., 2009, 2012а, 2013; Богоутдинов и др., 2010; Гвишиани и др., 2011; Соловьев и др., 2012а; Сидоров и др., 2012; Клейменова и др., 2013; Kleimenova et al., 2012; Зелинский и др., 2014] Техногенные сбои на магнитограммах Наблюдения магнитного поля Земли и его изучение является одной из важнейших задач геофизики. Система ИНТЕРМАГНЕТ служит основой мониторинга состояния магнитного поля Земли, поэтому требования к достоверности предоставляемой ею информации очень высоки. Несмотря на жесткий высокий стандарт качества регистрирующих приборов, они подвержены внешним воздействиям, которые отражаются на качестве записей. Поэтому важной задачей является объективное, формализованное распознавание, а затем и устранение возникающих техногенных аномалий (сбоев) на записи. В данной главе предложены новые алгоритмы SP, SPs и JM автоматического распознавания аномалий с заданной морфологией, которые позволяют выделять на магнитограммах выбросы как физической, так и техногенной природы, а также скачки базового уровня. Алгоритмы построены с использованием нечеткой логики и в силу этого обладают большой адаптивностью и универсальностью. Разработанная и реализованная алгоритмическая система формализует работу эксперта-интерпретатора в терминах искусственного интеллекта. Это позволяет единообразно проводить обработку больших массивов данных, что практически невозможно сделать вручную. На рис. 3.1 приведены примеры характерных временных аномалий, которые требуется устранить для дальнейшего использования полученных наблюдений в целях мониторинга магнитного поля Земли и других фундаментальных исследований. Подобные аномалии (сбои), как правило, вызваны следующими причинами: 1. Природные явления; 2. Техногенные явления, включая перемещения больших объемов металла; 3. Калибровка измерительного прибора; 4. Искажение данных при их передаче из обсерваторий в информационные узлы с помощью Интернет. 139
140 Рис Примеры аппаратных сбоев магнитометра, отраженных на записях К природным явлениям, прежде всего, относятся грозы, которые индуцируют электрические токи внутри Земли и вызывают кратковременные изменения естественного хода ее магнитного поля. Полярное сияние может также оказывать кратковременное воздействие на обсерватории, расположенные в высокоширотных областях, за счет возникновения токов в ионосфере. Примером подобных природных явлений являются и пульсации магнитного поля [Троицкая, Гульульми, 1969], вызванные солнечной активностью. Одной из основных причин возникновения скачка базового уровня на записи является резкое изменение температуры в помещении, где установлен вариометр. Кроме того, установка новых значений базовой линии для измеряемых вариометром компонент, которые регулярно рассчитываются в результате проведения абсолютных измерений, является одной из возможных причин скачка базового уровня. Во многих случаях, установка новых значений базовой линии требуется в связи с запланированным перемещением вариометра или заменой элементов блока электроники. Температурные вариации также являются и причиной дрейфа базового уровня: на современных вариометрах дрейф характеризуется величиной нтл / o C. Дрейфы могут носить и долгосрочный характер и составлять более 2 нтл в год. К техногенным явлениям можно отнести близость городов, аэродромов, железных дорог, линий электропередач. Это также приводит к индуцированию тока внутри Земли и созданию помех в работе магнитного оборудования. При регулярной калибровке прибора 140
141 искусственно создаются помехи для проверки его работоспособности, что также сказывается на регистрируемых записях. При передаче данных через Интернет нестабильный канал связи (например, спутниковый) может быть причиной появления сбоев на записях. Такие сбои обнаруживаются экспертом при сравнении Интернет-данных с данными за тот же период регистрации, хранимыми независимо в локальных архивах. В то же время на выделенных каналах подобные сбои не наблюдаются. Регистрирующая аппаратура обсерваторий сети ИНТЕРМАГНЕТ, являющейся основой мониторинга магнитного поля Земли, подвержена внешним воздействиям, что отражается на качестве данных. При анализе магнитограмм требуется обнаружение на них характерных аномалий техногенного происхождения, которые подлежат устранению Автоматизированное распознавание выбросов на минутных магнитограммах Постановка задачи распознавания выбросов на минутных магнитограммах (1/60 Гц) ИНТЕРМАГНЕТ В настоящее время в мире функционируют более 120 обсерваторий стандарта ИНТЕРМАГНЕТ, которые в режиме реального времени регистрируют информацию о магнитном поле Земли в виде временных рядов. Обсерватории расположены по всему земному шару и каждая из них обладает оборудованием, необходимым для цифровой регистрации трех компонент и модуля магнитного поля Земли: векторный магнитометр, протонный магнитометр и магнитометр на теодолите. Большинство обсерваторий ИНТЕРМАГНЕТ осуществляют регистрацию с частотой 1/60 Гц. В настоящее время ряд французских обсерваторий переходят на работу с частотой 1 Гц. Переход на секундную регистрацию планируется и на российской обсерватории Борок [Анисимов, Дмитриев, 2003]. Данные из обсерваторий с минимальным запаздыванием (не более 72 часов) поступают в центры сбора данных (Geomagnetic Information Node GIN) ИНТЕРМАГНЕТ в Канаде (Оттава), США (Голден, шт. Колорадо), Франции (Париж), Великобритании (Эдинбург) и Японии (Киото) [Kerridge, 2001; Love, 2008]. В нашей стране обсерватории ИНТЕРМАГНЕТ успешно функционируют в поселке Борок (Геофизическая обсерватория ИФЗ РАН), в Иркутске (Институт солнечно-земной физики СО РАН), Новосибирске (Алтае-Саянское отделение Геофизической службы СО РАН), Магадане (Институт космофизических исследований и распространения радиоволн ДВО РАН) и Якутске (Институт космофизических исследований и аэрономии СО РАН). 141
142 Ежегодно эксперты обсерваторий и центров сбора магнитных данных осуществляют вручную обработку и фильтрацию накопленных сырых (предварительных preliminary) данных, делая обработанные (окончательные definitive) данные доступными мировому научному сообществу. Несмотря на тесное сотрудничество между обсерваториями, подходы к обработке данных могут отличаться и нести в себе субъективность оценки того или иного эксперта. Кроме того, даже у одного эксперта процесс обработки данных может меняться со временем, к примеру, с приходом усталости. В связи с этим математическая формализация распознавания временных возмущений могла бы способствовать существенному повышению качества окончательных данных ИНТЕРМАГНЕТ [Soloviev et al., 2009]. В свою очередь, повышение качества наблюденных магнитных данных внесет существенный вклад в наши знания о магнитном поле Земли. Первоначально алгоритм обучен и проэкзаменован на данных 2007 и 2008 гг., характеризующихся спокойной геомагнитной обстановкой. Для оценки стабильности работы алгоритма SP и с целью его возможного дальнейшего совершенствования необходима также проверка его работы на данных, осложнённых помехами в виде природных короткопериодических колебаний (пульсаций) [Троицкая, Гульульми, 1969; Клейменова, 2007; Клейменова и др., 2013; Kleimenova et al., 2012; Зелинский и др., 2014]. Именно эти пульсации и являются чаще всего «ложными тревогами» при распознавании искусственных выбросов, поскольку они: 1) не приводят к смещению базового уровня записи; 2) близки к выбросам по форме сигнала, а иногда и по амплитуде и частоте. Данные природные возмущения (сингулярные фрагменты записи) формально соответствуют приведённому в разделе 2.3 определению выброса. Однако распознавание их как выбросов является ошибкой второго рода. Таким образом, отдельный интерес представляет собой применение разработанного метода к задаче распознавания выбросов на геомагнитных данных, соответствующих годам повышенной солнечной активности. К таким периодам относятся, например, гг. и 2005 г. [Ишков, 2006]. В рамках этой задачи требуется также оценить величины ошибок первого рода (пропуск цели) и второго рода (ложная тревога) Обучение алгоритма SP. Формальная схема обозначения: Для проведения процедуры обучения алгоритма SP введем следующие S < s k >, k 1,,114 - множество обсерваторий ИНТЕРМАГНЕТ; 142
143 D < d i >, i 1,,4, di < X, Y, Z, F>измеряемых на обсерваториях ИНТЕРМАГНЕТ; - множество компонент магнитного поля, y s, d- компонента типа d, зарегистрированная обсерваторией s ; ( y s, d ) - произвольный фрагмент временного ряда s, d множество всех таких фрагментов на записи y s, d. y, ys, d y, ( ) < ( )>- Обучающая выборка определяется подмножествами S S и D D и представляет собой совокупность всех фрагментов всех записей y s, d с s S и d D: ( S, D) < ( y ): ss, d D>. Элементы будем обозначать через y s, d s, d. ( ), где s S, d D Определим показатель качества работы алгоритма SP( ), (. ) фрагменте. Пусть A( ) - множество выбросов, найденных на фрагменте экспертом, а SP( )( ) - множество выбросов, найденных на фрагменте алгоритмом SP( ). Обозначим через s d, на K 1 ( SP( )( )) вероятность ошибки первого рода (пропуск цели) [Гмурман, 1997], т.е. того, что найденные на фрагменте экспертом выбросы пропущены алгоритмом SP( ): Обозначим через 1 A( ) SP( )( ) K ( SP( )( )) 1. (3.1) A( ) K 2 ( SP( )( )) вероятность ошибки второго рода (ложная тревога) [Гмурман, 1997], т.е. того, что найденные на фрагменте алгоритмом SP( ) выбросы не распознаны экспертом: 2 A( ) SP( )( ) K ( SP( )( )) 1. (3.2) SP( )( ) Общий критерий качества работы K( SP( )( )) K ( SP( )( )) алгоритма SP( ) на фрагменте представляет собой их -линейную комбинацию: если 0 1, то 1 2 K( SP( )( )) K ( SP( )( )) (1 ) K ( SP( )( )). (3.3) 143
144 Теперь можно определить критерий качества K( SP( )( )) распознавания алгоритма SP( ) на обучающей выборке, как интегральный показатель совокупности K( SP( )( )) по всем : K( SP( )( )) < K( SP( )( )), >. Вариантами соединения могут быть [Аверкин и др., 1986]: 1. Нечеткая дизъюнкция: K( SP( )( )) max< K( SP( )( )), >. (3.4) 2. Среднее по Колмогорову r r K( SP( )( )) K( SP( )( )) r < K( SP( )( )), >3. Нечеткое среднее 1 r, r 0. : K( SP( )( )) K( SP( )( )) < K( SP( )( )), >sup min, [0,1) Обучение алгоритма SP может происходить на выборках самой разной конфигурации, но самыми естественными представляются следующие уровни обучения: S D, (Глобальный уровень) S D, ( Уровень направления) s D, ( Уровень станции), ( Уровень фрагмента) (3.5) Критерий K( SP( )( )) при фиксированном множестве является функцией от свободных параметров алгоритма SP (. ) и. Процесс обучения состоит в минимизации этой функции на некотором множестве параметров P (4), т.е. в получении наборов оптимальных свободных параметров алгоритма * SP( ) на, * Arg min( K( SP(. ), )). Если таких наборов несколько, то через SP(, ) будем обозначать каждый такой алгоритм SP * ( ). Таким образом, составляющими частями обучения являются обучающая выборка параметров и критерий качества K K, множество, а результатом обучения реализация алгоритма SP(, ) при оптимальных значениях свободных параметров. 144
145 Обучение алгоритма SP в период пониженной магнитной активности Обучение алгоритма SP проводилось на четырех описанных выше уровнях с использованием 25 магнитограмм, зарегистрированных на 7 обсерваториях ИНТЕРМАГНЕТ (рис. 3.2) в период с 1 января по 31 декабря 2007 года частотой 1/60 Гц, то есть S S, S 7. Рис Схема расположения обсерваторий всемирной сети ИНТЕРМАГНЕТ. На этапе обучения использовались магнитограммы, которые были получены из семи обсерваторий, помеченных черными кругами Магнитограммы представляют собой предварительные записи данных. Продолжительность каждой магнитограммы составляет точек цифровой регистрации на временной оси. С обсерваторий 1, 2, 4, 5 использовались четыре компоненты X, Y, Z, F, с обсерваторий 3, 6, 7 только компоненты X, Y, Z (табл. 3.1). Стоит отметить, что выбранные обсерватории репрезентативны с точки зрения природы регистрируемых данных, поскольку расположены на разных широтах в северном полушарии. Кроме того, среди них имеется обсерватория, находящаяся вблизи северного полюса. 145
146 Таблица 3.1. Обсерватории ИНТЕРМАГНЕТ, магнитограммы которых за период обрабатывались алгоритмом SP Обсерватория Расположение Широта Долгота Компоненты 1 BNG Банги, ЦАР 4.3 о с.ш о в.д. X, Y, Z, F 2 BOU Болдер, США о с.ш о з.д. X, Y, Z, F 3 DOU Дюрбе, Бельгия о с.ш. 4.6 о в.д. X, Y, Z 4 FRD Фредериксберг, США 38.2 о с.ш о з.д. X, Y, Z, F 5 GUA Гуам, США о с.ш о в.д. X, Y, Z, F 6 HRN Свалбард, Польша 77.0 о с.ш о в.д. X, Y, Z 7 MMB Мэиамбэцу, Япония о с.ш о в.д. X, Y, Z Для обучения алгоритма SP во всех случаях рассматривалось следующее множество параметров: < 3, 5, 7,10,15 ; 5,10,15, 20, 30, 50 ; с шагом 0.025; с шагом 0.025>. Так как всегда меньше, было исследовано 4600 наборов параметров. При формирования множеств A( ) использовался результат рутинной обработки указанных выше магнитограмм экспертами. При этом выбросы на предварительных записях с амплитудой меньше 30 нтл не рассматривались. В критерии K значение принималось равным 0.9, что выражало большую степень важности мнения эксперта (критерия 2 K ). 1 K ) в сравнении с алгоритмом SP (критерий Оптимальные параметры алгоритма SP при обучении на различных уровнях приведены в табл. 3.2 и
147 Таблица 3.2. Оптимальные параметры алгоритма SP(, ), полученные с использованием различных обучающих выборок Уровень обучения Обучающая выборка Оптимальные параметры алгоритма Глобальный S D Уровень направления Уровень направления Уровень направления Уровень направления Уровень направления Уровень обсерватории Уровень обсерватории Уровень обсерватории Уровень обсерватории Уровень обсерватории Уровень обсерватории Уровень обсерватории S < X, Y>S < X>S < Y>S < Z>S < F> < BNG> < BOU> < DOU> < FRD> < GUA> < HRN>* D D D D D D < MMB>D
149 Функция распределения значений K 0.9, рассчитанных по результатам обучения на глобальном уровне, приведена на рис. 3.3, а количество наборов значений свободных параметров алгоритма при соответствующем значении K 0.9 приведено на рис Рис Функция распределения значений K 0.9 при обучении SP на глобальном уровне Рис Количество наборов значений свободных параметров алгоритма при соответствующем значении K 0.9 при обучении SP на глобальном уровне Контрольные эксперименты для оценки достоверности полученных результатов (внутренний экзамен) Внутренний экзамен состоит в применении оптимальных алгоритмов SP(, ) непосредственно к фрагментам из обучающей выборки. Ниже будет рассмотрено обучение алгоритма на четырех уровнях (3.5) Глобальный уровень На глобальном уровне использовалась обучающая выборка S D и был получен следующий оптимальный набор параметров 149 * (7,30,0.875,0.9) (табл. 3.2). Соответствующий алгоритм SP(, ), примененный к 25 выбранным магнитограммам, выделил 290 событий, из которых только 275 являются выделенными экспертами выбросами (табл. 3.4 и 3.5). На рис. 3.5 приведены примеры работы алгоритма
150 SP(, ), а на рис. 3.6 характерные образцы выбросов. Ошибки первого рода отсутствуют. Таким образом, вероятность пропуска события (ошибки первого рода) в этом случае равна 0.0, а вероятность выделения лишнего события (ошибки второго рода, рис. 3.7) мала и равна Таблица 3.4. Результаты внутреннего экзамена алгоритма SP(, ), полученного на глобальном уровне обучения. Обсерватория BNG BOU DOU FRD GUA HRN Компонента Выбросы, выделенные экспертом 150 События, выделенные алгоритмом SP Ошибка 1-ого рода (пропуск события) Ошибка 2-ого рода (ложные события) X Y Z F X Y Z F X Y Z X Y Z F X Y Z F X Y Z MMB X
151 Y Z Таблица 3.5. Результаты внутреннего экзамена алгоритма SP(, ), полученного на различных уровнях обучения Контрольная выборка S Выбросы, выделенные экспертом События, выделенные алгоритмом SP Ошибка 1-ого рода (пропуск события) Ошибка 2-ого рода (ложные события) D S < X, Y>S < X>S < Y>S < Z>S < F> < BNG> < BOU> < DOU> < FRD> < GUA> < HRN>D D D D D D < MMB>D
152 нтл нтл x MMB Z DOU Y Рис Примеры выделения выбросов (черный цвет) на обсерваториях ИНТЕРМАГНЕТ 152
153 нтл нтл x DOU Z : : : : :12 (а) x 10 4 FRD X : : : : :15 (б) Рис Примеры характерных выбросов 153
154 нтл нтл x 10 4 FRD X : : : : :59 (а) x 10 4 HRN Z : : : : :04 (б) Рис Примеры ложных событий Уровень направления В первом варианте обучения на уровне направления использовалась обучающая выборка S < X, Y>и был получен следующий оптимальный набор параметров * (3,30,0.925,0.9) (табл. 3.2). Соответствующий алгоритм (, ) к 14 магнитограммам из множества S < X, Y>SP, примененный, выделил 141 событие, из которых 138 являются выделенными экспертами событиями (табл. 3.5). Ошибки первого рода отсутствуют. Следовательно, вероятность пропуска события равна 0.0. Количество ложных ошибок равно трем, а вероятность ошибки второго рода При использовании в качестве обучающей выборки множества S < X>был получен следующий набор параметров * (3,30,0.9,0.9) (табл. 3.2). Соответствующий 154
155 алгоритм SP(, ), примененный к 7 магнитограммам из множества S < X>, выделил 83 события, из которых 82 являются выделенными экспертами выбросами (табл. 3.5). Ошибки первого рода отсутствуют и вероятность пропуска события равна 0.0. Было выделено одно лишнее событие, а вероятность ошибки второго рода При использовании в качестве обучающей выборки множества S < Y>был получен следующий набор параметров * (3,30,0.95,0.875) (табл. 3.2). Соответствующий алгоритм SP(, ), примененный к 7 магнитограммам из множества S < Y>, выделил 58 событий, из которых 56 являются выделенными экспертами событиями (табл. 3.5). Ошибки первого рода отсутствуют, вероятность пропуска события равна 0.0. Было выделено два лишних события, вероятность ошибки второго рода При использовании в качестве обучающей выборки множества S < Z>был получен следующий набор параметров * (5,30,0.9,0.875) (табл. 3.2). Соответствующий алгоритм SP(, ), примененный к 7 магнитограммам из множества S < Z>, выделил 106 событий, из которых только 96 являются выделенными экспертами событиями (табл. 3.5). Ошибки первого рода отсутствуют, вероятность пропуска события равна 0.0. Было выделено 10 лишних событий, вероятность ошибки второго рода При использовании в качестве обучающей выборки множества S < F>был получен следующий набор параметров * (5,30,0.925,0.5) (табл. 3.2). Соответствующий алгоритм SP(, ), примененный к 4 магнитограммам из множества S < F>, выделил 42 события, из которых 41 являются выделенными экспертами событиями (табл. 3.5). Не было пропущено ни одного выброса и было выделено одно лишнее событие. Таким образом, вероятность ошибки первого равна 0.0, а вероятность ошибки второго рода Уровень обсерватории В качестве обучающей выборки использовались множества s и D, s S * были получены семь наборов оптимальных параметров (табл. 3.2). Построенные на их основе алгоритмы SP(, ) применялись к соответствующим множествам s S s D,. Было выделено 284 события, из которых 275 являются выделенными экспертами событиями (табл. 3.5). Не было пропущено ни одного выброса и было выделено девять 155
156 лишних событий (четыре на обсерватории BNG и пять на обсерватории FRD). Следовательно, вероятность ошибки первого равна 0.0, а совокупная вероятность ошибки второго рода Уровень фрагмента При обучении алгоритма SP на уровне фрагмента s d, s S, d D (табл. * 3.1) было получено 25 наборов оптимальных параметров (табл. 3.3). Построенные на их основе алгоритмы SP(, ) применялись к соответствующим фрагментам. Было выделено 282 события, из которых 275 являются выделенными экспертами событиями (табл. 3.6). Не было пропущено ни одного выброса и было выделено семь лишних событий (четыре на обсерватории BNG и три на обсерватории FRD). Таким образом, вероятность ошибки первого равна 0.0, а совокупная вероятность ошибки второго рода Таблица 3.6. Результаты внутреннего экзамена алгоритма SP(, ), полученного при обучении на уровне фрагмента Обсерватория BNG BOU DOU FRD Компо- нента Выбросы, выделенные экспертом События, выделенные алгоритмом SP 156 Ошибка 1-ого рода (пропуск события) Ошибка 2-ого рода (ложные события) X Y Z F X Y Z F X Y Z X Y Z
157 GUA HRN MMB F X Y Z F X Y Z X Y Z Обсуждение результатов обучения Для обучения алгоритма SP использовались 25 магнитограмм, зарегистрированных на семи обсерваториях ИНТЕРМАГНЕТ за 2007 год. Географически рассматриваемые обсерватории расположены в самых различных частях земного шара и на разных расстояниях от магнитных полюсов. Тем самым исходные данные достаточно представительны для того, чтобы из полученных результатов внутреннего и внешнего экзаменов сделать вывод в пользу достоверности созданного формализованного метода распознавания выбросов на магнитограммах. Построенный в результате (, ) -обучения алгоритм SP(, ) проэкзаменован внутренним образом, т.е. на той же обучающей выборке. Совокупный анализ таблиц показывает, что чем ниже уровень обучающей выборки (3.5), тем качество распознавания алгоритма SP выше. В то же время, как видно из табл. 3.7, при повышении уровня обучения результаты ухудшаются, но не сильно. Это свидетельствует об устойчивости процесса распознавания алгоритмом SP относительно выбора материала обучения. Иными словами, при обучении индивидуально для каждой обсерватории и каждого направления мы имеем боле высокое качество распознавания, чем при обучении по магнитограммам всех рассматриваемых обсерваторий и по всем направлениям в совокупности. Выбор свободных параметров также слабо изменяется при изменении уровня обучения. Тем самым SP оказывается робастным алгоритмом относительно своих свободных параметров. был 157
158 Таблица 3.7. Зависимость качества распознавания от уровня обучения алгоритма Уровень обучения Вероятность ошибки 1-ого рода (пропуск цели) Вероятность ошибки 2-ого рода (ложное событие) Глобальный уровень 0% 5.5% Уровень компоненты 0% 5.1% Уровень обсерватории 0% 3.3% Уровень фрагмента 0% 2.5% Анализ таблиц показывает, что алгоритм SP работает лучше, если исследовать отдельно горизонтальные и вертикальную компоненты. Это объясняется тем, что SP носит морфологический характер и оказывается лучше приспособленным для выделения выбросов на компонентах X (табл. 3.4, вероятность ошибки второго рода 0.012) и Y (табл. 3.5, вероятность ошибки второго рода 0.036), нежели на компоненте Z (табл. 3.6, вероятность ошибки второго рода 0.104). Подчеркнем, важнейшим свойством проведенного обучения является полная переборка вариантов распознавания [Knuth, 1968], отвечающих возможным значениям свободных параметров алгоритма при фиксированной обучающей выборке. Это существенно повышает достоверность результатов, т.к. значения свободных параметров SP оказываются выбранными оптимальным образом Экзамен алгоритма SP в период пониженной магнитной активности (внешний экзамен) Внешний (независимый) экзамен состоит в применении оптимальных алгоритмов SP(, ) непосредственно к записям, не принадлежащим обучающей выборке. Алгоритм SP(, ) SP (7,30,0.875,0.9) был получен в результате обучения на глобальном уровне с использованием 25 записей за 2007 год (табл. 3.1). В качестве экзаменуемых записей использовались 17 записей с тех же обсерваторий (кроме обсерваторий BNG и FRD) за 2008 год. Таким образом, суть внешнего экзамена состоит в более объективной оценке результатов работы алгоритма, полученных на базе внутреннего экзамена. При этом объем данных, составляющих внешний экзамен, сравним с объемом данных, использованных при проведении внутреннего экзамена. 158
159 На записях за 2008 г. эксперт выделил 102 события (табл. 3.8), в то время как алгоритм SP(, ) выделил 110 событий, из которых 101 событие соответствует результатам работы эксперта, одно событие не выделено и девять выделенных событий ложные. Таким образом, при использовании алгоритма SP(, ), построенного на записях за 2007 год, для распознавания выбросов на записях за 2008 год вероятность ошибки первого рода составила 0.01, а вероятность ошибки второго рода Такие результаты независимого экзамена алгоритма SP(, ) следует считать весьма успешными. Таблица 3.8. Результаты внешнего экзамена алгоритма SP(, ), полученного при обучении на глобальном уровне. Обсерватория BOU DOU GUA HRN MMB Компо- нента Выбросы, выделенные экспертом События, выделенные алгоритмом SP Ошибка 1-ого рода (пропуск события) Ошибка 2-ого рода (ложные события) X Y Z F X Y Z X Y Z F X Y Z X Y Z
160 Экзамен алгоритма SP в период повышенной магнитной активности В разделах 3.2.3, и обучение и экзамен алгоритма SP проводились на данных гг., относящихся к периодам низкой солнечной активности и, соответственно, спокойной, невозмущённой геомагнитной обстановки [The latest AA* listing of Major Magnetic Storms, 2011]. Для эксперимента были использованы предварительные магнитограммы за 2003 и 2005 гг. по той же выборке компонент, на которой были проведены обучение и внутренний экзамен алгоритма SP. Географическое положение 7 обсерваторий, на которых были зарегистрированы рассматриваемые данные, указано на рис Геомагнитная обстановка в период с 2003 по 2005 гг. характеризовалась повышенной солнечной активностью [Ишков, 2006]. При обработке данных алгоритмом используются значения свободных параметров, полученные в результате обучения алгоритма на данных 2007 г. на уровне фрагмента (табл. 3.3). Выбор свободных параметров, полученных при обучении на уровне фрагмента, обеспечивает наилучшее качество распознавания (табл. 3.7). Важно отметить, что некоторые магнитные данные за 2003 г. имеют сравнительно низкое качество. На многих предварительных магнитограммах имеются достаточно большие интервалы отсутствия данных, особенно на записях обсерватории GUA. Кроме того, на предварительных магнитограммах обсерваторий BNG и MMB данные представлены лишь частично. Тем не менее, эти данные были использованы для сохранения репрезентативности выборки. При сравнении предварительных и окончательных магнитограмм оказалось, что предварительные данные за 2003 г. содержат 873 выброса, выделенных экспертами вручную, а за 2005 год 458 выбросов. По аналогии с предыдущими экзаменами, мы не рассматривали выбросы на предварительных записях с амплитудой меньше 30 нтл. В результате применения алгоритма к данным 2003 г. (табл. 3.9) было распознано 1032 события на всех исследуемых компонентах. В частности, алгоритм распознал все 873 из выбросов, выделенных экспертами. Кроме того, алгоритмом было распознано 159 лишних событий. Лучшие результаты распознавания отмечены на записях обсерватории DOU, также работу алгоритма можно считать успешной на данных обсерватории BOU. Несколько худшие результаты показало применение SP к данным обсерватории FRD, где алгоритмом было выделено 31 лишнее событие. Самые большие ошибки второго рода наблюдаются на магнитограммах обсерватории GUA, наибольшая из них на компоненте Y, где было выделено 24 лишних события. 160
161 Таблица 3.9. Результаты применения алгоритма SP, полученного при обучении на уровне фрагмента на данных 2007 г., к данным 2003 г. Обсерватория Компонента События, выделенные алгоритмом Выбросы, выделенные экспертами Ошибка 1-ого рода (пропуск цели) Ошибка 2-ого рода (ложная тревога) BNG X Y Z F BOU X Y Z F DOU X Y Z FRD X Y Z F GUA X Y Z F HRN X 0 0 Y 0 0 Z 0 0 MMB X Y Z
162 Применение алгоритма SP к данным 2005 г. (табл. 3.10) также показало в целом удовлетворительные результаты. Из выделенных экспертом 458 выбросов 457 были распознаны алгоритмом, кроме того, было выделено 78 лишних событий. Лишь в одном случае был не распознан выброс на магнитограмме компоненты Z обсерватории HRN. Лучшие результаты показало распознавание выбросов на обсерватории FRD, где, в сравнении с соответствующими результатами за 2003 г., все 102 выброса, выделенных экспертом, были распознаны алгоритмом с минимальной ошибкой второго рода (3 лишних события). Хорошие результаты вновь были получены на данных обсерваторий BOU и DOU. Результаты с наибольшей величиной ошибки второго рода были получены на магнитограммах компонент Y и Z обсерватории BNG и на компоненте Y обсерватории MMB. Таблица Результаты применения алгоритма SP, полученного при обучении на уровне фрагмента на данных 2007 г., к данным 2005 г. Обсерватория Компонента События, выделенные алгоритмом Выбросы, выделенные экспертами Ошибка 1-ого рода (пропуск цели) Ошибка 2-ого рода (ложная тревога) BNG X Y Z F BOU X Y Z F DOU X Y Z FRD X Y Z F GUA X Y
163 Z F HRN X 0 0 Y 0 0 Z MMB X Y Z Вероятности ошибок первого рода для выборок 2003 и 2005 гг. составили 0.0% и 0.2% соответственно. Вероятность ошибки второго рода составила 15.4% на данных 2003 г. и 14.6% на данных 2005 г. Несмотря на достаточно большие величины ошибок второго рода и ненулевые ошибки первого рода на данных 2005 г., в работе алгоритма не выявлено серьёзных сбоев, что свидетельствует об универсальности и надёжности его вычислительной схемы Обсуждение результатов экзаменов Алгоритм SP(, ), полученный на глобальном уровне, подвергся дополнительно внешнему экзамену. При этом использовались значения свободных параметров, выработанные на материале обучения (3.5). Внутренний экзамен проходил на обучающей выборке (табл. 3.4), а внешний на 17 магнитограммах, зарегистрированных на пяти обсерваториях за 2008 год (табл. 3.7). На внешнем экзамене появилась всего одна ошибка первого рода, а вероятность ошибки второго рода незначительно выросла с до по сравнению с внутренним экзаменом. Тем самым результат независимого внешнего экзамена следует считать успешным. Это дает другой важный аргумент в пользу достоверности полученных результатов. Сравнение результатов внутреннего и внешнего экзаменов для алгоритма SP показало, что вполне естественно, небольшое увеличение вероятности ошибок первого и второго рода во втором случае. Так как увеличение ничтожно мало, результаты распознавания следует признать успешными в обоих случаях. Применение алгоритма, полученного в процессе обучения на данных, соответствующих годам спокойной геомагнитной обстановки, к анализу магнитограмм, относящихся к годам повышенной солнечной активности, показало чуть менее успешные результаты в сравнении с внутренним экзаменом, проведённым на уровне фрагмента на 163
164 данных 2007 г. (табл. 3.6). Однако, полученные результаты для 2003 и 2005 гг. сравнимы с результатами внешнего экзамена на данных 2008 г., проведенного на глобальном уровне (табл. 3.8). Было установлено, что эффективность распознавания искусственных выбросов выше на интервалах относительно спокойного, невозмущённого поля, а также в случае относительно высокой амплитуды выбросов по сравнению со средним уровнем поля в их окрестности. Следует также отметить корреляцию величин вероятностей ошибок для 2003 и 2005 гг. с ходом развития 23-го солнечного цикла. Фаза спада в этом цикле длится с июля 2002 г. по май 2005 г., а оставшаяся часть временного интервала 2005 г. относится уже к фазе минимума, характеризующейся понижением относительного числа пятен на Солнце [Ишков, 2006]. Таким образом, качество работы алгоритма с данными значениями свободных параметров зависит не только от качества предварительных данных, но и в определённой степени от солнечной активности. При оценке всех результатов работы алгоритма SP были отдельно проанализированы лишние события, выделенные алгоритмом. Соответствующая статистика приведена в табл Таблица Сводная статистика по лишним событиям, выделенным алгоритмом SP. Ложные тревоги Период Количество событий Всего Искусственные возмущения Внезапные начала бурь Пульсации % 11.90% 73.60% % 34.60% 62.80% % 6.70% 93.30% % 11.10% 55.60% Представляется, что по двум причинам на данном этапе исследований целесообразно использовать алгоритм SP в полуавтоматическом режиме, т.е. параллельно с работой экспертов. 164
165 Во-первых, существуют трудные варианты выбросов, которые не могут быть распознаны данной версией алгоритма SP. Например, они существуют среди выбросов с амплитудой меньше 30 нтл (рис. 3.6а). Однако анализ трудных случаев распознавания дает повод для оптимизма. Дальнейшая модификация алгоритма SP должна привести к возможности выделять все выбросы, распознанные экспертом, включая и те, у которых амплитуда меньше 30 нтл, при этом, не выделяя ложные выбросы. Во-вторых, применение SP в таком режиме дает возможность накопления статистики, необходимой для глубокой оценки достоверности результатов работы алгоритма SP и возможности перехода на автоматическое (или автоматизированное) распознавание выбросов Автоматизированное распознавание выбросов на секундных магнитограммах Постановка задачи распознавания выбросов на секундных магнитограммах (1 Гц) ИНТЕРМАГНЕТ В настоящем разделе мы изучаем наиболее современные магнитные данные, полученные с большей частотой записи с шагом по времени в 1 секунду (1 Гц). Этот технологический прорыв в наблюдениях магнитного поля Земли, начавшийся несколько лет назад, в настоящее время внедряется на многих обсерваториях ИНТЕРМАГНЕТ и некоторых других геомагнитных обсерваториях. В частности, регистрация данных с частотой 1 Гц осуществляется французской магнитной обсерваторией на о. Пасхи в Тихом океане [Chulliat et al., 2009а] (рис. 3.8). Эта обсерватория и послужила источником данных, исследуемых в настоящей работе. Рис Обсерватория на о. Пасхи (черный круг) и соседние обсерватории ИНТЕРМАГНЕТ (звезды). 165
166 Сейчас большинство обсерваторий сети функционируют в режиме минутной регистрации. Одной из важнейших задач ИНТЕРМАГНЕТ является перевод всех обсерваторий сети на режим секундной регистрации геомагнитных данных. Такой переход даст возможность изучения магнитных пульсаций типа Pc2, Pc3 и Pc4 [Клейменова, 2007; Клейменова и др., 2013; Kleimenova et al., 2012; Зелинский и др., 2014]. В частности, появится возможность их автоматизированного распознавания с помощью методов, описанных в настоящей работе, а также методов [Гвишиани и др., 2008а; 2008б; 2010а]. В случае секундных магнитограмм формализация распознавания временных возмущений становится еще более актуальной задачей. Действительно, на таких высокочастотных записях малые возмущения, как правило, визуально плохо различимы. Работа с такими данными требует от экспертов повышенного внимания для более детального изучения предварительных записей. В то же время, при переходе от минутной регистрации к секундной, количество возмущений на магнитограммах становится несравнимо большим. В огромной мере возрастает вероятность ошибок и субъективного подхода экспертов. Это делает преобразование предварительных данных в окончательные крайне затруднительным, а иногда и невозможным. Последнее подтверждает необходимость разработки и использования оригинальных формализованных алгоритмов распознавания возмущений на магнитных временных рядах, чему и посвящена настоящая работа. Существуют различные типы временных возмущений техногенного характера, отраженных на предварительных магнитограммах: выбросы, скачки и дрейфы базовой линии и т.д. [Soloviev et al., 2009]. В ходе подготовки окончательных записей подобные возмущения должны быть распознаны и отфильтрованы. В случае секундных данных подавляющее большинство таких возмущений составляют выбросы. Таким образом, создание инструмента для формального и единообразного распознавания выбросов на предварительных магнитограммах во многом позволит решить указанную проблему в масштабе всего ИНТЕРМАГНЕТ. Придерживаясь этой идеи, в данной работе мы сосредоточились на распознавании выбросов, как на главной части проблемы. В статье мы приводим описание нового алгоритма распознавания образов SPIKEsec, который сокращенно будем обозначать через SPs. Алгоритм позволяет распознавать выбросы на секундных магнитограммах в автоматизированном режиме. При этом, достигаются малые вероятности пропуска цели и ложных тревог. Как и SP (см. раздел 2.3) [Богоутдинов и др., 2010], алгоритм SPs построен на основе теории 166
167 дискретного математического анализа (см. раздел 2.2) [Гвишиани и др., 2010а], развиваемой авторами более десятка лет. Нашей задачей является формализованное, алгоритмическое распознавание выбросов техногенной природы, например, вызванных сбоями в работе геомагнитного оборудования, при передаче данных, движением грузовиков, взлетами и посадками самолетов, либо другими неприродными источниками (рис. 3.9). В реальной практике ИНТЕРМАГНЕТ, в результате детального изучения суточных магнитограмм, такие выбросы удаляются экспертами вручную. В то же время, выбросы, вызванные природными явлениями (например, геомагнитные пульсации [Клейменова, 2007; Клейменова и др., 2013; Kleimenova et al., 2012; Зелинский и др., 2014], рис. 3.10), не должны расцениваться алгоритмом как искомые события и должны оставаться на окончательных магнитограммах. Таким образом, обработка предварительных магнитограмм требует особой настройки алгоритма SPs = SPs (, 1, 2), которая выражается в конкретном подборе его свободных параметров, 1, 2. Отметим также, что в отличие от распознавания выбросов на минутных магнитограммах (см. раздел 3.2) [Богоутдинов и др., 2010], проводя распознавание на секундных магнитограммах, мы не вводим ограничения снизу на амплитуду изучаемых выбросов. В случае минутных магнитограмм выбросы с амплитудой меньше 30 нтл не рассматривались. Рис Техногенные выбросы (черный цвет), которые удаляются экспертами вручную (компонента X, 5 июля 2009 г.). 167
168 Рис Природные выбросы, представляющие собой геомагнитные пульсации (компонента X, 1, 8 и 17 июля 2009 г.) Магнитная обсерватория на острове Пасхи. Исходные данные для распознавания Геомагнитная обсерватория на о. Пасхи была установлена в 2008 г. в рамках совместного проекта между Чилийским метеорологическим управлением (Direccion Meteorologica de Chile, DMC) и Парижским институтом физики Земли (Institut de Physique du Globe de Paris, IPGP). Обсерватория расположена на территории аэропорта Матавери, на достаточном расстоянии от посадочной полосы. Степень изолированности этой обсерватории крайне высока ближайшая обсерватория ИНТЕРМАГНЕТ расположена примерно в км (рис. 3.8). Таким образом, наличие этой обсерватории значительно улучшает распределение глобальной сети магнитных наблюдений. Измерения вариаций магнитного поля на постоянной основе начались в августе 2008 г., абсолютные измерения в декабре 2008 г. [Chulliat et al., 2009а]. Данные включают в себя значения измерений трех компонент вектора магнитной напряженности вдоль северного (X), восточного (Y) и вертикального вниз (Z) направлений, а также полной напряженности F магнитного поля Земли (XYZF-данные). Каждая 168
169 суточная запись по одному каналу с частотой 1 Гц состоит из точек регистрации на временной оси. В качестве исходного материала мы использовали предварительные магнитограммы, зарегистрированные этой обсерваторией с 1 июля по 31 августа 2009 г. с частотой 1 Гц. Каждая отдельная магнитограмма представляет собой суточные данные. Стоит отметить, что рассматриваемые значения трех компонент не подвергались корректировке с учетом значений базовой линии, потому, в частности, и являются предварительными Обучение алгоритма SPs Для обучения алгоритма мы использовали неочищенные предварительные данные за 20 дней, зарегистрированные на обсерватории о. Пасхи в период с 1 по 20 июля 2009 г. Также, к процессу обучения привлекались окончательные магнитограммы, т.е. тот же массив данных, но уже прошедший ручной контроль качества. В частности, контроль качества включает очистку исходных данных от выбросов. Сравнение результатов распознавания на предварительных магнитограммах с окончательными позволяет оценивать качество результата применения алгоритма и выбирать оптимальные значения его свободных параметров. Анализ окончательных магнитограмм показал, что секундные данные обычно содержат огромное количество выбросов по сравнению с минутными. На рассматриваемых записях, полученных за 20 дней, количество выделенных экспертами выбросов выглядит следующим образом: выбросов на компоненте X, выбросов на Y, 996 выбросов на Z, и выбросов на F. Статистическая информация по выбросам, удаленным вручную экспертами, приведена в табл Дополнительно, в табл мы привели статистику по распознанным экспертами выбросам за период с 21 по 31 июля 2009 г. Таблица Статистическая информация по выбросам за 01/07/ /07/2009 (материал обучения), распознанным и удаленным экспертами вручную. Запись Мин. Макс. Средн. Кол-во Мин. Макс. Средн. длительностьностьность, длитель- длитель- выбросотуда, нтл туда, нтл туда, нтл ампли- ампли- ампли- точки точки точки X Y
170 Z F Таблица Статистическая информация по выбросам за 21/07/ /07/2009 (материал экзамена), распознанным и удаленным экспертами вручную. Запись Мин. Макс. Средн. Кол-во Мин. Макс. Средн. длительностьностьность, длитель- длитель- выбросотуда, нтл туда, нтл туда, нтл ампли- ампли- ампли- точки точки точки X Y Z F Как видно из табл. 3.12, в процессе анализа секундных магнитограмм, наряду с высокоамплитудными выбросами (до 100 нтл), эксперты также уделяют внимание выбросам с довольно малыми амплитудами (около 0.1 нтл). Таким образом, алгоритму на стадии обучения требуется определить и использовать в дальнейшем распознавании признаки выбросов, характерные для разных амплитуд. Разброс амплитуд выбросов довольно сильно отличаются на разных каналах записи. Так, максимальные амплитуды выбросов на каналах X, Y и F в 3-5 раз больше, чем на канале Z. В то же время, средние значения амплитуд для X, Y и F остаются примерно одинаковыми. Исключением, опять же, является компонента Z, для которой средняя амплитуда выбросов в три раза меньше. Последнее, вероятно, объясняет разницу в качестве распознавания выбросов на записях компоненты X и компоненты Z, описанного ниже. Что касается длительности выбросов, в табл мы наблюдаем весьма схожие минимальные и средние значения по всем четырем каналам. Однако максимальные значения длительности отличаются более чем в два раза для каналов X, Y (190 точек) и каналов Z, F (
455 точек). Другое наблюдение характеризует разницу в характере исходного материала обучения. В случае горизонтальных компонент максимальная длительность выбросов вдвое меньше, а средняя амплитуда втрое больше. Можно заключить, что в этом случае выбросы более вытянутые вертикально и крутые (рис. 3.11), чем в случае вертикальной 170
171 компоненты. Качество распознавания выбросов во втором случае можно улучшить, выбрав другие диапазоны значений свободных параметров на стадии обучения SPs. (а) (б) Рис Различные формы выбросов: выброс (а) имеет втрое большую амплитуду и вдвое меньшую длину, чем выброс (б) Грубая настройка свободных параметров Поскольку средние амплитуды выбросов на каждом канале несравнимы между собой (табл. 3.12), обучение алгоритма SPs производилось по отдельности для каждого канала X, Y, Z, F. В результате, нам удалось получить оптимальные значения свободных параметров алгоритма SPs для каждого канала независимо. Для выбора оптимальных параметров мы осуществляли прямой перебор разных значений этих параметров [Knuth, 1968]. Каждая суточная одноканальная магнитограмма обрабатывалась алгоритмом SPs с различными комбинациями из следующего множества значений свободных параметров: 0.4, 0.5, 0.6, 0.7; , 0.5, 0.55, 0.6, 0.65;. (3.6) 2 0.2, 0.25, 0.3, 0.35, 0.4 Всего было опробовано =100 комбинаций значений свободных параметров. Для каждой версии SPs( ) были рассчитаны вероятность ошибки первого рода (пропуск цели), вероятность ошибки второго рода (ложная тревога) и общий критерий качества распознавания (см. раздел 3.2.2). Для общей оценки качества распознавания использовался критерий следующего вида: K ( SPs( )) P( SPs( )) (1 ) P ( SPs( )), (3.7) 1 2 где SPs( ) результат работы алгоритма при некоторой комбинации значений свободных параметров, выражающийся в выделении набора отрезков на временной оси, определяющих распознанные события, P 1 вероятность ошибки первого рода (пропуск цели), P 2 вероятность ошибки второго рода (ложная тревога) и 0 1. В критерии K значение принималось равным 0.8, что выражало большую степень 171
172 важности мнения эксперта по сравнению с алгоритмом SPs. Описанные показатели качества работы алгоритма также использовались на стадии экзамена и в контрольном тесте. Согласно выработанному критерию качества распознавания (3.7) для каждого канала с помощью «грубой» настройки с шагом h=0.1 для и h=0.05 для 1 и 2 (3.6) были получены следующие оптимальные значения свободных параметров алгоритма: ** X ( 0.5, , ), K SPs =0.074; ( ( ** )) 0.8 X ** Y ( 0.5, , ), ** Z ( 0.6, , ), K SPs =0.077; ( ( ** )) 0.8 Y K SPs =0.231; ( ( ** )) 0.8 Z (3.8) Как видно из (3.8), значения ** F ( 0.5, , ), K SPs = ( ( ** )) 0.8 F ** практически совпадают для различных компонент:, при этом ** ** ** X Y F десятую. ** Z отличается лишь значением параметра всего на одну Тонкая настройка свободных параметров На первом этапе обучения выбор оптимальных значений параметров (3.8) проводился грубо с достаточно большим шагом (3.6). С целью улучшения результата распознавания выбросов была произведена тонкая настройка. Для этого мы взяли небольшую окрестность вокруг найденного на первом этапе оптимального решения (3.8) и повторили процесс перебора. В случае X, Y, F новые диапазоны перебора были: в случае Z новые диапазоны были: 0.46, 0.48, 0.50, 0.52, 0.54; , 0.43, 0.45, 0.47, 0.49;, (3.9) , 0.38, 0.40,0.42, , 0.58, 0.60, 0.62, 0.64; , 0.43, 0.45, 0.47, 0.49;. (3.10) , 0.38, 0.40,0.42,0.44 Таким образом, на втором этапе обучения мы оценили качество (3.7) распознавания для дополнительных 125 комбинаций значений свободных параметров (3.9) и (3.10). В результате были получены следующие оптимальные значения свободных параметров для каждой записи: * X ( 0.46, , ), K SPs =0.055; (3.11) ( ( * )) 0.8 X 172
173 * Y ( 0.50, , ), * Z ( 0.56, , ), * F ( 0.50, , ), K SPs =0.051; ( ( * )) 0.8 Y K SPs =0.172; ( ( * )) 0.8 Z K SPs = ( ( * )) 0.8 F Сравнивая значения критериев качества распознавания K 0.8 в (3.11) и (3.8), можно констатировать, что благодаря тонкой настройке свободных параметров удалось повысить качество обучения для каждой из компонент Устойчивость обучения относительно выбора свободных параметров Мы применили алгоритм SPs при различных значениях, 1, 2 для распознавания выбросов на предварительных магнитограммах, отвечающих компоненте X, за период с 1 по 31 июля 2009 г. При сравнении этих магнитограмм с соответствующими окончательными магнитограммами было обнаружено 1972 выброса (табл. 3.12, 3.13), распознанных экспертами на предварительных и удаленных на окончательных магнитограммах. Для каждого множества комбинаций значений свободных параметров определялась оптимальная комбинация. Вариант распознавания, полученный с ее помощью, рассматривался как основной результат. Задача состояла в оценке устойчивости результата распознавания относительно изменения значений свободных параметров в некоторых окрестностях. При этом за основу был взят результат «грубого» обучения алгоритма SPs, полученный на данных по компоненте X за 1-31 июля 2009 г. Первым шагом исследования было изменение параметра 1 при фиксированных остальных параметрах. Первоначально было взято 5 значений 1 от 0.3 до 0.5 с шагом В результате была получена сходимость к оптимальному значению Стоит отметить, что на промежуточном этапе мы уменьшили шаг с 0.05 до 0.01, и значения 1 варьировались от 0.33 до При наборе параметров 0.7, 0.35, алгоритм SPs выделил 2473 события, в том числе 534 (22%) лишних событий (ложные тревоги), и пропустил 33 (1.7%) выброса. Затем, это значение было зафиксировано и менялся параметр. Сначала диапазон его значений составлял от 0.6 до 0.8 с шагом Затем, с учетом полученного оптимального результата, диапазон был уменьшен до [0.72, 0.76] с шагом На третьей итерации диапазон был уменьшен до [0.74, 0.76] с шагом Опять же, этот процесс сошелся к значению При этом, 173
174 количество ложных тревог уменьшилось с 534 до 389 (16.3%), однако количество пропущенных выбросов возросло с 33 до 42 (2.1%). Этот результат удалось немного улучшить, зафиксировав значения 0.75, и варьируя значения 2. По этому параметру была получена сходимость к значению 0.472, а число пропущенных выбросов было уменьшено до 34. Однако в этой версии число ложных событий немного возросло до 403 (16.7%). Параметр 2 первоначально изменялся от 0.3 до 0.5 с шагом Далее, в соответствии с получаемыми оптимальными значениями, происходил сдвиг диапазона и шага его изменения до [0.4718, ] и соответственно. При совокупном изменении всех трех параметров была получена сходимость по параметрам 1 и к значениям , Диапазон изменения 1 при этом уменьшился от [0.33, 0.37] с шагом 0.02 до [0.345, 0.355] с шагом По параметру диапазон изменения значения уменьшился от [0.7, 0.76] с шагом 0.03 до [0.725, 0.735] с шагом По параметру 2 наблюдалась сходимость к двум значениям и В первом случае исходный диапазон изменения 2 был [0.38, 0.42] с шагом Далее этот диапазон многократно сдвигался в сторону увеличения, в соответствии с получаемыми оптимальными результатами. Окончательный диапазон был [0.433, 0.437] с шагом Второе значение было получено при дальнейшем сдвиге диапазона до [0.473, 0.477] с шагом При этом, по сравнению с вариантом, полученным при изменении параметров по отдельности, число ложных событий увеличилось до 451 (18.24%) при и до 455 (18.4%) при , а наименьшее число пропусков 29 (1.47%) было получено при Таким образом, для компоненты X можно констатировать, что оптимальный результат распознавания достаточно устойчив относительно изменения значений свободных параметров Оценка результатов обучения Рассмотрим результаты распознавания выбросов алгоритмом * SPs( ) (табл и 3.15) на суточных магнитограммах, зарегистрированных с 1 по 20 июля 2009 г., и сравним их с результатами распознавания экспертами для каждой компоненты X, Y, Z и полной напряженности F по отдельности. 174
175 Таблица Статистика по событиям за 1/07/ /07/2009, распознанным алгоритмами SPs, * ( X ) SPs, * ( Y ) SPs и * ( Z ) SPs. * ( F ) Запись Лишние события Выбросы, распознанные экспертами События, распознанные алгоритмом Пропущенные выбросы Вероятность ошибки 1-го рода Вероятность ошибки 2-го рода Критерий качества K 0.8 X Y Z F Таблица Статистика по лишним событиям (ложные тревоги) за 1/07/ /07/2009, выделенным алгоритмами SPs, * ( X ) SPs, * ( Y ) SPs и * ( Z ) SPs. * ( F ) Запись Кол-во лишних событий Мин. амплитуда, нтл Макс. амплитуда, нтл Средн. амплитуда, нтл Мин. длительность, точки Макс. длительность, точки Средн. длительность, точки X Y Z F При обработке записей компоненты X алгоритм SPs SPs X * ( ) выделил в сумме событий; среди них событий оказались выбросами, выделенными экспертами вручную (табл. 3.14). При этом, 53 выброса не были распознаны алгоритмом. Таким образом, вероятность ошибки первого рода составила (4.7%), а вероятность ошибки второго рода (8.7%). Амплитуды 102 лишних событий, выделенных алгоритмом, но не удаленных на окончательных магнитограммах экспертами, довольно малы. Они варьируются между 0.22 и 4.56 нтл, а их среднее значение составляет 0.68 нтл (табл. 3.15). В то же время, амплитуды выбросов, распознанных экспертами, лежат в интервале от до нтл со средним значением (табл. 3.12). Т.о., распознанные SPs 175
176 «дополнительные» выбросы могли быть пропущены экспертами в силу их малости. На рис. 3.9, приведены результаты применения алгоритма SPm SPm X * ( ). Рис Результат применения алгоритма SPs SPs X * ( ) : пропуск геомагнитных пульсаций (значения компоненты X, зарегистрированные 1 июля 2009 г.). Рис Сравнение результатов распознавания экспертами (сверху) и алгоритмом SPs SPs X * ( ) (снизу) (значения компоненты X, зарегистрированные 1 июля 2009 г.). В обоих случаях выделенные события отмечены чёрным цветом. 176
177 Рис Примеры распознавания выбросов алгоритмом SPs SPs X * ( ) (значения компоненты X, зарегистрированные 1 июля 2009 г.). Выделенные события отмечены чёрным цветом. Обработка данных по компоненте Y проводилась алгоритмом SPs SPs Y * ( ). В результате было выделено событий, включая выброса, обнаруженных экспертами (табл. 3.14), при этом, 39 выбросов алгоритм не распознал. При таком распознавании вероятность ошибки первого рода составила (3.5%), вероятность ошибки второго рода (11.5%). Значения амплитуд 141 лишнего события, обнаруженного алгоритмом, лежат между 0.2 и 3.47, а среднее значение составляет 0.44 (табл. 3.15). Искомые выбросы характеризуются амплитудами в диапазоне и со средним значением (табл. 3.12). Опять же, дополнительные события могут быть как пропущенными экспертами выбросами пренебрежимо малых амплитуд, так и реальными пульсациями [Клейменова, 2007; Клейменова и др., 2013; Kleimenova et al., 2012; Зелинский и др., 2014]. Как было упомянуто выше, в случае обработки значений компоненты Z алгоритм SPs SPs Z * ( ) показал несколько худшие результаты. Им было выделено 1007 событий, среди которых оказались 826 выбросов, обнаруженных экспертами в результате ручного анализа (табл. 3.14). Остальные 170 выбросов алгоритм не обнаружил. Тем самым, вероятность ошибки первого рода составила (17.1%), а вероятность ошибки второго рода составила 0.18 (18%). Более детальное изучение 181 лишнего события, которые были распознаны алгоритмом, но не удалены экспертом, показало, что их амплитуды лежат в пределах 0.11 и 0.94, среднее значение составляет (табл. 3.15). Для сравнения, 177
178 амплитуды выбросов, выделенных экспертами, лежат в интервале 0.10 и со средним значением (табл. 3.12). Наконец, алгоритм SPs SPs F * ( ) применялся к анализу записей полной напряженности F. В этом случае алгоритмом было распознано событий, из них событие оказалось выбросами, а остальные 134 выбросов алгоритм не распознал (табл. 3.14). Рассчитанные вероятности для ошибок первого и второго рода составили (11.8%) и (12.7%) соответственно. Амплитуды 145 лишних событий варьируются между 0.17 и 4.1, среднее их значение составляет (табл. 3.15). Амплитуды же искомых выбросов лежат в диапазоне между и со средним значением (табл. 3.12). Оценивая полученные вероятности ошибок первого и второго рода, можно признать результаты обучения алгоритма SPs удачными. Наилучшим образом обучение прошло при работе алгоритма с горизонтальными компонентами X и Y, где вероятности ошибок лежали в интервале %. Наихудшим образом обучение сложилось при работе алгоритма с вертикальной компонентой Z, где вероятности ошибок первого и второго рода составили 17.1% и 18.0% Экзамен алгоритма SPs алгоритмов Внешний независимый экзамен состоял в применении оптимально обученных SPs, * ( X ) SPs, * ( Y ) SPs и * ( Z ) SPs к обработке записей, не * ( F ) принадлежащих материалу обучения. Для экзамена мы взяли другой фрагмент предварительных данных, зарегистрированных на той же обсерватории в последующий период июля 2009 г. Тем самым, мы получаем более объективную оценку результатов распознавания алгоритма, чем просто на материале обучения. Согласно результатам ручного распознавания экспертами рассматриваемые записи содержали 853 выброса на канале X, 844 выбросов на канале Y, 774 выбросов на канале Z и 846 выбросов на канале F (табл. 3.13). Полученные результаты распознавания алгоритмами * SPs( ) приведены в табл и 3.17 для каждой записи отдельно. При сравнении результатов работы алгоритма на данных за 1-20 июля (материал обучения, табл. 3.14) и данных за июля (материал экзамена, табл. 3.16) видно, что качество распознавания примерно одинаково. Формально это подтверждается очень близкими значениями рассчитанного критерия качества. 178
179 Таблица Статистика по событиям за 21/07/ /07/2009, распознанным алгоритмами SPs, * ( X ) SPs, * ( Y ) SPs и * ( Z ) SPs. * ( F ) Запись Лишние события Выбросы, распознанные экспертами События, распознанные алгоритмом Пропущенные выбросы Вероятность ошибки 1-го рода Вероятность ошибки 2-го рода Критерий качества K 0.8 X Y Z F Таблица Статистика по лишним событиям (ложные тревоги) за 21/07/ /07/2009, выделенным алгоритмами SPs, * ( X ) SPs, * ( Y ) SPs и * ( Z ) SPs. * ( F ) Запись Кол-во лишних событий Мин. амплитуда, нтл Макс. амплитуда, нтл Средн. амплитуда, нтл Мин. длительность, точки Макс. длительность, точки Средн. длительность, точки X Y Z F Наибольшее расхождение в значениях критерия качества наблюдается в случае компоненты Z : на этапе обучения критерий качества принял значение K , а на этапе экзамена K Тем самым, качество распознавания оказалось выше на этапе экзамена, вероятность ошибки первого рода составила 0.14 (14%), вероятность ошибки второго рода составила (8.9%). В случае компоненты Y, K в обоих случаях (табл. 3.14, 3.16). Это позволяет сделать вывод о том, что степень эффективности распознавания, достигнутая на этапе обучения, сохраняется и для материала экзамена. 179
180 Контрольный тест обученного алгоритма SPs для оценки достоверности распознавания Наконец, мы осуществили полноценный контрольный тест «вслепую». В этом тесте мы использовали другой фрагмент записей, зарегистрированных на магнитной обсерватории на о. Пасхи в интервал времени с 1 по 31 августа 2009 г. Особенность теста «вслепую» заключалась в том, что на момент обработки данных алгоритмом в распоряжении имелись только предварительные, необработанные данные, т.е. априори не было известно, как должны выглядеть окончательные данные, обработанные экспертами вручную. Ручная обработка данных и оценка результатов распознавания, полученных при помощи алгоритма, проводилась экспертами после применения алгоритма. Таким образом, тест «вслепую» использовался для проверки работоспособности алгоритма SPs в реальных условиях обсерваторской практики. Итак, после применения к данным за 1-31 августа 2009 г. обученных алгоритмов SPs, * ( X ) SPs, * ( Y ) SPs и * ( Z ) SPs результаты распознавания были детально * ( F ) проанализированы и оценены экспертами (табл. 3.18). Количество обнаруженных алгоритмом событий варьируется от 1996 (полная напряженность F) до 2150 (компонента X). При этом, на записях компоненты Z вероятность ошибки первого рода (пропуск цели) составила (5.82%), а вероятность ошибки второго рода (ложная тревога) составила (5.51%). В остальных случаях были получены примерно одинаковые лучшие результаты. Для компоненты X вероятность ошибки первого рода составила (3.72%), вероятность ошибки второго рода составила (0.68%); для Y вероятность ошибки первого рода составила (1.07%), вероятность ошибки второго рода составила (1.40%); для F вероятность ошибки первого рода составила (1.99%), вероятность ошибки второго рода составила (3.61%). Проведенный контрольный тест «вслепую» дополнительно подтверждает, что алгоритм способен выделять большинство выбросов, а также показывает, что наблюдается некоторая вариативность от одного дня/недели/месяца к другому. 180
181 Таблица Результаты приложения алгоритмов SPs, * ( X ) SPs, * ( Y ) SPs и * ( Z ) к записям, зарегистрированным с 1 по 31 августа 2009 г., и их экспертная оценка. Запись Выбросы, экспертами События, алгоритмом Лишние события ошибки 1-го рода распознанные распознанные Пропущенные выбросы Вероятность Вероятность ошибки 2-го рода SPs * ( F ) Критерий качества X Y Z F K 0.8 Любопытным является то обстоятельство, что результаты теста «вслепую», полученные на данных за август 2009 г., выгодно отличаются от результатов распознавания, полученных на данных за июль 2009 г. Как видно из сводной статистики по данным за июль и август 2009 г., каждая из четырех записей (три компоненты и полная напряженность) содержит порядка 2000 выбросов в месяц. Необходимо отметить, что для эксперта выделение вручную такого огромного количества выбросов, порядка 8000 по всем четырем записям в месяц, является практически невыполнимой задачей. Эта проблема является и одним из главных препятствий для перевода обсерваторий ИНТЕРМАГНЕТ со стандарта минутной на стандарт секундной регистрации данных, поскольку принципиально препятствует своевременной, ежегодной подготовке очищенных данных. Для сравнения, приведем цифры из аналогичного исследования по автоматизированному распознаванию выбросов на минутных магнитограммах ИНТЕРМАГНЕТ (см. раздел 3.2). На этапе обучения рассматривались суммарно 25 записей, полученных на 7 обсерваториях за 1 год, среди которых экспертами было обнаружено всего 275 выбросов. На этапе экзамена алгоритм применялся к анализу суммарно 17 записей, полученных за следующий год с 5 обсерваторий, и задача сводилась к распознаванию 102 выбросов, обнаруженных на этих записях экспертами. Сравнивая объемы работ эксперта в этих двух случаях, становится понятно, что при ручном анализе секундных необработанных данных человек не в состоянии выделить все 100% выбросов, в его работе также будут наблюдаться и ошибки первого рода, и ошибки второго рода. Но в то же время, если при ручной обработке данных эксперт располагает результатами алгоритмического распознавания, как это было в случае 181
182 контрольного теста, то в итоге качество ручного анализа становится явно выше. Напрашивается вывод, что в случае данных за июль 2009 г., использовавшихся на стадиях обучения и экзамена, результаты работы эксперта содержали в себе больше ошибок, чем в случае данных за август 2009 г. Напомним, что при вычислении вероятностей пропуска цели и обнаружения ложных тревог алгоритмом мнение эксперта принимается за эталон. Неудивительно, что в случае обработки данных за июль 2009 г. указанные показатели выглядят хуже. В случае обработки данных за август 2009 г. эти показатели в большей степени отражают действительность, а их значения свидетельствуют о более высоком качестве распознавания, проведенном алгоритмом SPs. Алгоритм работает устойчиво, поскольку степень эффективности распознавания, достигнутая на этапе обучения, сохраняется и при экзамене, и при контрольном тесте «вслепую». Некоторая разница в качестве распознавания на записях горизонтальных компонент и вертикальной компоненты может объясняться различием в характере исходного материала обучения, использованного алгоритмом SPs. При анализе этих данных видно, что в случае горизонтальных компонент максимальная длительность выбросов вдвое меньше, а средняя амплитуда втрое больше. Можно заключить, что в этом случае выбросы более вытянутые и крутые (рис. 3.11), чем в случае вертикальной компоненты. Качество распознавания выбросов во втором случае вероятно можно улучшить, выбрав другие диапазоны значений свободных параметров на стадии обучения SPs Анализ ложных тревог При оценке результатов работы алгоритма SPs были отдельно проанализированы лишние события, выделенные алгоритмом. Соответствующая статистика приведена в табл Таблица Сводная статистика по лишним событиям, выделенным алгоритмом SPs. Ложные тревоги Количество Искусственные Внезапные Период Всего событий возмущения начала бурь Июль 2009 г % 0% Пульсации Pc 89.2%, Pi 10.8% 182
183 Сравнение алгоритма SPs со статистическими алгоритмами выделения выбросов Автоматизированное устранение выбросов на временных рядах является одной из основных операций их предварительной обработки [Айвазян, 1983]. Существует целый ряд алгоритмов, предназначенных именно для этого: статистические, спектральные, использующие сглаживание сигнала и др. (см. раздел 1.1). К статистическим относятся алгоритмы удаления выбросов по правилу трёх сигм, на основе конкурирующих гипотез, с использованием медианы сигнала и т.д. [Айвазян, 1968]. Авторами был апробирован на магнитных записях статистический алгоритм, основанный на отклонении от медианы (Малгоритм), как наиболее универсальный, не требующий в той или иной степени предположения нормальности. Результаты апробации показали, что при всей своей простоте он позволяет получить неплохие результаты в детектировании выбросов, но не в тщательном и полном их выделении. Напомним, что алгоритм SPs задумывался как инструмент для автоматизации работы эксперта по выделению техногенных выбросов на секундных магнитограммах. И алгоритм SPs действительно решает поставленную перед ним задачу, почти так же, как эксперт, выделяя целиком тот или иной выброс на записи. Относительно простых алгоритмов распознавания выбросов такой уверенности нет. На рис приведено сравнение результатов работы эксперта, алгоритма SPs и М- алгоритма. Видно, что последний выделяет только вершины выбросов и небольшие их окрестности, и потому заменой эксперту быть не может. 183
184 Рис Сравнение результатов работы эксперта (вверху), алгоритма SPs (посередине) и М-алгоритма (внизу). В трех случаях выделенные события отмечены чёрным цветом (секундная магнитограмма из обсерватории на о. Пасхи, компонента X, 10 июля 2009 г.) 3.4. Автоматизированное распознавание скачков на полусекундных магнитограммах Описание магнитных данных спутника GOES (2 Гц) и постановка задачи Геостационарные спутники наблюдения окружающей среды (GOES) вращаются вокруг Земли по геосинхронной орбите со скоростью, соответствующей скорости вращения Земли. Это позволяет им непрерывно наблюдать за одной и той же позицией на поверхности земли. Находясь на высоте километров (22,300 миль) над Землей 184
185 спутники GOES-8 и GOES-9 обеспечивают информацией о состоянии поверхности Земли и окружающей среды через каждые полчаса. Охват Земли спутников GOES-8 и GOES-9 изображен на рис GOES-8 располагается на 75 градусах западной долготы и охватывает Северную и Южную Америку, а также большую часть Атлантического океана. GOES-9 располагается на 135 градусах западной долготы и осуществляет мониторинг Северной Америки и Тихого океана. Рис Охват Земли спутниками GOES-8 и GOES-9 GOES спутники используются и обслуживаются Национальным управлением океанических и атмосферных исследований США (NOAA), в то время как Национальное управление США по аэронавтике и исследованию космического пространства (NASA) управляет разработкой, созданием и запуском космических кораблей. Запустив спутник, НOAA становится ответственной за его работу. Первый геостационарный метеоспутник (GOES-1) был запущен 16 Октября 1975 г. и сразу же стал неотъемлемой частью Национальной метеорологической службы США (NWS). В течение последних 30 лет, агентства по услугам окружающей среды установили потребность в непрерывных, своевременных и высококачественных наблюдениях поверхности Земли и окружающей среды. Новое поколение спутников GOES (GOES от I до M) предоставляет именно такие данные. У этих спутников на борту установлены инструменты, которые позволяют измерять испущенное Землей и отраженное излучение, зная которое можно легко определить атмосферную температуру, скорости ветров, влажность и плотность облаков. GOES-8 и GOES-9 были первыми представителями этого нового спутникового поколения, которые были запущены, заменив орбиты более старых спутников GOES-6 и GOES-7. Получаемые с помощью GOES данные, которые являются очень точными и представляют собой краткосрочное прогнозирование, затем распространяется 185
186 Национальной информационной службой спутниковых данных об окружающей среде (NESDIS) по целому ряду действующих научно-исследовательских центров. Сегодня эти данные используются очень большим числом пользователей: Национальной метеорологической службой США, коммерческими центрами погоды, университетами и мировым научно-исследовательским обществом [ На спутнике GOES помимо метеорологических измерений осуществляется регистрация магнитных данных. Они представляют собой вариации трёх компонент магнитного поля, зарегистрированных двумя векторными магнитометрами с частотой 2 Гц. Эти данные характеризуются большим количеством скачков базовой линии. В большинстве случаев причиной скачков являются автоматические включения и отключения нагревательных систем, сопровождающих каждый магнитометр. Таким образом, задача фильтрации спутниковых данных во многом связана с устранением скачков базовой линии. Ситуация осложняется тем, что в большинстве случаев скачки настолько малы, что их весьма трудно распознать визуально. Для этой цели был разработан алгоритм JM (от JUMP), позволяющий в автоматизированном режиме единообразно распознавать скачки на магнитограммах со спутника GOES. Апробация алгоритма осуществлялась на суточных магнитограммах трёх компонент магнитного поля (B X, B Y, B Z ), полученных спутником GOES-15 3 апреля 2010 г. Магнитограммы также сопровождались двумя записями о статусе нагревателей с частотой 1 значение в 5 мин (S 1 и S 2 ). Статус 0 соответствует выключенному состоянию обоих нагревателей, статус 1 включенному состоянию первого нагревателя, 2 включенному состоянию второго нагревателя, 3 включенному состоянию обоих нагревателей (рис. 3.17). (а) (б) Рис Фрагмент магнитограмм и записей статуса нагревателей на спутнике: в масштабе часов (а), в масштабе минут (б) 186
187 Распознавание скачков базовой линии на спутниковых магнитограммах В результате применения алгоритма JM к данным за 3 апреля 2010 г. были распознаны практически все скачки. Стоит отметить, что в большинстве случаев скачки на глаз не различимы, что видно из рис и На рис показан часовой фрагмент исходной записи, рассчитанная мера скачкообразности и график состояния нагревателей. Рис Иллюстрация фрагмента исходной записи (сверху), рассчитанной для него меры скачкообразности (посередине) и состояния нагревателей (снизу). Примеры работы алгоритма приведены на рис
188 Рис Примеры работы алгоритма JM. Распознанные скачки выделены красным цветом Выводы 1. Осуществлена программно-алгоритмическая реализация метода ДМА для автоматизированного, формализованного и единообразного распознавания аномальных событий техногенной природы на минутных, секундных и полусекундных магнитограммах, зарегистрированных наземными обсерваториями и искусственными спутниками Земли. 2. Впервые создана автоматизированная алгоритмическая система для распознавания техногенных аномальных событий в геомагнитных измерениях с применением аппарата нечеткой логики и распознавания образов. Система по эффективности и точности превосходит соответствующие методы, которые применяются в рамках программы ИНТЕРМАГНЕТ. 3. Оптимизирована система обучения алгоритмов и создан формализованный метод оценки эффективности работы алгоритмов в задаче распознавания аномальных событий техногенной природы на магнитограммах в периоды спокойного магнитного поля и повышенной активности. 4. Впервые при помощи разработанной алгоритмической системы проведено автоматизированное распознавание техногенных аномалий на секундных магнитных 188
189 данных и выработаны критерии качества, применимые к секундным и полусекундным данным. 5. Применение разработанной алгоритмической системы распознавания техногенных аномалий в непрерывном режиме впервые позволяет получать окончательные данные в режиме, близком к реальному времени, вместо задержки более года. Последнее дает возможность более эффективного решения задач в области космической физики. 6. Созданная алгоритмическая система впервые дает возможность проведения единообразного формализованного ретроспективного анализа огромных архивов цифровых и оцифрованных магнитограмм, накопленных в Мировой системе данных Международного совета по науке (ICSU). 7. Изучение результатов распознавания помогло выявить характерные природные возмущения (аномальные события), распознаваемые как ложные выбросы, что важно для дальнейших исследований. Как правило, эти явления представляют собой геомагнитные пульсации. Таким образом, разработанные алгоритмы могут дать возможность более детального анализа магнитограмм на предмет распознавания низкоамплитудных пульсаций. Наличие секундных данных впервые позволяет изучать короткопериодные магнитные пульсации диапазона 5-45 секунд. Однако зашумление таких данных техногенными возмущениями схожей морфологии служит серьезным барьером. В связи с этим, реализованные алгоритмы являются эффективным инструментом, дающим возможность решать указанные задачи. 8. Работа алгоритма SPs сравнивалась с наиболее универсальным статистическим методом. Результаты апробации показали, что при всей своей простоте этот метод позволяет получить неплохие результаты в детектировании выбросов, но не в тщательном и полном их выделении. Алгоритм SPs задумывался как инструмент для автоматизации работы эксперта по выделению техногенных выбросов на секундных магнитограммах. Алгоритм SPs действительно решает поставленную перед ним задачу, почти так же, как эксперт, выделяя целиком тот или иной выброс на записи. 189
190 ГЛАВА 4. Автоматизированная алгоритмическая система предварительной обработки и контроля качества магнитных данных. Российско-украинский центр магнитных данных Данная глава основана на результатах, опубликованных в работах [Zhalkovsky et al., 2009; Жалковский и др., 2009; Mandea et al., 2010; Гвишиани и др., 2010б; Березко и др., 2010а; Berezko et al., 2011; Соловьев и др., 2012б; Soloviev et al., 2012a, 2012b; Рыбкина и др., 2013] Обоснование и постановка задачи Крайне актуальной задачей является развитие сетей наблюдения магнитного поля Земли. Изучение состояния геомагнитного поля позволяет предотвратить такие чрезвычайные ситуации национального масштаба, как сбои в авиационной и космической навигации и радиосвязи, перегрузка линий электропередач, повреждение трубопроводов, сбои в работе ж/д-автоматики и др., вызванные магнитными бурями. Непрерывная регистрация характеристик магнитного поля лежит в основе высокотехнологичных процессов освоения природных ресурсов (напр., наклонное бурение скважин), где точность данных достаточно критична. Результаты измерения магнитных аномалий в земной коре являются важной информацией, используемой при поиске полезных ископаемых и уточнении геологической истории планеты Земля. При решении всех вышеперечисленных задач необходимым условием является наличие геомагнитных данных, предварительно очищенных от техногенных аномалий. Причинами таких аномалий на магнитограммах могут быть близость аэродромов, железных дорог, линий электропередач или других техногенных элементов, воздействующих на магнитную обстановку, резкие перепады температуры, нарушения калибровки измерительных приборов и др. Актуальной задачей является различение естественных аномалий, обусловленных физическими процессами, и техногенных аномалий. Например, разделение магнитосферных возмущений (пульсаций) от промышленных помех (электропоезда, самолеты) на магнитограммах. В обсерваторской практике такая деятельность до сих пор осуществляется вручную, что служит серьезным препятствием для адекватного использования данных и развития систем геомагнитных наблюдений. 190
191 Отечественная наука в области геомагнетизма пребывает в зависимости от зарубежных сетей наблюдения и центров геомагнитных данных. Это обусловлено тремя главными обстоятельствами: 1. Слабое развитие пунктов геомагнитных наблюдений в России; 2. Отсутствие национального центра геомагнитных данных, являющегося ядром российского сегмента ИНТЕРМАГНЕТ; 3. Передача российскими обсерваториями «сырых» данных в различные зарубежные центры данных, которые преобразуют их в окончательные данные и предоставляют научной общественности. Тем самым, расширение российского сегмента ИНТЕРМАГНЕТ, создание национального центра геомагнитных данных и подготовка окончательных данных в таком центре являются исключительно актуальными задачами. Результаты, описанные в данной главе, во многом направлены на их решение. При этом, задача подготовки окончательных данных решается на более высоком уровне, чем она решается за рубежом, принятыми методами Общее описание работы российско-украинского центра геомагнитных данных На базе ГЦ РАН с начала 2012 г. функционирует российско-украинский центр геомагнитных данных. Его создание было инициировано ГЦ РАН со стороны России и Институтом геофизики им. С.И. Субботина НАН со стороны Украины. В центр передаются данные из всех магнитных обсерваторий и некоторых станций России и Украины в режиме, близком к реальному времени. Те обсерватории, которые принадлежат сети ИНТЕРМАГНЕТ, продолжают параллельно отправлять данные в официальные узлы сбора магнитных данных ИНТЕРМАГНЕТ, расположенные за рубежом. Функционирование отечественного узла позволяет объединить обсерватории и получаемые ими данные на территории России и Украины в единую национальную сеть. Необходимость создания самостоятельного российско-украинского сегмента сети ИНТЕРМАГНЕТ обусловлена площадью территорий РФ и Украины и фундаментальным значением обсерваторских долгосрочных геомагнитных сетевых наблюдений. Создание такого центра также обусловлено стремительным и непрерывным ростом количества магнитных обсерваторий ИНТЕРМАГНЕТ на территории РФ и Украины. В главные задачи центра входят: обеспечение передачи данных; хранение данных в исходном виде; 191
192 хранение данных в СУБД; осуществление автоматизированного контроля качества поступающих данных; подготовка квазиокончательных данных; обеспечение интерактивного доступа к данным; визуализация данных на видео-стенде. На конец 2013 г. налажена передача данных из 14 пунктов наблюдений магнитного поля Земли. В табл. 4.1 приведены названия и коды станций и обсерваторий, временная задержка в передаче данных, формат и способ передачи данных и коды официальных узлов ИНТЕРМАГНЕТ (GIN), в которые отправляются данные из обсерваторий ИНТЕРМАГНЕТ. Таблица 4.1. Станции и обсерватории, обслуживаемые российско-украинским центром геомагнитных данных. Код Расположение Задержка Передача Формат GIN 1 ARS Арти 6 часов ftp IMF BGS 2 BOR Бор 10 мин ftp MINGEO 3 BOX Борок Сутки IMF IPGP 4 IRT Иркутск Сутки IMF BGS 5 KAZ Казань 1 час ftp BIN IZMIRAN 6 KIV Киев Сутки IMF BGS 7 KLI Климовское 3 часа ftp MINGEO 8 LVV Львов Сутки IMF BGS 9 MGD Магадан Сутки ftp DAT BGS 10 MOS Троицк 10 мин ftp MINGEO 11 NVS Новосибирск Сутки IMF BGS 12 ODE Одесса Сутки e- IMF 13 SPG Санкт-Петербург 30 мин ftp MINGEO 14 YAK Якутск Сутки IMF BGS Из списка обсерваторий (см. табл. 4.1) сети ИНТЕРМАГНЕТ принадлежат «Арти», «Борок», «Иркутск», «Магадан», «Новосибирск», «Якутск» (Россия), «Киев» и «Львов» (Украина). На рис. 4.1 приведена карта расположения указанных станций и обсерваторий. 192
193 Рис Карта расположения станций и обсерваторий, обслуживаемых геомагнитным центром. Из обсерваторий и станций данные поступают либо в виде электронных писем, либо по FTP-протоколу. В случае, когда данные поступают по электронной почте, они предварительно извлекаются из электронных писем. Поступившие данные сохраняются на отдельном FTP-сервере, который предназначен для хранения данных в виде файлов в исходном формате. Параллельно поступающие данные преобразуются в БД, управляемую СУБД MySQL. База хранится на отдельном сервере. На нем же установлены модули, выполняющие контроль качества поступающих магнитограмм. Результаты работы этих модулей также сохраняются в БД. Для пользователей организован интерактивный доступ к данным через набор веб-сервисов. Кроме того, данные визуализируются на видеостенде, состоящем из 15 дисплеев, в ГЦ РАН. Описанная схема обработки данных приведена на рис
194 Рис Цикл обработки поступающих данных. Автоматическое обновление БД происходит по мере поступления новых данных. Обновление обеспечивает скрипт, вызываемый автоматически с заданным интервалом времени. Основными задачами скрипта являются: 1. синхронизация содержимого БД с содержимым файлового хранилища данных в исходном формате; 2. запуск алгоритмической системы контроля качества данных с целью распознавания техногенных возмущений на поступающих магнитограммах. Вся последовательность действий, выполняемых скриптом, приведена на рис Скрипт функционирует на сервере, где хранится БД. 194
195 Рис Автоматическое обновление БД. Такая организация автоматического обновления БД гарантирует полную синхронизацию между двумя хранилищами данных. Иными словами, в случае выхода из строя БД или потери части ее содержимого, при следующем запуске скрипта содержимое БД будет полностью восстановлено в соответствии с текущим состоянием файлового хранилища данных. Это одно из главных обстоятельств, диктующих необходимость сохранения данных в исходном формате, в котором их предоставляют обсерватории [Soloviev et al., 2012b] База геомагнитных данных Как было отмечено ранее, основным хранилищем поступающих в центр данных является база данных, которая управляется СУБД MySQL. Такой подход к хранению данных является одним из главных преимуществ российско-украинского центра по сравнению с некоторыми официальными узлами сбора данных ИНТЕРМАГНЕТ. Например, во французском геомагнитном узле все данные, которые поступают из более чем 15 обсерваторий ИНТЕРМАГНЕТ и ряда других магнитных обсерваторий и станций по всему миру [ хранятся в текстовом формате ASCII. Такое хранение данных обладает рядом очевидных недостатков. В частности, хранение подобной информации в текстовом виде крайне неэффективно с точки зрения занимаемого 195
196 дискового пространства. Кроме того, при таком хранении данных существенно ограничены возможности поиска данных в силу трудоемкости и отсутствия гибкости запросов и медлительности их выполнения. В геомагнитный узел в Японии стекаются данные из 10 обсерваторий ИНТЕРМАГНЕТ и порядка 15 магнитных станций [ На базе этих данных в узле каждые 5-10 минут пересчитываются индексы геомагнитной активности Dst и AE. В нем данные также хранятся в исходном текстовом формате ASCII, а также в бинарном формате. Бинарные файлы автоматически генерируются на базе текстовых файлов на регулярной основе. В каждом из них содержатся данные за 1 месяц. Наличие бинарных файлов сокращает объем занимаемой информации, однако не решает вопрос гибкости и простоты запросов при поиске данных. Перед разработкой структуры БД были опробованы разные подходы к хранению данных в БД с целью выбора наиболее оптимального. При этом, апробация разных вариантов хранения данных в БД проводилась для случая секундных данных. Причиной послужили несколько обстоятельств: 1. внедрение стандарта секундной регистрации данных в рамках программы ИНТЕРМАГНЕТ; 2. переход уже многих обсерваторий на секундную регистрацию данных; 3. больший объем данных и, следовательно, большая трудоемкость выполнения запросов по сравнению с минутными данными. Основным критерием при выборе подхода к хранению была скорость доступа к произвольной выборке данных. Для этого, была сгенерирована таблица, состоящая из 400 миллионов случайных записей. Такой объем информации примерно соответствует секундным данным из трех обсерваторий, полученным за период четырех лет. Рассматривались три варианта хранения данных (табл. 4.2): 1. без группировки (1 значение в строке таблицы); 2. с группировкой данных по дням (86400 значений в строке таблицы); 3. с группировкой данных по часам (3600 значений в строке таблицы). 196
197 Таблица 4.2. Тестирование базы данных с таблицей для хранения секундных данных. Таблица содержит 400 миллионов случайных записей, что примерно соответствует объему данных, полученных из 3 обсерваторий за 4 года. Критерий Без Группировка Группировка группировки по дням по часам Скорость доступа (данные за сутки), с Объем БД, Гбайты Объем индексов, Гбайты Длина строки, Кбайты Было показано, что максимальная производительность БД достигается при группировке данных по часам. В частности, была достигнута максимальная скорость обработки запроса к данным за сутки. Разработанная база геомагнитных данных включает в себя 10 таблиц (рис.4.4). Рис Структура геомагнитной БД. 197
198 Таблица ref содержит в себе справочную информацию по всем обсерваториям, которые передают данные в центр. Эта информация включает в себя название, код IAGA, широту, долготу, высоту над уровнем моря, часовой пояс, принадлежность институту, официальный GIN, формат данных, типы и модели скалярного магнитометра, вариометра и инклинометра/деклинометра на теодолите, значение в случае отсутствия данных. Таблицы для хранения предварительных минутных (pre_min), квазиокончательных минутных (qdef_min), предварительных секундных (pre_sec) и квазиокончательных секундных (qdef_sec) данных имеют одинаковую структуру. В таблицах pre_min и pre_sec хранятся сырые, необработанные данные, поступающие в центр по мере их регистрации на обсерваториях. В результате автоматизированной процедуры привязки этих данных к базовой линии рассчитываются так называемые квазиокончательные данные, которые хранятся в таблицах qdef_min и qdef_sec (см. раздел 1.2.6). Поскольку в квазиокончательных данных еще возможно наличие техногенных возмущений, они не могут расцениваться как окончательные. Каждая строка таблицы несет в себе следующую информацию: IAGA-код обсерватории, дата и время записи в секундах, начиная с 1970 г., ориентация сенсора вариометра (XYZ или HDZ), значение первой компоненты (X или H) в нтл (канал 1), значение второй компоненты (Y или D) (канал 2), значение компоненты Z в нтл (канал 3), значение полной напряженности в нтл (канал 4), распознанные события в результате работы системы контроля качества. В каждой строке таблицы хранится набор наблюденных значений, полученных в течение часа, в бинарном виде. Тесты показали, что такая система хранения обеспечивает наибольшее быстродействие при работе с БД по сравнению с поминутным или посуточным хранением данных. Таким образом, каждая строка содержит 60*4=240 значений типа FLOAT в случае минутных данных и 3600*4=14400 значений типа FLOAT в случае секундных данных. В результате работы алгоритмической системы контроля качества магнитограмм определяются значения, принадлежащие техногенным выбросам и скачкам. В соответствующих двух полях таблицы результаты распознавания хранятся в виде бинарных массивов типа BYTE. В каждой строке таблицы содержится массив результатов распознавания за соответствующий час. Элементы этого массива несут в себе информацию о принадлежности значений того или иного канала выбросу или скачку. Таким образом, каждый элемент связан с соответствующей четверкой значений и поэтому содержит 4 позиции (по количеству каналов). Если значение принадлежит искомому событию, то в соответствующей позиции элемента массива значение 1, если не 198
199 принадлежит то 0. Например, в поле результатов распознавания выбросов значение 1010 означает, что за соответствующий момент времени на компонентах X (или H) и Z наблюдаются выбросы, а на записях Y (или D) и полной напряженности нет. Тем самым, каждая строка содержит 60*4=240 значений типа BYTE в случае минутных данных и 3600*4=14400 значений типа BYTE в случае секундных данных. Аналогичную структуру имеют таблицы для хранения окончательных минутных (def_min) и окончательных секундных (def_sec) данных. Единственным отличием является отсутствие полей, содержащих результаты распознавания техногенных возмущений, поскольку окончательные данные сами по себе уже очищены от подобных сбоев. В таблице abs хранятся данные, рассчитанные по результатам абсолютных измерений, которые регулярно проводятся вручную на обсерваториях при помощи инклинометра/деклинометра на базе теодолита (см. разделы 1.2.4, 1.2.5). Показатели самих измерений хранятся отдельно в виде файлов вместе с исходными текстовыми файлами данных. Данные таблицы abs включают в себя: 1. идентификатор записи; 2. IAGA-код обсерватории; 3. дата измерений; 4. абсолютное значение магнитного склонения; 5. абсолютное значение магнитного наклонения; 6. абсолютное значение полной напряженности поля; 7. значение базовой линии для северной компоненты ( X 0, нтл); 8. значение базовой линии для склонения ( D 0, град); 9. значение базовой линии для вертикальной компоненты ( Z 0, нтл); 10. значение базовой линии для полной напряженности ( F 0, нтл); 11. время привязки значений 4 и 8; 12. время привязки значений 5, 6, 7, 9 и 10; 13. результаты распознавания выбросов на базовых линиях, построенных по 7, 8, 9 и 10; 14. результаты распознавания скачков на базовых линиях, построенных по 7, 8, 9 и 10. В отдельной таблице (temp) содержатся температурные вариации, регистрируемые датчиками на сенсоре и на блоке электроники вариометра. Наконец, в таблице files_log содержится перечень исходных текстовых файлов, из которых в прошлом успешно состоялся экспорт данных в БД. Там же содержатся времена последних обновлений 199
200 соответствующих файлов. Последнее обеспечивает корректную синхронизацию данных в случае повторной загрузки существующего файла из обсерватории с более полным набором данных [Soloviev et al., 2012b]. Для работы с БД была разработана библиотека Java-классов, предоставляющая весь спектр функциональных возможностей взаимодействия с БД (рис. 4.5). Рис Структура библиотеки Java-классов Intermagnet для работы с базой геомагнитных данных Веб-приложения для удаленной работы с геомагнитными данными Для удаленной работы с геомагнитной БД был разработан набор веб-сервисов. К ним относятся сервисы для ввода данных в БД и сервисы, предназначенные для запроса данных из БД. Дадим краткое описание каждого из них. 200
201 К первой группе относятся два веб-сервиса для ввода данных в БД. На базе переданных результатов абсолютных измерений, проводимых на обсерваториях, эти сервисы рассчитывают абсолютные значения компонент поля, соответствующие значения базовых линий и сохраняют результаты в БД. Веб-сервисы поддерживают ввод результатов абсолютных измерений, проводимых офсетным методом и нуль-методом. Вторая группа веб-сервисов (рис. 4.6) представляет собой набор Java-сервлетов, позволяющих запрашивать данные из БД как в цифровом, так и в графическом виде, с использованием различных критериев поиска. Этот набор веб-сервисов служит своего рода интерфейсом, позволяющим пользователю создавать запросы и получать данные из БД в удобном, интерактивном режиме. При этом клиентским приложением может служить любая среда, поддерживающая передачу данных по протоколу HTTP (веббраузер, MatLab и др.). Рис Взаимодействие клиентских приложений с геомагнитной БД посредством пяти веб-сервисов, предназначенных для доступа к данным. Перечень разработанных веб-сервисов доступа к данным включает в себя: 1. Metadata Service для запроса справочной информации по всем станциям и обсерваториям; 201
202 2. Graphics Data Service для доступа к данным в графическом виде; 3. ASCII Data Service для доступа к данным в текстовом (цифровом) виде; 4. Absolute/Baseline Graphics Service для доступа к данным абсолютных измерений и значениям базовых линий в графическом виде; 5. Absolute/Baseline ASCII Service для доступа к данным абсолютных измерений и значениям базовых линий в текстовом (цифровом) виде. Частным случаем использования всех разработанных веб-сервисов является вебпортал для доступа к данным. Ниже приводится описание каждого веб-сервиса, а также описание функционала разработанного портала Ввод абсолютных измерений Как было отмечено ранее, база геомагнитных данных позволяет хранить абсолютные значения и значения базовых линий компонент вектора магнитного поля, рассчитанные по результатам измерений, проводимых вручную на обсерваториях. Для взаимодействия наблюдателей с БД и расчета соответствующих значений было разработано два веб-приложения. То или иное веб-приложение используется в случае проведения измерений либо офсетным методом (см. раздел 1.2.4), либо нуль-методом. Каждое веб-приложение состоит из веб-формы с набором полей для соответствующего метода измерений (рис. 4.7) и серверного приложения, осуществляющего расчет абсолютных и базовых значений и взаимодействующего с БД. Серверные приложения реализованы в виде Java-сервлетов. (а) (б) Рис Пример веб-интерфейса для ввода значений из ведомости абсолютных измерений офсетным методом (а) и нуль-методом (б). 202
203 После заполнения формы и отправки наблюдателем запроса на сервер все значения из полей формы сохраняются в виде файлов на сервере хранения исходных текстовых файлов данных. Для дальнейшего расчета абсолютных значений и значений базовых линий серверное приложение обращается с запросом к БД для извлечения необходимых данных из таблицы pre_min. Таким образом, последующий расчет происходит на базе внесенных в поля формы значений и извлеченных из БД необходимых данных. Рассчитанные абсолютные значения, значения базовых линий и соответствующие времена привязок сохраняются в БД в таблице abs. Кроме того, эти данные вместе с заполненной формой отправляются наблюдателю по указанному им электронному адресу (рис. 4.8) [Soloviev et al., 2012b]. Рис Процедура ввода результатов абсолютных измерений и расчета абсолютных значений и значений базовых линий. 203
204 Веб-сервисы для интерактивного доступа к данным Для удаленного доступа к данным через веб-браузер и их визуализации был разработан комплекс веб-сервисов, реализованных в виде Java-сервлетов. Они дают возможность пользователям удаленно работать с БД в удобном, интерактивном режиме с широкими возможностями построения запросов. Для доступа к текущему списку и справочной информации по всем обсерваториям и станциям, которые передают данные в центр, был разработан Java-сервлет Metadata Service. В запросе к этому сервлету существует единственный параметр название таблицы с данными. В результате запроса сервлет рассчитывает временной интервал, за который доступны данные в указанной таблице для каждой обсерватории и станции. Вместе со всей справочной информацией из таблицы ref эти данные отправляются пользователю в текстовом виде (рис. 4.9). Рис Вывод справочной информации по текущему списку обслуживаемых центром обсерваторий и станций. Сервис для графического представления данных Graphics Data Service позволяет загружать один или несколько графиков данных в формате PNG с указанной обсерватории за указанный период (рис. 4.10). Параметры запроса и поиска данных включают в себя: ширину и длину генерируемого графического изображения; имя таблицы БД, содержащей искомые данные; код обсерватории; список графиков для отображения; начальное время запрашиваемого интервала; 204
205 конечное время запрашиваемого интервала. Рис Графическое отображение данных обсерваторий ARS, BOX и IRT. К возможным графикам для отображения относится любая комбинация из компонент X/H, Y/D, Z, полной напряженности F и разницы скалярных значений F и вычисленных по пространственным компонентам (deltaf). Для удобства без указания границ временного интервала имеется возможность построения графиков по имеющимся в таблице данным за последние сутки. Если выбранные данные содержат техногенные возмущения, распознанные алгоритмической системой контроля качества, то эти события будут отмечены на графиках (рис. 4.11). Рис Графики, построенные по запрошенным интервалам данных, в которых содержатся распознанные выбросы (отмечены синим цветом). Аналогичным образом строится запрос к сервису ASCII Data Service, предназначенному для предоставления данных в виде текстовых массивов. В данном случае также возможен множественный запрос по совокупности разных компонент, полной напряженности поля и записи deltaf. Результат запроса может быть сгенерирован 205
206 в одном из двух форматах на выбор: CSV (comma separated values) или IAGA Формат CSV поддерживается большинством приложений по работе с таблицами, например, Microsoft Excel. Формат IAGA-2002 является основным форматом для представления обсерваторских геомагнитных данных, принятым системой ИНТЕРМАГНЕТ. На рис приведен результат запроса, содержащий данные по всем возможным полям таблицы за указанный период времени в формате CSV. Рис Примеры результата запроса к данным в табличном виде в формате CSV. По аналогии с сервисами доступа к геомагнитным данным реализованы сервисы доступа к абсолютным значениям компонент поля и значениям базовых линий из таблицы abs, рассчитанных на основе абсолютных измерений. Сервлет Absolute/Baseline Graphics Service служит для отображения соответствующих значений в графическом виде, а сервлет Absolute/Baseline ASCII Service в текстовом. Примеры результатов работы сервлетов по запросу пользователей приведены на рис [Soloviev et al., 2012b]. (а) (б) Рис Отображение значений базовых линий H 0, D 0, Z 0 и F 0 и абсолютных значений I abs, F abs и D abs обсерватории MOS в графическом виде (а) и текстовом виде (б). 206
207 4.5. Доступ к данным и их визуализация Веб-портал центра геомагнитных данных На базе разработанных веб-сервисов для интерактивной работы с данными в 2013 г. был разработан и опубликован онлайн веб-портал российско-украинского центра геомагнитных данных. Он доступен по адресу (рис. 4.14). Вебпортал содержит всю необходимую информацию о функционировании центра геомагнитных данных. Для пользователей веб-портал предоставляет полный доступ к геомагнитным данным, поступающим и хранящимся в центре, благодаря разработанным веб-сервисам, интегрированным в работу веб-портала. Доступ к данным, описанию всех станций и обсерваторий, которые передают данные в центр, организован в интерактивном режиме. На сегодняшний день разработана только английская версия веб-портала. На ближайшее время запланирован перевод всего содержимого также на русский язык. (а) (б) Рис Заглавная страница Home веб-портала российско-украинского центра геомагнитных данных (а); выбор раздела Observatories с описанием всех обслуживаемых станций и обсерваторий (б). Содержимое веб-портала имеет следующую иерархическую структуру (стрелки обозначают подразделы): 1. Home домашняя страница; 2. Data Products раздел интерактивного доступа к данным; в корне раздела содержится графическое представление магнитограмм за последние сутки, полученные из всех станций и обсерваторий (рис. 4.15а); 207
208 3. Data Products Download подраздел доступа к геомагнитным данным в текстовом (цифровом) виде в форматах CSV и IAGA-2002 (рис. 4.16а); 4. Data Products Plot подраздел доступа к геомагнитным данным в графическом виде (рис. 4.16б); 5. Data Products Realtime подраздел доступа к геомагнитным данным в графическом виде в режиме реального времени; 6. Observatories раздел с описанием всех станций и обсерваторий, обслуживаемых центром (рис. 4.14б); в корне раздела приведена интерактивная карта мира с возможностью выбора интересующей станции или обсерватории, а также справочная информация по всем станциям и обсерваториям с указанием временных интервалов доступных данных (рис. 4.15б); 7. Data Services раздел со службами по работе с данными; 8. Data Services Despiking Data подраздел с возможностью загрузки пользовательских данных с целью их удаленной обработки автоматизированной системой распознавания техногенных аномалий (спайков); 9. Data Services Absolute Form (Offset) подраздел с ограниченным доступом (требуются логин и пароль) для ввода результатов абсолютных измерений офсетным методом (рис. 4.17); 10. Data Services Absolute Form (Null) подраздел с ограниченным доступом (требуются логин и пароль) для ввода результатов абсолютных измерений нульметодом; 11. Data Services Absolute Data подраздел доступа к абсолютным значениям компонент поля и значениям базовых линий в графическом и цифровом видах, рассчитанных на базе абсолютных измерений; 12. Materials раздел справочной информации; 13. Materials Publications подраздел со списком публикаций по соответствующей тематике; 14. Materials User Manuals подраздел с полезными руководствами и инструкциями по соответствующей тематике; 15. Materials Fullsize Graphics подраздел с полноразмерными графическими изображениями (логотипы и т.д.); 16. Materials Software подраздел c полезным программным обеспечением; 17. Contact Us раздел справочной информации; 18. Data Policy раздел политики использования данных. 208
209 Рис Раздел Data Products с графическим представлением магнитограмм за последние сутки, полученных из всех станций и обсерваторий (а); раздел Observatories с интерактивной картой мира с возможностью выбора интересующей станции или обсерватории для получения подробной информации, а также со справочной информацией по всем станциям и обсерваториям с указанием временных интервалов доступных данных (б). 209
210 (а) (б) Рис Подразделы Download (а) и Plot (б) веб-портала для доступа к геомагнитным данным. Для выбора интересующей обсерватории на странице имеется интерактивная карта мира. Возможные параметры запроса к данным приведены в предыдущем разделе главы. Результаты запроса к данным доступны как в цифровом (а), так и графическом видах (б) и содержат информацию о распознанных техногенных аномалиях (на нижнем рисунке выделены серым). 210
211 Рис Подраздел Absolute Form (Offset) с ограниченным доступом (требуются логин и пароль) для ввода результатов абсолютных измерений офсетным методом. Введенные значения, а также рассчитанные на их основе абсолютные значения компонент поля и значения базовых линий добавляются в геомагнитную БД и отправляются наблюдателю по указанной электронной почте Видео-стенд для отображения геомагнитных данных На видео-стенде, установленном в ГЦ РАН (рис. 4.18), отображаются геомагнитные данные по мере их поступления в центр. Источником информации служат исходные файлы данных, присылаемые из обсерваторий и станций. Таким образом, видеостенд функционирует независимо от работы базы данных и, тем самым, служит дополнительным индикатором работы всей системы в целом. Рис Видео-стенд центра геомагнитных данных, установленный в ГЦ РАН. 211
212 Работа системы отображения геомагнитных данных на экранах видео-стенда ГЦ РАН начинается с загрузки файла конфигурации, отдельного свой для каждой станции. Файл состоит из четырех блоков: 1. общей части; 2. описание ftp-доступа; 3. процедура считывания данных; 4. описание графического окна. В первом блоке задаются такие параметры, как количество отображаемых дней, предполагаемая периодичность обновления данных, периодичность опроса данных. Во втором блоке задаются адрес ftp-сервера, имя и пароль для доступа к ftp-серверу, адрес удаленной директории, где находятся данные для каждой станции. В третьем блоке задаются шаблон имен файлов и программы считывания данных с текущей станции. В четвертом блоке описывается графическое окно: количество графиков, их расположение и цвет для отображаемой магнитограммы. Затем с ftp-сервера считываются начальные данные и создается пустое графическое окно, на котором и отображаются загруженные данные. После этого каждые N секунд (периодичность опроса данных) идет запрос к ftpсерверу о новых данных. Если данных нет, то программа останавливается на N секунд снова. Если есть, то происходит обновление данных на локальной машине и отображаемые графики перерисовываются. Для экономии времени обработки данных все данные делятся на три типа: данные на ftp-сервере, данные на диске локальной машины и данные в памяти компьютера. Когда появляется запрос на проверку новых данных, программа запрашивает ftp-сервер. Если появились новые данные или они изменились, происходит загрузка новой информации на локальный компьютер, затем в память программы и происходит генерация нового изображения. Если все данные совпадают, то ничего не происходит. В случае отсутствия данных или недоступности ftp-сервера на соответствующий экран выдается информационное сообщение. Блок-схема работы системы отображения данных на видео-стенде приведена на рис Соответствующее разработанное программное обеспечение является кроссплатформенным, что позволяет весь аппаратно-программный комплекс дублировать во множестве мест. 212
213 Загрузка файла конфигурации и начальных данных Создание окна отображения Формирование (обновление) графиков Пауза (N секунд) да Появились новые данные? нет Рис Блок-схема системы отображения данных на видео-стенде Сравнение распознавания выбросов методом F и алгоритмической системой, внедренной в центре В обсерваторской практике одним из главных методов фильтрации записей от техногенных шумов является анализ записи df. Эта запись представляет собой разницу между модулем магнитного вектора F, измеренным скалярным магнитометром, и вычисленным по значениям его компонент как X Y Z. Однако, как правило, такая запись содержит большое количество ложных выбросов (рис. 4.20а), а иногда и не содержит в себе искомых (рис. 4.20б). Стоит отметить, что оба приведенных примера лежат в пределах часового промежутка времени одного дня. Сравнение результатов применения алгоритма SPs с принятым методом анализа записи по df показала, что алгоритм SPs существенно более эффективен в решении поставленной задачи. Ситуация, отраженная на рис. 4.20а, в ряде случаев объясняется тем, что измерение F при помощи скалярного магнитометра производится с частотой, отличной от частоты измерений векторного магнитометра компонент X, Y и Z. Другой причиной может служить отсутствие синхронизации по времени между данными, поступающими со скалярного и векторного магнитометров в систему сбора данных. В таких случаях естественные флуктуации магнитного поля могут быть не согласованы на записях его компонент и полной напряженности или проявляться с некоторым сдвигом по времени. Это приводит к появлению выбросов на записи df в соответствующие моменты времени, а в случае резких колебаний выбросы на df могут быть весьма большими. Однако такие выбросы не свидетельствуют о наличии техногенных выбросов на исходных записях. 213
214 Рис (а) Пример ложного выброса на записи df (нижний график), слева; (б) Пример отсутствия выброса на записи df (нижний график), справа. Выбросы, выделенные экспертами вручную на исходных записях X, Y, Z и F, помечены красным. Ситуация, когда на записи df не возникает выброса при его наличии на магнитограммах (напр., рис. 4.20б), может иметь разные причины. Например, если источник искусственного возмущения вызывает кратковременный поворот вектора магнитного поля в точке установки вариометра без изменения его модуля, то, очевидно, выбросы будут зафиксированы только на измерениях компонент поля. Поскольку модуль вектора останется неизменным, то и на записи df выброса в этом случае не будет. Другой причиной может быть сильное влияние на поле, зафиксированное обоими магнитометрами в этой ситуации изменение модуля вектора по рассчитанным компонентам и по измеренным скалярным данным будет совпадать. Опять же, на записи df выброса в этом случае не будет (рис.4.20б, четвертый выброс). Недостаток анализа данных при помощи записи df заключается в том, что для расчета df необходимо наличие векторных данных по трем компонентам и скалярных данных по напряженности поля и, соответственно, необходима корректная работа обоих приборов. При выходе из строя одного из устройств регистрации данных или сбое в регистрации какой-то одной компоненты метод теряет свою силу. Преимуществом фильтрации данных при помощи алгоритмов SP и SPs является применимость метода к одной конкретной записи и его независимость от наличия других записей. В частности, это делает метод востребованным не только на магнитных обсерваториях, но и на 214
215 магнитных станциях, где производится автоматическая регистрация только компонент вектора магнитного поля без скалярных значений его напряженности. В таких условиях, очевидно, метод df неприменим Моделирование полной напряженности магнитного поля на территории России в режиме квазиреального времени Одной из прикладных задач, решаемых в центре геомагнитных данных, является моделирование характеристик магнитного поля Земли для всей территории России. Для этой цели был разработан метод, позволяющий генерировать карты магнитного поля за каждый момент времени. Генерация карт происходит на базе получаемых данных российских обсерваторий, по мере их поступления в центр. Фактически, решается задача интерполяции характеристик магнитного поля на равномерной географической сетке в режиме квазиреального времени. В результате, была создана непрерывно обновляемая база цифровых данных по геомагнитной обстановке на всю территорию России. Для создания непрерывно обновляемой базы цифровых данных по геомагнитной обстановке на обсерваториях в пределах территории России ведутся непрерывные измерения параметров магнитного поля Земли. В частности, измеряется полная напряженность магнитного поля Земли F. Данные из обсерваторий поступают в Российско-украинский центр геомагнитных данных, функционирующий на базе ГЦ РАН. Была поставлена задача реализации программного комплекса, производящего интерполяцию полной напряженности поля F по мере поступления данных из российских обсерваторий с последующей генерацией набора карт распределения интерполированных величин по территории России. Полная напряженность поля в данной точке определяется несколькими факторами, которые зависят от времени существенно различным образом: главным магнитным полем Земли с источниками в жидком ядре Земли, литосферным полем с источниками в земной коре, ионосферными источниками и локальными техногенными источниками [Соловьев и др., 2012б]. При этом последний фактор при наблюдениях стараются минимизировать, поэтому им можно в данной работе пренебречь. Главное магнитное поле Земли значимо (в пределах доступной точности) изменяется на масштабах порядка года, а литосферное поле на масштабах геологических времен, поэтому в вопросах интерполяции магнитного поля на масштабе дней и месяцев их следует рассматривать как постоянные векторные слагаемые. Соответствующие данные по напряженности несложно восстанавливаются из векторных данных, при этом вклад в напряженность ГМПЗ является основным. Соответствующие данные существуют благодаря сбору геологической информации 215
216 (магнитная съемка местности в масштабе региона) и спутниковым магнитным измерениям. Последние, к сожалению, не всегда ведутся непрерывно, но, учитывая малую изменчивость ГМПЗ во времени, использование старых моделей ГМПЗ не должно приводить к существенным неточностям. Оставшаяся компонента, которая называется дневной вариацией, напротив, меняется значимо, и тем самым интерполяция ее значений в пространстве и во времени является ключевой для интерполяции магнитных наблюдений вообще. Существуют несколько серьезных проблем, связанных с интерполяцией магнитного поля. Данные по перечисленным выше факторам, как правило, не являются векторными. Тем самым, результирующая напряженность поля, вообще говоря, не является суммой напряженностей от главного и литосферного, а также его дневной вариации, в то время как в векторном смысле эти факторы суть обычные слагаемые. Однако, при отсутствии лучших возможностей приходится считать, что на фоне ГМПЗ остальные слагаемые невелики и разница между напряженностью истинного поля и суммой напряженностей служит допустимо хорошим приближением к ответу. Разумеется, возможна выборочная (там, где данные доступны в векторном виде) проверка этого допущения. Следующая трудность состоит в чрезвычайно нерегулярном расположении обсерваторий и необходимостью интерполяции по пространству на таких пространственных масштабах поправки на кривизну значимо влияют на ответ. Выбор типа интерполяции с точек наблюдения на регулярную сетку определяется тем, что на фоне указанных выше соглашений простая линейная интерполяция ничем не хуже сплайнов. Метод перенесения значений с нерегулярной плоской сетки с вершинами в точках наблюдений на регулярную основан на триангуляции пространства и предположении о том, что в каждом треугольнике значение искомой величины есть линейная функция. Иными словами, значение в каждой внутренней точке треугольника целиком определяется расстояниями (взятыми с учетом кривизны) до его вершин (точек нерегулярной сетки, где имеются наблюдения). Собственно триангуляций с вершинами в данных точках может быть несколько, общепринято выбирать те из них, где треугольники по возможности близки к равносторонним. Известен алгоритм построения такой триангуляции, называемый триангуляцией Делоне [Скворцов, 2002]. Дальнейшее применение метода очевидно: исходные точки соединяются таким образом, чтобы результирующая поверхность была покрыта лоскутным одеялом из треугольников. При этом грани треугольников не должны пересекаться между собой. Каждый треугольник определяется тремя исходными 216
217 экспериментальными точками. Значения функции в узлах регулярной сети, попадающих внутрь этого треугольника, принадлежат плоскости, проходящей через вершины треугольника. Отличительной чертой триангуляции Делоне является минимизация вытянутых треугольников. К недостаткам метода триангуляции Делоне можно отнести то обстоятельство, что он может интерполировать только точки, находящиеся внутри выпуклой оболочки, содержащей в себе все эти точки (т.е. наименьшее выпуклое множество, содержащее все эти точки). В качестве источника данных использовалась база данных, содержащая измерения напряженности магнитного поля по всем обсерваториям, участвующим в проекте. На первом этапе была написана программа на внутреннем языке системы MATLAB, считывающая в реальном времени значения напряженности магнитного поля Земли F из базы данных. Программа усредняет значение поля F за час. Таким образом, мы имеем среднее значение F и (измеренное) за каждый час по каждой из обсерваторий. После этого, с привлечением модели главного магнитного поля Земли IGRF ([Macmillan and Maus, 2005], из получившихся средних значений вычитаются среднегодовые модельные значения поля Fм (модельное) для точек, где находятся обсерватории. Следующая программа, также написанная в системе MATLAB, по значениям этой разницы (Fи Fм) производит триангуляцию Делоне с последующей линейной интерполяцией на регулярную сетку и строит рисунок получившегося поля c разрешением Триангуляция Делоне производится алгоритмом из математической библиотеки MATLAB. Таким образом, в результате работы программы в узлах регулярной сетки мы имеем значения отклонений наблюденного поля от нормального. Для перехода от отклонений к абсолютным значениям полной напряженности поля необходимо в каждой точке сетки к получившемуся значению прибавить вычисленное для конкретной точки значение нормального поля согласно модели IGRF. Разработанный программный комплекс был установлен на один из серверов Российско-украинского геомагнитного центра данных в ГЦ РАН [Soloviev et al., 2012b]. Основными функциями сервера являются хранение базы геомагнитных данных и обработка поступающих данных алгоритмами, разрабатываемыми в ГЦ РАН [Богоутдинов и др., 2010]. Программный комплекс функционирует непрерывно, генерируя карты с шагом в 1 час по мере поступления новых геомагнитных данных (рис. 4.21). Для его функционирования на сервере установлено следующее программное обеспечение: 1. Операционная система Linux Ubuntu 12.04; 2. СУБД MySQL Server 5.5; 217
218 3. Octave 3.2.4; 4. MATLAB Рис Интерполяция данных обсерваторских измерений полной напряженности магнитного поля Земли на 4 сентября 2012, 05:00 UT. Обращение модулей MATLAB к базе геомагнитных данных происходит посредством веб-сервисов, разработанных для обеспечения доступа к данным геомагнитного центра через веб. Те сервисы, которые задействованы в работе разработанного программного комплекса, позволяют осуществлять многокритериальный запрос к БД, возвращая данные в табличном виде. Все веб-сервисы установлены на отдельном веб-сервере, доступном пользователям через Интернет [Рыбкина и др., 2013]. Следует ожидать, что с ростом числа российских пунктов наблюдений магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля на территории России Выводы 1. На базе ГЦ РАН впервые в России создан межрегиональный центр геомагнитных данных. Центр является ядром российско-украинского сегмента сети ИНТЕРМАГНЕТ, в котором развернута единая система магнитных наблюдений формата ИНТЕРМАГНЕТ. 2. Отличительной особенностью центра является внедрение автоматизированной системы распознавания техногенных аномалий на поступающих магнитограммах. Распознавание возмущений формализовано и выполняется единообразно, что позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными узлами магнитных данных ИНТЕРМАГНЕТ. 218
219 3. Подход к хранению данных при помощи реляционной системы управления базами данных (СУБД), реализованный в центре, также является его отличительной чертой по сравнению с зарубежными центрами геомагнитных данных. Он обеспечивает широкие возможности поиска данных, гибкость запросов любой сложности и быстроту их выполнения. Геомагнитная БД предназначена для хранения как минутных, так и секундных данных. Создание геомагнитного центра имеет фундаментальное значение, т.к. открывает возможность решения задач на большом объеме данных с большим территориальным охватом в режиме реального времени. 4. В центре сбора магнитных данных реализованы хранение и обработка не только вариационных данных, но и результатов абсолютных измерений, проводимых вручную на обсерваториях. Это дает возможность осуществлять привязку вариационных данных к абсолютным значениям фактически по мере их поступления. Впервые появляется возможность оперативного доступа к данным, имеющим привязку к абсолютным значениям и прошедшим процедуру автоматизированного контроля качества. Такие данные являются крайне ценным материалом для научного сообщества в области геомагнетизма и космофизики. 5. Внедренная алгоритмическая система более эффективна в решении распознавания аномалий техногенной природы, чем один из наиболее популярных в обсерваторской практике методов фильтрации записей от техногенных шумов, связанный с анализом записи df t X t Y t Z t F t. Как правило, такая запись ( ) ( ) ( ) ( ) скаляр ( ) содержит большое количество ложных выбросов, а иногда и не содержит в себе искомых. 6. На базе поступающих в центр данных решена задача непрерывного моделирования полной напряженности магнитного поля Земли на территории России в режиме квазиреального времени. Следует ожидать, что с ростом числа российских пунктов наблюдения магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля. 219
220 ГЛАВА 5. Распознавание магнитной активности методами дискретного математического анализа Данная глава основана на результатах, опубликованных в работах [Belov et al., 2008; Белов и др., 2007, 2010; Соловьев и др., 2007; Березко и др., 2008, 2010б, 2011; Гвишиани и др., 2010а; Beriozko et al., 2011; Сидоров и др., 2012; Soloviev et al., 2013; Kleimenova et al., 2012; Клейменова и др., 2013; Зелинский и др., 2014] Постановка задачи и ее обоснование В последние десятилетия в геофизике и смежных науках наблюдается стремительный рост объема получаемой информации о процессах, происходящих на Земле и в околоземном пространстве. Так, наземные сети геофизических наблюдений не только непрерывно растут, но и осуществляют переход на более высокочастотную регистрацию данных с целью удовлетворения потребностей более широкого круга научных интересов. Объемы информации о Солнце, регулярно передаваемые с искусственных спутников Земли, также непрерывно растут, позволяя изучать более детально солнечную активность. Например, спутник SDO (Solar Dynamics Observatory) передает ежедневно на Землю порядка 1.5 терабайт данных о солнечной атмосфере на малых пространственно-временных масштабах и во многих длинах волн единовременно. Кроме того, уже несколько десятилетий происходит переход от накопившихся аналоговых представлений результатов измерений к цифровым. Вследствие этого возросла роль дискретных методов анализа данных и дискретной математики в целом. Статистика показывает, что не менее стремительно растет и количество запросов к дискретным данным, подчеркивая тем самым исключительную важность исходных данных регистрации. При небольших объемах данных опытному эксперту не составляет труда извлечь из них полезную информацию. Для перехода такого огромного количества в качество очевидно требуются адекватные автоматизированные методы их комплексного анализа и обработки. В этом случае автоматизированное извлечение полезной информации должно быть формализовано, происходить единообразно и объективно. Поскольку природа явлений, отраженных в регистрируемых данных, априори не известна и во времени изменчива, то и методы должны быть в большой степени адаптивными. Обеспечить подобную гибкость при автоматизации распознавания аномальных событий способен эффективный учет в соответствующем методе знаний экспертов, осуществляющих анализ данных вручную. 220
221 Геомагнитное поле подвержено колебаниям различного временного масштаба. С целью описания магнитной активности в планетарном масштабе был разработан ряд геомагнитных индексов: 24-часовой C-индекс, 3-часовой K p -индекс, часовые индексы D st, AE и другие (см. Приложение 2). Каждый из индексов вычисляется по результатам измерений и характеризует, как правило, лишь часть, одну из составляющих геомагнитной активности, так что выбор конкретного индекса при сопоставлении с некоторым определенным явлением является нелегкой задачей и подчас требует предварительного исследования. При расчете основных планетарных индексов используется заранее определенный и ограниченный набор обсерваторий, то есть они характеризуют активность геомагнитного поля не по всей поверхности Земли, а лишь в отдельных заранее заданных регионах. Это отчасти связано с тем, что большинство индексов разрабатывалось довольно давно, когда сети наземных наблюдений были слабо развиты. Так, например, для характеристики планетарной магнитной возмущенности в 3- часовом интервале в настоящее время существуют два индекса: K p и K m. При расчете планетарного К р -индекса используют только 13 обсерваторий, расположенных между 63 северной геомагнитной широтой и 46 южной геомагнитной широтой. При этом более половины обсерваторий сконцентрированы в Европе. Индекс K m рассчитывается на базе уже другого набора обсерваторий. Отличаются и методики вычисления этих индексов. Несмотря на то, что индекс K m характеризует планетарную возмущенность с большей точностью, K p -индекс будет по-прежнему вычисляться Постоянной службой индексов до тех пор, пока сбор данных и вычисление K m -индекса на их основе не будет столь же оперативным, как вычисление K p -индекса. Если K p -индекс вычисляется и поступает в Мировые центры данных (МЦД) с недельным опозданием, то K m -индекс публикуется с опозданием до нескольких месяцев. Вообще, исследование магнитной бури с разрешение 1-3 час. позволяет выявить лишь сторм-тайм-вариацию Dst, да и то не в чистом виде, так как в средних и низких широтах иррегулярные возмущения (для пунктов, не исключительно далеких друг от друга) протекают синфазно и, следовательно, не будут сглаживаться при осреднении. Иррегулярная часть магнитной бури представляет собой последовательность отдельных возмущений, каждое из которых имеет длительность порядка 1-2, реже 3 час., поэтому их имело бы смысл исследовать с разрешением порядка мин. времени, но таких индексов пока не существует [Бобров, 1961]. Отметим, что основной идеей введения этих индексов было дать равномасштабную оценку относительной силы возмущений на разных обсерваториях. Один и тот же индекс 221
222 K p или Dst соответствует разным вариациям магнитного поля Земли на разных широтах. При этом используя данные индексы, предполагается, что вдоль широт долготного изменения вариаций не существует, т.е. подразумевается взаимодействие только одного магнитного диполя Земли с магнитосферой. Однако более детальное изучение морфологии геомагнитных возмущений и их источников показало, что разные индексы геомагнитной активности, используемые в наше время, отражают активность геомагнитного поля не на всей поверхности Земли, а на ее отдельных участках. Для изучения динамики геомагнитных возмущений во время бури недостаточно использовать лишь некоторые стандартные геомагнитные индексы. В процессе изучения солнечно-земных явлений появилась необходимость одновременного определения силы геомагнитных возмущений, зарегистрированных на как можно большем количестве обсерваторий. М. С. Бобров, исследуя записи 72 станций на протяжении Международного геофизического года ( гг.), установил, что почти все геомагнитные возмущения имеют общепланетарный характер [Бобров, 1961]. Следовательно, изучение магнитных возмущений по материалам небольшого числа обсерваторий, охватывающих ограниченные интервалы широт и долгот, не может дать полной картины явления. Исследователь должен располагать легко обозримой общепланетарной картиной изучаемого возмущения. Геомагнитная активность является наиболее прямым выражением воздействия солнечных корпускулярных потоков на атмосферу Земли. Поэтому структура корпускулярных потоков должна отражаться в тех или иных характерных особенностях геомагнитных возмущений. Для это необходимо анализировать магнитограммы, записанные на всевозможных широтах и долготах. В совокупности эти данные дают общепланетарную картину геомагнитных возмущений за тот или иной период [Бобров, 1961]. На сегодняшний день количество работающих обсерваторий только сети ИНТЕРМАГНЕТ свыше 120 это огромный объем постоянно увеличивающихся данных, анализировать которые вручную на постоянной основе невозможно. Итак, при исследовании солнечно-земных явлений необходимо одновременное определение величины возмущенности геомагнитного поля и изучения динамики распространения этих возмущений по всем обсерваториям мировой сети станций ИНТЕРМАГНЕТ, т.е. введение новых параметров, независимых от геомагнитных широт и долгот и новых алгоритмов обработки и анализа геомагнитных данных, что дает возможность более детального изучения геомагнитной активности по сравнению с 222
223 использованием стандартных подходов, основанных на использовании геомагнитных индексов. Метод анализа каждой магнитограммы в отдельности предполагает подход к каждой магнитной бури как к некоторой конкретной совокупности физических процессов во внешней и верхней атмосфере Земли, причем в этой совокупности есть как черты, общие для всех бурь, так и черты, характерные только для данной бури или же того узкого класса, к которому принадлежит данная буря. Можно сказать, что такой метод предполагает подход по преимуществу физический, в отличие от статистического метода [Бобров, 1961]. На базе алгоритмического подхода ДМА был разработан такой параметр вертикальная мера аномальности алгоритма FCARS [Гвишиани и др., 2008б]. Она зависит от записи, от времени и характеризует в непрерывной шкале отрезка [-1, 1] степень аномальности происходящего на данной записи в данный момент времени. Если имеется сеть станций, в частности ИНТЕРМАГНЕТ, то меры аномальности, построенные по записям на этих станциях, дают возможность следить в режиме реального времени в единой шкале [-1, 1] за совокупной аномальностью в сети. При этом временное разрешение меры соответствует периодичности самих наблюдений. В случае ИНТЕРМАГНЕТ шаг дискретизации наблюдений составляет одну минуту Апробация меры (t) оценки геомагнитной активности в реальном времени Как было сказано выше, для решения поставленной задачи использовался модифицированный алгоритм FCARS (Fuzzy Comparison Algorithm for Recognition of Signals, см. раздел 2.6) [Гвишиани и др., 2008б]. Основными этапами алгоритма FCARS являются: Фрагментация записи; Построение выпрямления; Расчет вертикальной меры аномальности на выпрямлении, вертикальное разбиение; Расчет горизонтальной меры аномальности на выпрямлении, горизонтальное разбиение. В результате алгоритм разбивает исходную запись на три типа фрагментов: фоновый (голубой), потенциально аномальный (зеленый) и аномальный (красный). Пример одновременной работы алгоритма FCARS на магнитных записях множества обсерваторий приведен на рис
224 Рис Пример одновременного выделения аномалий на множестве записей, полученных с разных обсерваторий ИНТЕРМАГНЕТ. Для оценки магнитной активности в каждый момент времени нам достаточно использования вертикальной меры аномальности (t) (в дальнейшем просто мера аномальности). Пример применения меры (t) к магнитной записи приведен на рис Рис Пример расчета меры (t) (снизу) для магнитной записи компоненты X за январь 2005 г., полученной на обсерватории Chambon la Foret (CLF) (сверху). Синий цвет соответствует фоновым участкам, зеленый и фиолетовый цвета потенциально аномальным, красный аномальным. 224
225 Работа меры (t) сравнивалась с классическими индексами геомагнитной активности. В частности, был проведен сравнительный анализ (t) и трехчасового локального индекса K (см. Приложение 2) на возмущенном фрагменте магнитной записи за январь 2005 г. В результате при сравнении работы двух методов между ними было получено высокое значение коэффициента корреляции (рис. 5.3). При этом из рис. 5.3 видно, что мера (t) гораздо тоньше реагирует на магнитные возмущения. Необходимо отметить, что для более корректного сравнения мера (t), как и индекс K, рассчитывалась для трехчасовых промежутков времени. В общем случае мера (t) способна работать на минимальном промежутке времени, соответствующем временному шагу регистрации исходных данных (напр., 1 минута в случае данных ИНТЕРМАГНЕТ) [Soloviev et al., 2013]. Рис Сравнение рассчитанной меры (t) и локального K-индекса для возмущенной магнитной записи компоненты X за январь 2005 г., полученной на обсерватории Chambon la Foret (CLF). Коэффициент корреляции между двумя получившимися записями составил Глобальный мониторинг геомагнитной активности в период магнитных бурь 23-го солнечного цикла Предлагаемый метод был опробован на сильных геомагнитных бурях, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ. Эти данные сравнивались статистически и индивидуально 225
226 с солнечными, гелиосферными и магнитосферными параметрами [ с целью изучения общих и специфических свойств рассматриваемых событий. Результат показал, что события имеют как общие черты, так и широкое разнообразие особенностей. Таким образом, был разработан инструментарий для одновременного анализа всей совокупности данных ИНТЕРМАГНЕТ с целью индивидуального распознавания магнитной активности на каждой записи отдельно. В основе инструментария лежат принципы дискретного математического анализа. Работа метода была опробована на двух сильных геомагнитных бурях. В первом случае рассматривалась сложная буря 8-11 ноября 2004 г., состоящая из двух частей. Во втором случае рассматривалась изолированная буря 15 мая 2005 г. Перед применением разработанного метода выбранные бури были детально изучены. Исходным материалом служили данные сети ИНТЕРМАГНЕТ, значения индекса D xt (исправленная версия D st ) [Mursula et al., 2008], параметры солнечного ветра и межпланетного магнитного поля и данные по солнечным событиям Анализ бури 8-11 ноября 2004 г. Первая буря состоит из двух частей в связи с тем, что имели место два корональных выброса массы. Первая часть бури проявилась 8 ноября 2004 г., вторая 10 ноября 2004 г. В первой части бури наблюдалось традиционное симметричное развитие геомагнитных возмущений в экваториальных регионах (рис. 5.4). Максимальное отклонение D xt -индекса составило нтл в 06:00:00 8 ноября 2004 г. 226
227 Рис Первая часть бури, 8 ноября 2004 г. Справа сверху на карту нанесены четыре низкоширотные обсерватории, чьи данные использовались для расчета индекса D xt : Гонолулу HON (желтый), Сан-Хуан SJG (зеленый), Херманюс HER (голубой) и Какиока KAK (красный). Слева в таблице приведены значения среднечасовой возмущенной вариации H для каждой обсерватории и значения D xt -индекса за соответствующие интервалы времени. Максимальные отклонения вариаций за рассматриваемый период выделены цветом соответствующей обсерватории, максимальное отклонение D xt -индекса также выделено цветом. Справа снизу друг на друга наложены среднечасовые возмущенные вариации H, зарегистрированные на четырех обсерваториях, и значения D xt - индекса за период 6-10 ноября 2011 г. Смысл цветов такой же, как на карте и в таблице. Во второй части бури 10 ноября 2004 г. наблюдалось неодновременное, асимметричное развитие геомагнитных возмущений в экваториальных зонах. На рис..5.5 видны большие задержки между пиками активности, зарегистрированными на разных обсерваториях. Максимальное отклонение D xt -индекса составило нтл в 10:00:00 10 ноября 2004 г. 227
228 Рис Вторая часть бури, 10 ноября 2004 г. Рисунок аналогичен рис На рис. 5.6 приведена карта солнечных событий и информация о гелиосферном токовом слое во время первой бури. На рис. 5.7 приведены параметры солнечного ветра и межпланетного магнитного поля, полученные со спутника ACE, а также индексы A p и D st во время первой бури. Рис Карта солнечных событий и информация о гелиосферном токовом слое во время первой бури. Красными звездочками помечены выбросы [ 228
229 Рис Индексы A p, D st, скорость, плотность и температура солнечного ветра, компоненты B x, B y и B z межпланетного магнитного поля (спутник ACE) во время первой бури [ На базе дискретного математического анализа нами предложен инструментарий для анализа динами развития геомагнитных бурь в режиме реального времени, используя минутные данные всей сети ИНТЕРМАГНЕТ. Для визуализации результатов использовались технологии географической информационной системы (ГИС). ГИС-системы предназначены для сбора, хранения, анализа и графической визуализации пространственных данных и связанной с ними информации о представленных в ГИС объектах. Технология ГИС объединяет традиционные операции работы с базами данных, такими как запрос и статистический анализ, с преимуществами полноценной визуализации и географического (пространственного) анализа, которые предоставляет карта. Эти возможности отличают ГИС от других информационных систем и обеспечивают уникальные возможности для ее применения в широком спектре задач, связанных с анализом и прогнозом явлений и событий окружающего мира, с осмыслением и выделением главных факторов и причин, а также их возможных последствий, с планированием стратегических решений и текущих последствий предпринимаемых действий. Важным преимуществом ГИС является интероперабельность различных систем. Это означает, что одни наборы данных и системы могут быть инкорпорированы в другие, более крупные системы, и наоборот. Таким образом, результаты данной главы, полученные в среде ГИС, могут быть интегрированы в более крупные системы, например, в интеллектуальную многодисциплинарную ГИС «Данные наук о Земле по территории 229
230 России и сопредельных государств» [ Белов и др., 2007; Belov et al., 2008; Соловьев и др., 2007; Березко и др., 2008, 2010б, 2011; Beriozko et al., 2011], которая разрабатывается и развивается в ГЦ РАН. Данная интегрированная ГИС является уникальной в связи с наличием в ней БД с комплексным набором данных по РФ в области наук о Земле (геология, геофизика, геоэкология, экономическая география, дистанционное зондирование Земли из космоса и др.), а также методов интеллектуальной и комплексной обработки этих данных для решения широкого круга задач, подготовки и принятия решений в различных областях. На рис. 5.8 показаны некоторые моменты работы созданного инструментария в процессе мониторинга первой бури. В данном случае анализировалась компонента H. (а) (б) (в) (г) Рис Глобальный мониторинг первой бури в режиме реального времени на базе данных ИНТЕРМАГНЕТ (компонента H). На рисунке приведена работа системы в разные моменты времени UT: 7/11/ :00 (а), 8/11/ :27 (б), 9/11/ :09 (в) и 9/11/ :42 (г). На карте, приведенной на рис. 5.8, в режиме анимации можно видеть распределение параметра аномальности (t) по всей совокупности обсерваторий ИНТЕРМАГНЕТ. Показателем аномальности на каждой обсерватории служит 230
231 вертикальная мера аномальности (см. раздел 2.6) в шкале от -1 до 1 с использованием выпрямления «Энергия фрагмента обзора» (см. раздел 2.2.2). Справа снизу приведена динамическая гистограмма для каждого момента времени, которая отражает распределение обсерваторий ИНТЕРМАГНЕТ, соответствующее разным значениям меры аномальности (t) от -1 (нет аномалии) до 1 (сильная аномалия). В инструментарии на рис. 5.8 для каждого момента времени также приведен динамический график компоненты B z межпланетного магнитного поля. Можно наблюдать четкое соответствие между гистограммой наблюдаемой аномальности на обсерваториях и поведением B z. при резком изменении Bz наблюдается переход большинства обсерваторий в аномальное состояние. Отдельно были проанализированы моменты времени, когда при невозмущенном солнечном ветре и ММП глобально наблюдалась повышенная геомагнитная активность на Земле. На рис. 5.9 показана работа меры (t) в соответствующие моменты времени, которые отмечены на графике Bz вертикальной синей линией. Согласно гистограммам, расположенным на рисунках снизу слева, большинство обсерваторий пребывают в состоянии повышенной активности. 231
232 (а) (б) (в) (г) Рис Моменты времени 8 ноября 2004 г. (а, б) и 9 ноября 2004 г. (в, г), при которых наблюдается повышенная активность на большинстве обсерваторий. Солнечный ветер и ММП при этом остаются невозмущенными. При анализе солнечного ветра рассматривались следующие параметры скорость (V), плотность (n) и температура (T) солнечного ветра, межпланетное магнитное поле (B, Bx, By, Bz) и геомагнитные планетарные индексы Ap и Dst. Изменения значений указанных параметров во времени приведены на рис Синей вертикальной линией отмечены те же четыре момента, что и на рис
233 Рис Изменения во времени параметров солнечного ветра, ММП и геомагнитных индексов Ap, Dst с 8/11/2004 по 11/11/2004 [ и индекса AE с 8/11/2004 по 10/11/2004 [ Из рис видно, что в отмеченные моменты времени скорость, плотность и температура солнечного ветра остаются постоянными. Вариации компонент межпланетного магнитного поля близки к нулю, а значения планетарных индексов Ap и Dst демонстрируют пониженную геомагнитную активность. Однако в действительности, практически на всех обсерваториях наблюдаются высокие значения меры активности (рис. 5.9). Для объяснения этого эффекта к рассмотрению были добавлены значения геомагнитного индекса AE с 8 по 10 ноября 2004 г. Данный индекс является количественной мерой магнитной активности в авроральной зоне северного полушария (
60-80 N). Он отражает усиление токов в ионосфере, протекающих вдоль границы аврорального овала (электроджета). Электроджет возникает 233
234 при суббурях и отражается на геомагнитных записях, регистрируемых обычно станциями в авроральной зоне. Графики индекса AE приведены снизу на рис Подробное описание методики расчета индексов Ap, Dst и AE приведено в Приложении 2. Итак, отмеченные на рис и 5.10 моменты времени приходятся на восстановительную фазу бури. Хотя солнечный ветер уже спокойный, суббури все еще продолжаются, при этом довольно мощные. Им соответствуют большие значения АЕиндекса. Авроральные электроджеты настолько интенсивны, что их магнитные вариации видны и на средних широтах. В результате, в активном состоянии пребывает большинство обсерваторий всей мировой сети. Геомагнитные бури всегда сопровождаются суббурями, возникающими спонтанно и подряд. Суббури не требуют никаких триггеров в солнечном ветре, т.к. возникают в хвосте магнитосферы, где во время бури накапливается и высвобождается большое количество энергии Анализ бури 15 мая 2005 г. На рис приведена информация относительно второй изолированной магнитной бури, произошедшей 15 мая 2005 г. Эта буря характеризуется классическим развитием основной фазы. Изменение горизонтальной компоненты магнитного поля вдоль экватора происходит практически одновременно и симметрично. Это свидетельствует о вкладе кольцевого тока. Максимальное отклонение D xt -индекса составило нтл в 08:00:00 15 мая 2005 г. Рис Вторая буря, 15 мая 2005 г. Рисунок аналогичен рис. 5.4 и
235 На рис приведена карта солнечных событий и информация о гелиосферном токовом слое во время второй бури. На рис приведена информация о параметрах солнечного ветра и межпланетного магнитного поля во время второй бури. Рис Карта солнечных событий и информация о гелиосферном токовом слое во время второй бури. Красными звездочками помечены выбросы [ Рис Индексы A p, D st, скорость и плотность солнечного ветра, компоненты B x, B y и B z межпланетного магнитного поля (спутник ACE) во время второй бури [ На рис приведены некоторые моменты работы ГИС-системы в режиме реального времени на базе методов дискретного математического анализа. Мониторинг второй бури показал, что ее отличительной чертой является большая задержка по времени. Основной кольцевой ток начал развитие примерно через 3 часа после прихода на 235
236 Землю межпланетной ударной волны и, соответственно, внезапного начала бури. Это обстоятельство объясняется обратной ориентацией межпланетного электрического поля против магнитосферы. (а) (б) (в) (г) Рис Мониторинг второй бури в режиме реального времени на базе данных ИНТЕРМАГНЕТ (компонента H). На рисунке приведена работа системы в разные моменты времени UT: 14/05/ :15 (а), 15/05/ :45 (б), 15/05/ :57 (в) и 16/05/ :24 (г). Как и в случае анализа первой бури были выделены моменты времени, когда при невозмущенном солнечном ветре и ММП глобально наблюдалась повышенная геомагнитная активность на Земле. На рис показана работа меры (t) в соответствующие моменты времени, которые отмечены на графике Bz вертикальной синей линией. Согласно гистограммам, расположенным на рисунках снизу слева, большинство обсерваторий пребывают в состоянии повышенной активности. 236
237 (а) (б) (в) Рис Моменты времени 15 мая 2005 г. (а) и 16 мая 2005 г. (б, в), при которых наблюдается повышенная активность на большинстве обсерваторий. Солнечный ветер и ММП при этом остаются невозмущенными. Изменения значений параметров солнечного ветра, ММП и индексов Ap и Dst во времени приведены на рис Синей вертикальной линией отмечены три момента, что и на рис
238 Рис Изменения во времени параметров солнечного ветра, ММП и геомагнитных индексов Ap, Dst с 14/05/2005 по 17/05/2005 [ и индекса AE с 15/05/2005 по 17/05/2005 [ Как и в случае анализа первой бури из рис видно, что в отмеченные моменты времени параметры солнечного ветра сильно не меняются, а вариации компонент ММП близки к нулю. Значения индекса Ap, предназначенного для оценки возмущенности поля в планетарном масштабе, принимает минимальные значения, особенно в моменты времени 1 и 3. Тем не менее, из рис видно, что практически все обсерватории мировой сети находятся в активном состоянии. К рассмотрению были добавлены значения геомагнитного индекса AE с 15 по 17 мая 2005 г. Графики индекса приведены снизу на рис Как и в случае первой бури, отмеченные на рис и 5.16 моменты времени приходятся на восстановительную фазу бури, которая сопровождалась мощными суббурями. Однако соответствующие значения АЕ-индекса не такие большие, как в случае первой бури, особенно в момент времени 3. Тем не менее, интенсивность авроральных электроджетов велика, их магнитные вариации отражаются и на средних широтах. Поэтому в активном состоянии пребывает большинство обсерваторий всей мировой сети. 238
239 Обсуждение результатов анализа Итак, в первом случае на экваторе наблюдается нерегулярное развитие геомагнитной бури с огромной задержкой в половину дня. Долготная асимметричность делает ее похожей на суббурю и напоминает Событие Кэррингтона сентября 1859 г. [Cliver и Svalgaard, 2004]. В случае второй бури на экваторе наблюдается практически одновременное ее развитие. Долготная симметричность отражает кольцевой ток, что подтверждается значениями D st - и D xt -индексов. На базе проведенного анализа динамического распределения геомагнитных возмущений во время геомагнитных бурь можно сделать следующий вывод: кольцевой ток не всегда является главным содействующим элементом в отношении экваториальных геомагнитных возмущений во время развития основной фазы сильных геомагнитных бурь [Soloviev et al., 2013]. Полученный вывод хорошо согласуется с [Yakovchouk et al., 2012]. В работе анализировались характеристики более 1000 магнитных бурь, зарегистрированных с 1932 по 2009 гг. Было показано, что глобальный минимум часового Dst/Dxt-индекса во время бури может составлять менее 75% от наблюдаемой асимметрии (наибольшей часовой разности между наблюдениями на любых двух станциях из четырех, по которым рассчитывается Dst-индекс) во время соответствующего часа (например, в случае бури июля 2003 г.). Этот факт демонстрирует, что оценка активности, проводимая только на основе значений планетарного индекса (глобальный минимум Dst-индекса), крайне неполная [Yakovchouk et al., 2012]. Очевидно, оценка возмущенности должна производиться на каждой станции индивидуально. Кроме того, в [Yakovchouk et al., 2012] было показано, что в среднем значение максимальной возмущенности, полученной с использованием локального (индивидуального для каждой из четырех станций) Dst-индекса, во время бури примерно на 25% превышает соответствующее значение глобального минимума Dst-индекса. Хотя для некоторых бурь эта разность может быть намного больше, данный процентный показатель дает средний коэффициент, с которым глобальный индекс Dst недооценивает значение максимального локального возмущения вдоль экватора во время бурь. Неполнота информации о возмущенности поля может приводить к ошибочным выводам относительно механизмов формирования бури и возможностей моделирования бурь с обучением лишь на глобальных значениях Dst-индекса [Yakovchouk et al., 2012]. Индивидуальная оценка возмущенности на каждой станции представляется наиболее объективным методом для изучения геомагнитной активности и, в частности, геомагнитных бурь. 239
240 Предлагаемый метод дает возможность более детального и наглядного изучения геомагнитной активности по сравнению с использованием стандартных подходов, основанных на использовании геомагнитных индексов. Гистограмма наблюдаемой аномальности показывает, что большие отрицательные значения компоненты B z межпланетного магнитного поля служат причиной перехода большинства обсерваторий в аномальное состояние. При нулевом значении B z геомагнитная активность может также наблюдаться по всему земному шару из-за сильных суббурь. Такие динамические карты и гистограммы позволяют изучать тонкую структуру и распределение активности как локально, так и глобально. На высоких широтах, где магнитное поле намного более изменчиво в силу воздействия внешнего магнитного поля, региональное изучение динамики активности становится еще более интересным Сравнение с онлайн-мониторингом геомагнитной активности ИНТЕРМАГНЕТ С конца 2012 г. на сайте ИНТЕРМАГНЕТ [ был опубликован инструментарий (рис. 5.13), позволяющий глобально осуществлять мониторинг и отслеживать динамику распределения магнитной активности за указанный промежуток времени по данным всей сети обсерваторий ИНТЕРМАГНЕТ. Рис Демонстрация динамической карты магнитной активности на сайте ИНТЕРМАГНЕТ. Вверху приведена карта обсерваторий ИНТЕРМАГНЕТ, каждая из которых раскрашена в соответствии со значением диапазона вариаций за часовой интервал. Внизу приведен график часовых диапазонов вариаций для выбранной обсерватории. В данном случае выбрана обсерватория Иркутск (IRT). 240
241 На карте магнитной активности показаны диапазоны магнитных вариаций за каждый час, полученные на обсерваториях ИНТЕРМАГНЕТ по всему миру. Для изучения событий в прошлом, необходимо указать начальную дату и длительность в часах. После чего, будет сгенерирована последовательность карт, каждая из которых соответствует одному часу. Последовательность карт отображается в виде анимации. При отображении наиболее поздних событий на карту наносятся лишь те обсерватории, которые имеют возможность передавать данные в оперативном режиме. Как и предложенный метод мониторинга геомагнитной активности с помощью меры аномальности (t), данный инструментарий также работает на совокупности всех данных ИНТЕРМАГНЕТ. Алгоритм рассчитывает максимальный разброс значений в пределах каждого часа для каждой обсерватории и наносит значения на карту мира [Viljanen et al., 2001]. В терминах ДМА, речь идет о значениях выпрямления «Осцилляция» в часовом окне O y (t, ), где =30 мин. Последовательность таких карт отображается в виде анимации. Разработанная система имеет узкое прикладное значение. Совокупность полученных значений за час является показателем индуцированных токов в Земле. Такой мониторинг в первую очередь направлен на защиту трубопроводов и электросетей от внешнего магнитного влияния, выражающегося в индуцированных токах [Viljanen et al., 2001]. Инструмент разработан в Канаде после техногенной катастрофы 1989 г., которая произошла в результате сильной магнитной бури. Почти по всей стране вышла из строя электросеть, что привело к огромным экономическим потерям. Изначально этот инструмент мониторинга применялся только к данным обсерваторий, расположенных в Канаде. Канадские исследователи для локального анализа в этом направлении дополнительно привлекают модель электропроводимости Земли. Инструментарий основан на обработке предварительных данных, поэтому следует ожидать множество ложных аномалий в случае некачественных исходных данных Выводы 1. Впервые разработан метод распознавания и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли с использованием ДМА и ГИС-технологий. Метод, осуществляя распознавание, позволяет следить за динамикой распространения магнитных бурь в режиме реального времени. 241
242 Оценка геомагнитной активности в различных регионах Земли дается в единой шкале. Метод не требует выявления магнитоспокойных дней для определения Sq-вариации. 2. На базе ДМА разработана новая мера аномальности, которая дает возможность более детального и наглядного изучения развития геомагнитной активности по сравнению с геомагнитными индексами. Мера позволяет анализировать внутреннюю тонкую структуру магнитных бурь, динамику их развития, как по всему земному шару, так и в пределах отдельных регионов. На высоких широтах, где измеряемое магнитное поле намного более изменчиво в силу воздействия внешнего магнитного поля, такое региональное изучение динамики активности становится еще более интересным. 3. Тестирование предложенной меры геомагнитной активности на данных, полученных с нескольких обсерваторий ИНТЕРМАГНЕТ, показало ее высокую корреляцию с локальным K-индексом геомагнитной активности. Знания экспертов, осуществляющих анализ геомагнитных данных вручную, эффективно инкорпорированы в разработанные алгоритмы за счет их обучения. 4. Предлагаемый метод был опробован на примере двух сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ. На базе проведенного анализа было показано, что кольцевой ток не всегда является главным содействующим элементом в отношении экваториальных геомагнитных возмущений во время развития основной фазы сильных геомагнитных бурь. Геомагнитные возмущения имеют общепланетарный характер, и для глубокого и детального исследования морфологических особенностей распространения геомагнитных возмущений по земному шару необходимо анализировать всю совокупность исходных обсерваторских данных. Предложенный метод впервые позволяет это делать в автоматическом режиме с минимальным временным разрешением. 5. Геомагнитная активность является наиболее прямым выражением воздействия солнечных корпускулярных потоков на атмосферу Земли, поэтому совокупный анализ магнитограмм, записанных на всевозможных широтах и долготах, при помощи предложенного метода дает возможность изучения структуры корпускулярных потоков. 6. Разработанная система оценки магнитной активности в приложении к поступающим в российско-украинский центр магнитным данным, которые проходят процедуру автоматизированного контроля качества и привязки к базовой линии, открывает возможность для достоверного изучения и оценки распределения магнитных возмущений по территории России и Украины в режиме, близком к реальному времени. 242
243 ГЛАВА 6. Применение метода дискретного математического анализа к распознаванию аномалий на данных о цунами Данная глава основана на результатах, опубликованных в работах [Гвишиани и др., 2010а; Soloviev et al., 2012c, 2013] Обоснование и постановка задачи Распознавание в рядах геофизических данных временных участков, которые обусловлены активизацией различных геофизических процессов, является одним из важнейших направлений в современной физике Земли. Как правило, активизация геофизических процессов проявляется в образовании аномальных участков на временных рядах геофизических данных. Так, в сейсмограммах, кратковременные участки, соответствующие процессам землетрясений, достаточно часто выглядят как аномальные; в магнитограммах поля Земли, временные участки, соответствующие процессам магнитных бурь, также, вполне, могут интерпретироваться как аномальные. Распознавание временных участков с сейсмическими и цунами- волновыми возмущениями в сигналах датчиков гидростатического давления донных сейсмических станций, содержащих сигналы землетрясений и цунами, является актуальной геофизической задачей. Cигналы датчиков гидростатического давления с такими составляющими являются ранними предвестниками возможных цунами. Цунамиволновые возмущения, обнаруживаемые в сигналах датчиков гидростатического давления от донных сейсмических станций, которые располагаются вдали от берега, могут приниматься в качестве непосредственных предвестников цунами. Донные сейсмические станции с датчиками гидростатического давления имеют целый ряд преимуществ по сравнению с традиционными донными станциями, которые оснащены сейсмографами. Национальное управление США по изучению океана и атмосферы (NОАА) развернула глубоководную систему обнаружения волн цунами систему DART (Deep-ocean Assessment and Reporting of Tsunamis), состоящую из одних из наиболее передовых донных сейсмических станций. Такие станции, объединённые в глобальную систему, могут обеспечить эффективное предупреждение цунами и внести весомый вклад в изучение сейсмичности Земли. Эти утверждения основаны на том, что 80% всех землетрясений происходят под дном океанов и морей, и сеть исключительно из наземных сейсмических станций не может регистрировать землетрясения без пропусков. 243
244 Необходимость развития аналитической компоненты существующих систем предупреждения о цунами обусловлена следующими причинами: 1. Необходимость формализованной автоматизации обработки наблюдаемых данных для повышения надежности, однородности и объективности процедуры обработки; 2. Необходимость автоматизированной обработки больших массивов цифровых данных в связи со стремительным ростом пунктов наблюдения и данных мониторинга землетрясений и цунами; 3. Требования по обеспечению высокой эффективности и качества надлежащего оперативного принятия решения в случае цунами; 4. Необходимость использования нечеткой логики и нечеткой математики в рассматриваемой проблеме, по своей природе имеющей нечеткие элементы; 5. Усиление геодинамической и тектонической активности за последние несколько лет, включая происшествие сильнейших землетрясений за весь период сейсмических наблюдений в Индийском океане около побережья Индонезии (26 декабря 2004 г., M
9.2) и в Тихом океане около побережья Японии (11 марта 2011 г., M
9.0), которые привели к огромным человеческим и экономическим жертвам. Последнее придает формализованной, автоматизированной обработке данных в системах предупреждения о цунами еще большее значение. Данная глава содержит описание алгоритмической системы RTFL (Recognition of Tsunamis based on Fuzzy Logic), которая обеспечивает автоматизированное распознавание временных участков, содержащих события двух видов: соответствующих приходу P- волны и приходу цунами. В основе метода лежат элементы нечеткой математики. Эффективность системы продемонстрирована в ее применении к распознаванию указанных волновых возмущений в записях сигналов донных сейсмических станций системы DART-2. Апробация алгоритма RTFL проводилась на данных DART-2, полученных с буя (рис. 6.1) за период с 23 июля 2006 г. по 2 мая 2010 г. Рассматриваемые данные представляют собой два временных ряда: 1. Абсолютные значения давления воды (в метрах водяного столба), измеренного на дне океана (Time Series 1 TS1); 2. Значения разницы между измеренными и модельными значениями давления (Time Series 2 TS2). 244
245 Рис Мировая карта расположения станций DART с дополнительной информацией по бую В обоих случаях шаг наблюдений по времени составляет 15 секунд, а длина записи значений. На рис. 6.2 приведен пример сигнала от P-волны, отраженного на TS1 и TS2, на рис. 6.3 пример сигнала от волны цунами. Задача состояла в автоматизированном распознавании всех сигналов от P-волн (Signal of P-Wave SPW) и сигналов от волн цунами (Signal of Tsunami Wave STW), отраженных на TS2. Рис Пример SPW, отраженного на TS1 (сверху) и TS2 (снизу). 245
246 Рис Пример STW, отраженного на TS1 (сверху) и TS2 (снизу) Автоматизированное распознавание алгоритмом RTFL сигналов P-волн и волн цунами на данных системы DART-2 Предварительная оценка эффективности работы метода осуществлялась путем сравнения результатов распознавания, полученных при помощи RTFL, с результатами ручной обработки данных. В результате ручной обработки данных экспертами было выделено 20 событий на записи, среди которых 14 событий являются SPW, а 6 STW. С использованием автоматизированной обработки данных, алгоритмом было выделено 21 событие, среди которых 2 события оказались лишними. Кроме того, алгоритм не распознал одно событие, представляющее собой STW. Таким образом, вероятность пропуска цели составила (1/20)*100% = 5%, а вероятность ложной тревоги составила величину (2/21)*100% = 9.5%. Эти результаты были получены в ходе достаточно грубого выбора параметров настройки алгоритма. При проведении оптимизации следует ожидать ещё более низких значений вероятностей ошибок первого и второго родов. Таким образом, полученный результат, являющийся предварительным, можно считать крайне успешным. Очевидно, при более тонкой настройке алгоритмов путем варьирования свободных параметров с помощью частичного или полного перебора следует ожидать повышения точности результатов. Примеры распознавания алгоритмом SPW и STW на TS2 приведены на рис Фрагмент TS2, содержащий пропущенный алгоритмом STW, приведен на рис По сравнению с другими STW, это событие отличается крайне слабой возмущенностью относительно общего фона. 246
247 Рис Пример автоматизированного распознавания SPW и следующего за ним STW на TS2. Выделенные события помечены красным цветом. Рис Пример автоматизированного распознавания SPW на TS2. Выделенное событие помечено красным цветом. Рис Примеры автоматизированного распознавания STW на TS2. Выделенные события помечено красным цветом. Рис Событие на TS2, представляющее собой STW и не распознанное алгоритмом. Красной линией обозначены примерные временные границы этого события. 247
248 Работа предложенного алгоритма сравнивалась с алгоритмом, построенным на базе спектрально-временного анализа, который применялся в аналогичной задаче [Гетманов и др., 2012]. В указанной работе описана последовательная реализация алгоритмов, обеспечивающая распознавание временных участков с Рэлеевскими и цунами- волновыми возмущениями в записях сигналов донных сейсмических станций. Первый алгоритм вычисляет оценки функций частотно-временных распределений и реализует процедуры принятия решений по распознаванию с помощью сравнения оценок и эталонных функций частотно-временных распределений. Второй алгоритм производит нелинейную фильтрацию результатов процедуры принятия решений для повышения точности оценивания границ аномальных участков и снижения вероятностей ложных обнаружений и пропусков. Как было отмечено ранее, недостатком методов спектрально-временного анализа по сравнению с предложенным подходом к распознаванию является необходимость наличия априорной информации об искомых возмущениях. В данном случае, требуется определения эталонных функций частотно-временных распределений. Предлагаемый алгоритм RTFL, построенный на базе дискретного математического анализа, в большой степени адаптивен. Он способен распознавать в регистрируемых данных аномальные явления, априори не известной и изменчивой во времени природы. В работе [Гетманов и др., 2012] достигается сравнимый уровень ложных обнаружений и пропусков событий Выводы 1. Разработанный алгоритмический метод ДМА реализован для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. Созданная система впервые позволяет обнаруживать в накопленных данных события, не отраженные в имеющихся мировых каталогах землетрясений и цунами в силу их небольшой магнитуды. 2. Реализованный метод применен в решении задачи распознавания на записях наблюдений системы DART-2 (глубоководная система обнаружения волн цунами) временных участков, соответствующих сигналам от подводных землетрясений (P-волн) и волн цунами. Оценка работы системы путем сравнения результатов распознавания с работой эксперта показала высокую эффективность метода. 3. Метод позволяет в автоматическом режиме, объективно, единообразно и оперативно обрабатывать огромные массивы данных, полученные со всей сети мировых 248
249 наблюдений цунами за продолжительный период времени, что практически невозможно сделать вручную. При этом, его функционирование не требует сверхбольших вычислительных затрат. Разработанный комплекс может работать в режиме реального времени, обрабатывая данные по мере их поступления. 249
250 ЗАКЛЮЧЕНИЕ В процессе работы над решением задач, поставленных в диссертации, были получены следующие основные результаты: 1. На базе ДМА создан новый метод распознавания и изучения аномальных событий на временных рядах различных геофизических данных. На базе конструкции нечетких сравнений строго формализованы понятия, необходимые для анализа временных рядов: нечеткая мера аномальности, нечеткие грани и нечеткая мера скачкообразности. Эти формализации позволяют эффективно решать поставленные в рамках диссертации задачи методом ДМА. Разработанные алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия свободных параметров. Используя конкретный набор значений параметров, алгоритмы осуществляют единообразное формализованное распознавание аномальных событий на временных рядах произвольной природы. Специфика и морфология данных при этом отражены в результатах обучения. 2. Создана конкретная реализация алгоритмического метода ДМА в виде алгоритмов SP, SPs и JM для распознавания и анализа аномальных событий на временных рядах наблюдений МПЗ. Формализованы критерии эффективности метода и проведена оценка результатов распознавания. Алгоритмы позволяют получать очищенные от техногенных аномалий магнитограммы из предварительных записей практически без участия человека. Эта задача успешно решается на минутных и секундных данных наземных наблюдений и на полусекундных спутниковых данных. Эффективность реализованных алгоритмов также достигается благодаря созданной системе обучения и оценки качества работы алгоритмов. Такая автоматизированная система создана для магнитных измерений впервые. Работа алгоритма SPs сравнивалась с наиболее универсальными статистическими методами. Продемонстрированы явные преимущества предлагаемого алгоритма. 3. Создан центр геомагнитных данных на базе ГЦ РАН, что позволило объединить геомагнитные наблюдения России и Украины в единую межнациональную сеть. Отличительной особенностью центра является внедрение автоматизированной системы распознавания техногенных аномалий, построенной на базе алгоритмического подхода ДМА. Система позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными центрами магнитных данных ИНТЕРМАГНЕТ. Подход к хранению данных в реляционной СУБД обеспечивает важные преимущества по сравнению с некоторыми официальными узлами сбора данных ИНТЕРМАГНЕТ: широкие возможности поиска данных, гибкость запросов любой сложности и быстродействие их 250
251 выполнения. В созданном центре реализованы хранение и обработка не только вариационных данных, но и результатов абсолютных измерений. Это дает возможность осуществлять привязку вариационных данных к абсолютным значениям фактически по мере их поступления. Такие данные, имеющие привязку к абсолютным значениям, прошедшие процедуру автоматизированного контроля качества и доступные с задержкой в несколько часов, являются ценным материалом для научного сообщества в области геомагнетизма и космофизики. На базе поступающих в центр данных решена задача непрерывной интерполяции полной напряженности магнитного поля Земли на территории России в режиме квазиреального времени. 4. Разработан новый метод распознавания и мониторинга геомагнитной активности на основе данных всей сети обсерваторий ИНТЕРМАГНЕТ с использованием ДМА и ГИС-технологий. Оценка геомагнитной активности в различных регионах Земли дается в единой шкале, с учетом региональной специфики. Предложенный метод позволяет осуществлять распознавание и следить за динамикой распространения магнитных бурь в режиме реального времени. Тестирование предложенной меры геомагнитной активности показало ее высокую корреляцию с региональным K-индексом геомагнитной активности. Метод опробован на примере сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ. 5. Алгоритмический метод ДМА реализован в виде алгоритма RTFL (Recognition of Tsunamis based on Fuzzy Logic) для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. Алгоритм применялся для решения задач распознавания на записях наблюдений системы DART-2 временных участков, соответствующих сигналам от подводных землетрясений (P-волн) и волн цунами. Алгоритм позволяет в автоматическом режиме единообразно обрабатывать огромные массивы данных, полученные со всей сети мировых наблюдений цунами за продолжительный период времени, что практически невозможно сделать вручную. Алгоритм дает возможность работать в режиме реального времени, обрабатывая данные по мере их поступления, и может быть применен в задачах фильтрации постороннего шума в данных DART-2, мониторинга цунами, обнаружения в накопленных данных событий, не отраженных в имеющихся мировых каталогах землетрясений и цунами, и моделирования систем предупреждения о цунами. 251
252 БЛАГОДАРНОСТИ Работа выполнялась автором в Лаборатории геоинформатики и геомагнитных исследований ГЦ РАН. Свою глубокую признательность за постоянное внимание к проводившимся исследованиям автор выражает своему научному консультанту академику РАН, проф. А.Д. Гвишиани. Автор также благодарен д.ф.-м.н. С.М. Агаяну, который является одним из основных создателей теории ДМА. Автор выражает благодарность к.ф.-м.н. Ш.Р. Богоутдинову за ценные консультации по программированию на всех этапах работы. Автор признателен академику А.О. Глико за поддержку развития направления исследования. Автор также благодарен академику французской Академии наук, проф. Ж.-Л. ЛеМоуэлю, А. Шулья (Парижский институт физики Земли, Франция), Г.-И. Линте (GFZ Потсдам, Германия), д.ф.-м.н. Н.Г. Клеймоновой (ИФЗ РАН), д.ф.-м.н. Р.Ю. Лукьяновой (ААНИИ) и проф. К. Мурсула (Университет Оулу, Финляндия) за любезно предоставленные консультации в области физической интерпретации полученных результатов распознавания, а также за введение в обсерваторскую практику геомагнитных наблюдений. Автор благодарен к.г.-м.н. Е.П. Харину и Р.В. Кульчинскому (ГЦ РАН) за консультации в области применения индексов магнитной активности и помощь в создании программного обеспечения с использованием ГИС-технологий. В ходе совместных работ по моделированию магнитного поля Земли автор многому научился у д.ф.-м.н. А.В. Хохлова (ИТПЗ РАН), С. Мауса (NGDC NOAA, США) и М. Мандеа (CNES, Франция). Автор выражает благодарность Дж. Лову (USGS, США), М. Нозе (Киотский университет, Япония) и сотрудникам магнитной обсерватории Шамбон-ля-Форе (Франция) за детальное ознакомление с функционированием официальных геомагнитных узлов ИНТЕРМАГНЕТ. Этот опыт явился отправной точкой в создании российскоукраинского центра геомагнитных данных. Автор признателен к.ф.-м.н. М.Н. Добровольскому, Д.П. Медведеву и Р.В. Сидорову (ГЦ РАН) за помощь в создании российско-украинского центра и, в особенности, за высоко профессиональные консультации в области разработки базы геомагнитных данных и программных модулей для взаимодействия с ней. 252
253 ПРИЛОЖЕНИЯ ПРИЛОЖЕНИЕ 1. Магнитометрические измерения П1.1. Определение угловых элементов геомагнитного поля П Определение магнитного склонения Для определения магнитного склонения в некоторой точке необходимо определить координаты этой точки с помощью астрономических методов, определить направление географического меридиана с помощью астрономических наблюдений и определить направление магнитного меридиана с помощью компаса. Морской компас в середине XIV века представлял собой магнитную стрелку, конец которой, указывающий на север, назывался северным. Конструкция из стрелки и градуированного круга позволяла определять направление магнитного меридиана с погрешностью 1/32 части большого круга или 32 румба. В этом случае показания стрелки курсоуказателя сравнивались со значением магнитного склонения на карте, что позволяло определить направление движения в географических координатах в абсолютных единицах. Вычисление магнитного склонения проводилось как D А А *, где А* и А м * - м * м азимуты географический и магнитный соответственно. Использование магнитного склонения как курсоуказателя имеет ограниченное значение, поскольку не является абсолютным указателем курса в связи со сложной структурой магнитного поля. Поэтому практическое значение компаса приобретает смысл, если в районе плавания проводились специальные магнитные съемки и была построена карта магнитного склонения. Таким образом, методика магнитных измерений начала своей истории (XV-XVII века) состояла из построения карт магнитного склонения. Построение карт было весьма трудоемкой работой, однако настоятельная необходимость в навигационном обеспечении Великих географических открытий заставляла проводить специальные съемки и при адмиралтействах стран, обладающих большим флотом, создавать специальные картографические службы. П Определение магнитного наклонения Если стрелка компаса может вращаться и в вертикальной плоскости, то в равновесном состоянии она указывает направление, отличное от горизонтального. В случае, когда вертикальная плоскость совпадает с магнитным меридианом, подвешенная 253
254 стрелка указывает направление поля, повернувшись вокруг центра масс. На этом принципе основано измерение наклонения с помощью «кольца наклона». П1.2. Абсолютные измерения геомагнитного поля Абсолютные измерения геомагнитного поля необходимы для определения вековых вариаций элементов геомагнитного поля и контроля параметров вариационных станций обсерватории. Абсолютные приборы и методы измерения геомагнитного поля за два века наблюдений менялись и совершенствовались. Пройден большой путь от компаса и метода Гаусса счета качаний магнита до электронных способов измерения геомагнитного поля. В настоящее время на большинстве магнитных обсерваторий применяются протонные магнитометры, феррозондовые деклинометры/инклинометры и устаревшие кварцевые магнитометры QНМ. Значительно реже применяются квантовые магнитометры, а некоторые обсерватории сохраняют в рабочем состоянии старые магнитные теодолиты. Ниже будет рассмотрен принцип действия наиболее распространенных магнитометров для измерения абсолютных значений магнитного поля и методы обсерваторских наблюдений. П Кварцевый горизонтальный магнитометр Представим себе деклинометр, магнит которого находится в плоскости магнитного меридиана. Закрутим верхний конец нити на 2π радиан. Этого можно добиться, повернув домик прибора на его круглой подставке. В отсутствие закручивания нити магнит будет указывать направление на магнитный север, но при достаточном закручивании магнит повернется примерно на 1 радиан. Будем поворачивать прибор до тех пор, пока зрительная труба не окажется снова на одной линии с магнитом. Пусть θ угол между первоначальным и последним положениями трубы. Это означает, что верхний конец нити повернулся на 2π + θ радиан, а нижний конец (т. е. магнит) на θ радиан. Таким образом, момент кручения нити равен 2πτ, где τ момент кручения на 1 радиан поворота. Он равен магнитному моменту сил (если пренебречь магнитной восприимчивостью среды) 2πτ = H m sinθ. Показания прибора снимают, повернув его по часовой стрелке, а также в обратном направлении. Полусумму этих двух отсчетов принимают за угол е. Это усреднение позволяет компенсировать любое (малое) начальное отклонение от плоскости магнитного меридиана. Асимметрия магнита на конечный результат не влияет, поскольку она вносит одинаковую ошибку в оба показания прибора, а угол J вычисляется как разность между ними. 254
255 Кварцевые магнитометры можно также применять для измерения склонения, хотя достигаемая точность результатов ниже, чем в случае использования деклинометра. Они особенно полезны в полярных районах, где не требуется определять склонение с высокой точностью. П Протонный прецессионный магнитометр Начиная с 60-х годов прошлого века, протонный магнитометр занял ведущее место в приборном парке магнитных обсерваторий. Само явление прецессии ядер атомов вокруг силовых линий внешнего магнитного поля было обнаружено в 1937 г. Лазаревым и Шубниковым и впервые применено для измерения слабых магнитных полей в 1946 г. Паккардом и Варианом. Новый метод измерения модуля вектора геомагнитного поля привлек особое внимание магнитологов в связи с высокой точностью и стабильностью параметров протонных магнитометров. Кроме того, процесс измерений необычайно прост и сводится к измерению частоты сигнала датчика. Обычно датчик (первичный измерительный преобразователь) свободной ядерной прецессии представляет собой сосуд емкостью мл с протоносодержащей жидкостью (вода, спирт, керосин) и цилиндрическую катушку с числом витков около Катушка выполняет две функции создания сильного кратковременного магнитного поля (около 1-3 мтл) в объеме сосуда и последующего приема слабого сигнала прецессии протонов жидкости. Для снижения воздействия внешней электромагнитной помехи в конструкцию датчика вводят незамкнутый экран и дополнительную обмотку, подключенную встречно к измерительной катушке. Для повышения эффекта прецессии ядерных магнитных моментов уже давно применяется динамическая поляризация ядер высокочастотным полем (известный в физике эффект Оверхаузера). Объем датчика в этом случае можно значительно уменьшить, и поэтому он требует меньшей энергии для создания поля поляризации, допускает увеличенные градиенты измеряемого геомагнитного поля и менее чувствителен к радиопомехам. В такой датчик встраивается обмотка резонансного ВЧ-возбуждения, а сосуд заполняется раствором свободного радикала для дипольного взаимодействия между спином протонов растворителя и спином свободных электронов радикала. В качестве рабочего вещества сначала использовался водный раствор нитрозодисульфоната калия (соль Ферми), но срок жизни этого раствора составлял менее часа. Добавление в раствор стабилизатора позволяет сохранять раствор несколько месяцев. Сейчас для протонных магнитометров созданы новые вещества из группы аминоксилов, рабочий срок которых увеличен до нескольких лет. Для каждого рабочего вещества требуется своя резонансная 255
256 радиочастота в диапазоне от 65 до 80 МГц. Замена типа наполнителя в датчике требует соответствующей перестройки частоты и амплитуды ВЧ-сигнала возбуждения. Датчики с динамической поляризацией обеспечивают сигнал прецессии в десятки раз большей амплитуды, что обеспечивает достаточно высокое отношение «сигнал/шум», меньшую зависимость от градиентов геомагнитного поля и поэтому имеют повышенную точность измерений. Но такие магнитометры пока имеют существенный для обсерватории недостаток в ограниченном сроке службы рабочего вещества датчика, состав которого обычно является секретом производителя. Более сложная схема прибора затрудняет ремонт и настройку магнитометра в обсерваторских условиях. По сравнению с протонно-прецессионными методами, возбуждение прецессии под воздействием высокой частоты позволяет свести к минимуму энергопотребление и подавить шум (частота возбуждения находится далеко за пределами полосы пропускания сигнала прецессии). Кроме того, измерение частоты сигнала можно проводить одновременно с процессом поляризации, что позволяет увеличить скорость регистрации данных (до 5 измерений в секунду). П1.3. Феррозондовые магнитометры Феррозондовый магнитометр предназначен для измерения относительных вариаций пространственных компонент вектора магнитного поля Земли. Этот прибор был сконструирован во время Второй мировой войны и был предназначен для обнаружения подводных лодок при аэросъемке. Он устроен подобно магнитному усилителю. Датчик состоит из двух параллельных соленоидов сердечников с высокой магнитной проницаемостью, навитых в противоположных направлениях. Эти два соленоида соединены последовательно и возбуждаются переменным током (с частотой, скажем, 660 Гц), амплитуда которого достаточна для насыщения сердечников за большую часть времени каждого полупериода. Обмотка вокруг двух соленоидов образует третью, сигнальную, катушку, которая через конденсатор соединена с резонансным усилителем и непосредственно подсоединена к усилителю постоянного тока (рис. П1.1). 256
257 Рис. П1.1. Принципиальная схема феррозондового магнитометра. Предположим, что в направлении сердечников датчика нет поля. Сердечники должны быть подобраны так, чтобы при изменении намагниченности одного из них от насыщения в одном направлении до насыщения в другом направлении, намагниченность второго сердечника изменялась бы прямо противоположным образом. Этот процесс иллюстрируется графиками в левой части рисунка. В этом случае суммарный поток через сигнальную катушку (Ф = Ф 1 + Ф 2 ) остается нулевым. Однако существование компоненты внешнего поля, параллельной датчику, вызовет смещение, и полярность одного сердечника будет меняться не синхронно с изменением полярности другого. Между двумя изменениями полярности сигнальную катушку будет пронизывать некоторый поток. На ее выходе появляются два противоположно направленных импульса, пропорциональных скорости изменения потока. После их выпрямления в фазовом выпрямителе и сглаживания получается сигнал постоянного тока, пропорциональный приложенному полю. В некоторых приборах, устроенных по такому принципу, он непосредственно подается на выход. Однако в большинстве магнитометров этого типа имеется отрицательная обратная связь. Коэффициент усиления прибора подбирается так, чтобы благодаря катушке обратной связи поле на выходе в 100 тыс. раз превышало внешнее. При этом результирующее поле Н е равно H e H H, где Н е и H s соответственно исходное поле и поле, обусловленное внешним соленоидом. Коэффициент усиления прибора выбирается так, чтобы H s = l0 5 H e, и, следовательно, с относительной точностью 10-5 можно считать, что Н s = Н а, а поле H s легко определить, измеряя ток во внешнем соленоиде. Преимуществом такой схемы является то, что конечный результат зависит только от постоянных внешнего соленоида и на него не влияют характеристики других элементов электронной схемы (если, конечно, 257 a s
258 коэффициент усиления всей схемы остается достаточно высоким). Добротность катушки слабо зависит от температуры, и в большинстве феррозондов осуществлена температурная компенсация, в результате чего температурный коэффициент уменьшается до значений порядка 1 нтл/1 С. П1.4. Абсолютные измерения на магнитных обсерваториях Изменчивость магнитного поля во времени, особенно обусловленная геоэффективными явлениями на Солнце, может иметь характерные времена от минут до дней. Изменения быстроменяющегося поля требуют специальных приборов, которые относятся к классу вариометров. В начале XIX века была создана сеть магнитных обсерваторий, в которых в качестве вариометров использовались стрелочные магниты, которые устанавливались таким образом, чтобы их оси были перпендикулярны плоскостям, в которых лежат подверженные вариации компоненты поля. Обычно это тройка взаимоперпендикулярных осей, стрелки на которых в первом приближении направлены так, что в магнитоспокойные дни они указывают вверх, на север и на восток. К стрелкам прикреплены маленькие зеркала, которые при небольшом отклонении стрелок отбрасывают луч света на расстояние несколько метров, увеличивая таким образом чувствительность прибора при записи луча на фотобумагу или используя более современные электронные приборы. Таким образом, изменение магнитного поля сводится к перемещению светового пятна на некоторое расстояние в мм. Калибровка мм в нтл проводится с помощью тех или иных абсолютных приборов, описанных выше. В последнее время наилучшим комплектом абсолютных приборов является следующая комбинация: протонный магнитометр для измерения Н Т и феррозондовый деклинометринклинометр для измерения D и H. Феррозондовый деклинометр-инклинометр построен на базе высокоточного теодолита, изготовленного из немагнитных материалов. На горизонтальном поворотном круге и вертикальном поворотном круге устанавливаются феррозондовые нольмагнитометры. Датчики D показывают ноль, когда соответствующие поворотные круги располагаются так, что проекция Н компоненты на направление оси феррозондового магнитометра равна 0. Установив таким образом горизонтальный поворотный круг, начинается поворот вертикального круга до тех пор, пока феррозондовый магнитометр I не показывает также ноль. Отсчеты на лимбах показывают значения D и I в угловых единицах. При этом, направление на географический север определяется при помощи наведения на соответствующую визирную цель, расположенную на некотором удалении от обсерватории, либо выводится из расчетов астрономической навигации по положению 258
259 Солнца или другой звезды. Деклинометр-инклинометр используется как для калибровки компасов, так и для периодической калибровки геомагнитных вариометров в магнитных обсерваториях, ведущих непрерывную запись вариаций магнитного поля Земли. Таким образом, с помощью двух приборов определяются значения H, D, I, т.е. дают абсолютные значения поля в цилиндрической системе координат. П1.5. Магнитные съемки с подвижных объектов Проблема магнитных съемок с подвижных объектов возникла в середине ХХ века, когда магнитные карты стали использоваться для решения различных прикладных задач. Вообще говоря, магнитные съемки являются съемками одной какой-либо компоненты геомагнитного поля. Поскольку магнитное поле является векторной величиной, то чтобы построить карты компонент требуется проводить не только магнитные измерения направления. Для измерения направления необходимо иметь стационарную координатную систему и метод привязки измерительного устройства к этой системе. Кардинальное решение этой проблемы было осуществлено в последние десятилетия ХХ века при проведении спутниковых магнитных съемок. Об этом будет сказано позже, а сейчас мы остановимся на морских и аэромагнитных съемках. Единственной компонентой магнитного поля, для которой направление измеренной величины не имеет смысла, это измерение модуля Н Т. Для морских съемок, где движение объекта, на котором производится съемка, не столь существенно, используется протонный или квантовый магнитометр. Для аэромагнитных съемок скорость является главным фактором, поэтому при съемках используются феррозондовые магнитометры, объединенные во взаимоперпендикулярные (ортогональные) тройки. В этом случае каждая компонента измеряется независимо, но практически одновременно. В результате их общей измеряемой величиной является Н Т X 2 Y 2 2 Z. Результаты съемок обычно применяются для построения крупномасштабных карт для нужд геологоразведки. В 1964 г. в СССР была проведена первая спутниковая магнитная съемка на высоте 300 км. Съемка была также модульной, точность измерений составляла первые десятки нтл. Между 1964 и 1979 гг. было проведено еще несколько модульных съемок, однако основная задача построения высокоточных глобальных карт поля не была достигнута, так как метод построения таких карт является разложением в ряды по сферическим гармоническим функциям потенциала геомагнитного поля. Расчет потенциала, а, значит, построение глобальных карт, не имеет единственного решения. 259
260 В 1979 г. была запущена миссия МАГСАТ, которая имела систему ориентации, позволяющую для каждого феррозондового датчика в каждый момент времени определять ориентацию этого датчика. Место измерения в пространстве определялось с помощью системы GPS. ПРИЛОЖЕНИЕ 2. Индексы ретроспективной оценки геомагнитной активности П2.1. С-индекс Наиболее простой индекс геомагнитной активности С характеризует возмущенность геомагнитного поля в течение суток и имеет трехбалльную шкалу (0, 1, 2). Начал определятся в 1906 г. На каждой обсерватории магнитолог «на глаз» оценивает возмущенность геомагнитного поля за сутки. Наиболее спокойные записи геомагнитного поля оцениваются нулем (рис. П2.1), наиболее бурные числом 2 (рис. П2.2). Часто эта характеристика носит субъективный характер. Для того чтобы сгладить следы индивидуальности, в 1957 г. Бартельс на смену индекса С предложил индекс С i. IRT_ D nt H nt Z nt Время местное LT Рис. П2.1. Спокойные суточные вариации 17 марта 2003 г. (C = 0), Иркутская МО. 260
261 ОБ буря IRT_ UT D nt H nt Z nt Рис. П2.2. Очень большая буря с внезапным началом 6-7 марта 2000 г. (C = 2), Иркутская МО. П2.2. С i -индекс Для оценки магнитной активности всего земного шара был введен планетарный индекс С i, характеризующий возмущенность в течение суток. Индекс С i вычисляют как среднеарифметическое значение С-индексов приблизительно 30 геомагнитных обсерваторий, и поэтому он является более объективным по сравнению с С-индексом. Значения C i -индекса вычисляются с точностью до одной десятой и они могут принимать значения от 0.0 до 2.0. П2.3. К- индекс Индексы С и С i являются мерой геомагнитной активности за период одни сутки. Однако для решения многих задач необходима мера магнитной активности за более короткий промежуток времени, лишенная какой бы то ни было субъективности. Поэтому IAGA в 1939 г. приняла решение о введении в практику магнитных обсерваторий индекса К десятибалльной шкалы. K-индекс характеризует изменение геомагнитной активности на конкретной обсерватории в 3-часовых интервалах времени, начиная с 00 ч 00 мин UT. K-индекс выражается в баллах и принимает значения от 0 до 9. Балл 9 соответствует очень сильному геомагнитному возмущению. Учитывая, что амплитуда геомагнитного возмущения зависит от широты места наблюдения (максимальная амплитуда наблюдается в зоне полярных сияний), значению К=9 соответствует возмущение большее 2500 γ в зоне 261
262 полярных сияний и около 300 γ в низких широтах (исключая экватор). Для всех других обсерваторий, расположенных в полярной шапке, средних широтах, значению K=9 соответствуют возмущения меньшие 2500 но большие 300 (табл. П2.1). Конкретно для каждой обсерватории соответствие между значением K=9 и амплитудой возмущения было получено при рассмотрении исключительно сильного геомагнитного возмущения, которое наблюдалось 16 апреля 1938 г. Приняли, что в этот день с 6 до 9 ч UT K-индекс всех обсерваторий равнялся 9 баллам, а максимальное значение амплитуды возмущения за этот интервал было взято за нижний предел амплитуды балла K=9. Таблица П2.1. Соответствие амплитуд значениям К-индекса в зависимости от широты наблюдения Шкала К-индекс Ф
263 П2.4. K p - индекс Для оценки планетарной геомагнитной возмущенности в течение суток был рассмотрен индекс С i. С течением времени возникла практическая потребность в более точной информации о планетарной геомагнитной возмущенности. Поэтому в 1949 г. Бартельс предложил новый планетарный индекс К р, характеризующий возмущенность в 3- часовом интервале (рис. П2.3) [ Для вычисления планетарных индексов геомагнитной активности стали использовать в основном данные геомагнитных обсерваторий, расположенных в субавроральной зоне. Субавроральной называют зону, ширина которой приблизительно 20 и которая окружает зону полярных сияний с внешней стороны. Субавроральная зона удалена от любого конкретного магнитосферного или ионосферного источника и в то же время чувствительна к любому из них. Все это способствовало использованию данных только обсерваторий субавроральной зоны для вычисления планетарной геомагнитной возмущённости. Рис. П2.3. Оценка величин K p вручную. 263
264 Исходными данными для вычисления К р -индекса явились данные K-индекса с 13 обсерваторий, расположенных между 63 северной и 46 южной геомагнитных широт. Эти обсерватории обеспечивают быстрое вычисление и оперативную передачу этих данных в Международную службу индексов, которая вычисляет К р -индекс. К ним относятся Мианук (Канада), Оттава (Канада), Ситка (Аляска), Леруик (Шотландия), Ескдейльмьюр (Англия), Лове (Швеция), Руде-Сков (Дания), Вингст (Германия), Виттевен (Нидерланды), Хартленд (Англия), Аженкур (Канада, с 1969 г.), Фредериксбург (США) и Дмберли (Новая Зеландия) (рис. П2.4, табл. П2.2). Планетарный К р -индекс вычисляется как среднее из K-индексов с этих 13 обсерваторий и определяется с точностью до 1/3 (табл. П2.3). Рис. П2.4. Магнитные обсерватории, поставляющие данные для вычисления К р -индекса. Таблица П2.2. Координаты обсерваторий, служащих источником данных для К р -индекса Скорректированная Географигеомагнитная ческая Код Обсерватория широта широта Долгота Северное полушарие MEA Meanook 62, SIT Sitka 60,
265 LER Lerwick 58, OTT Ottawa 58, LOV Lovö 56, ESK Eskdalemuir 54, BJE Brorfelde 52, FRD Fredericksburg 51, WNG Wingst 50, HAD Hartland 50, NGK Niemegk (4) 48, Южное полушарие EYR Eyrewell 50,2 43, CAN Canberra 45,2 35, Таблица П2.3. Соответствие индексов K p и a p K p 0o o o o o 4+ 4o 4+ a p K p 5-5o o o o o a p а р -индекс называют 3-часовой эквивалентной амплитудой и её величины вычисляются согласно табл. П2.3. A p -индекс является эквивалентной среднесуточной планетарной амплитудой и определяется как среднее из 8 а р -индексов для этих суток. Примеры представления значений K p -индекса за год приведены на рис. П
266 Рис. П2.5. Значения планетарного 3-часового индекса K p за 1996 г. (слева) и 1999 г. (справа). П2.5. С р - индекс Планетарный индекс С p введен для стандартизации индекса C i и является производным индексом от K p -индекса. С p -индекс объективный суточный планетарный магнитный индекс и имеет шкалу измерения от 0.0 до 2.5. Всякий, кто желает сохранить для С р шкалу С i от 0.0 до 2.0, может просто считать значения С р от 2.0 до 2.5 как 2.0. П2.6. С 9 - индекс Индекс С 9 является производным индексом от индекса С р и характеризует суточную планетарную возмущенность геомагнитного поля. Индекс С 9 был введен Бартельсом для удобства при визуальном выделении рекуррентных (повторяющихся через 27 дней) геомагнитных бурь из длинного ряда наблюдений (табл. П2.4). Рекуррентные геомагнитные бури являются следствием прохождения через центральный меридиан Солнца его активных областей, которые могут сохраняться на протяжении восьми-десяти оборотов. Таблица П2.4. Соответствие между С р -индексом и С 9 -индексом C p 0,00,1 0,20,3 0,40,5 0,60,7 0,80,9 1,01,1 1,21,4 1,51,8 1,9 2,02,5 C
267 П2.7. Определение 5 q- и 5 d-дней Каждый месяц Постоянная служба геомагнитных индексов определяет пять спокойных (5q) и пять возмущенных (5d) международных дней, используя данные K p индекса. Определение строят на основании трех критериев: 1. находят сумму восьми значений К p за сутки; 2. вычисляют сумму квадратов восьми значений К p ; 3. определяют наибольшее значение из восьми значений К р. В соответствии с каждым этим критерием определяют «порядковый номер» для каждого дня каждого месяца (рис. П2.6). По трем полученным порядковым номерам для каждого дня вычисляют средний порядковый номер. Пять дней с наименьшими и пять дней с наибольшими порядковыми номерами считали как пять международных спокойных и возмущенных дней соответственно. Сейчас служба определяет еще 6-10 спокойных дней. Принято очень спокойный период обозначать буквой «С», а спокойный «К», и делается эта оценка для двух периодов 24 часа и 48 часов. Запись «СС*» означает, что оба периода (24 и 48 часов) были очень спокойные, а (*) означает, что этот день вошел в число 5 международных спокойных дней. В некоторых публикациях 5 международных спокойных дней обозначают буквами QCC. Рис. П2.6. Пример определения пяти спокойных и пяти возмущенных дней в январе 1996 г. 267
268 Согласно стандартному представлению данных IAGA в месяце отбирается 5 Sqдней, а в году 60 Sq-дней. Однако в реальности, например, в 1996 г., было всего 14 магнитно спокойных дней, которым соответствовали следующие показатели (табл. П2.5): Суточные индексы: A p 3, D st ±10, AE 100, C p = 0, C 9 = 0; Часовые индексы: a p 6, D st 18. Таблица П реально магнитно спокойных дней в 1996 г M D D st D st _h D st _h A p AE a p D min max min max a p C p C В 1999 г. этим показателям соответствовали 22 магнитно спокойных дня, при этом в некоторые из дней C p = 0.1. П2.8. Индексы K n, K s и K m На ассамблее IUGG в 1967 г. было принято решение о введении нового планетарного индекса вместо индекса К p. Рекомендовали вычисление этого индекса провести с 1 января 1964 г. Необходимость введения нового индекса вытекала из недостаточно точного определения планетарного 3-часового индекса К p, вычисляемого на основании данных K p - 268
269 обсерваторий, неравномерно расположенных на земном шаре (рис. П2.4), что не позволяло учесть возмущенность, источник которой локализован, например, в российском секторе. Кроме того, за 15 лет существования K-индекса значительно улучшились наши знания относительно магнитной активности. Например, было показано, что магнитная активность имеет сезонный ход, который намного больше, чем предполагалось ранее. Магнитные авроральные явления в основном наблюдаются одновременно в обоих полушариях. Однако различия в конфигурации главного магнитного поля Земли между одним полушарием и другим могут, вероятно, вносить значительные различия в уровень магнитной активности. Поэтому возникла также необходимость в создании независимой меры магнитной активности для каждого полушария. Для решения этой задачи было необходимо выбрать в субавроральной зоне каждого полушария наиболее пригодные для характеристики планетарной магнитной активности обсерватории, равномерно расположенные по долготе (рис. П2.7, табл. П2.6). Рис. П2.7. Обсерватории, использующиеся для расчета индексов K n, K s и K m. 269
270 Таблица П2.6. Геомагнитные широты обсерваторий, использующихся для расчета индексов K n, K s и K m Northern Hemisphere Southern Hemisphere Observatory Corr.Geom. Lat. Observatory Corr. Geom. Lat. MGD Magadan 53.8 EYR Eyrewell 50.2 G1 PET Petropavlosk 46.4 G6 CAN Canberra 45.2 MMB Memambetsu 37.4 G2 POD Podkammenkaya 57.2 GNA Gnangara 44.1 G7 SVD Sverdlovsk 52.2 AMS Amsterdam 48.3 HAD Hartland 50.0 PAF Kerguelen 58.8 G3 NGK Niemegk 48.8 G8 CZT Crozet 52.4 HER Hermanus 41.1 G4 OTT Ottawa 58.9 AIA Argentine Isl FRD Frederiksburg 51.8 TRW Trelew 27.8 NEW Newport 55.2 G9 G5 VIC Victoria 53.9 TUC Tucson 39.7 Обсерватории были объединены в группы по две-три так, что средние магнитные долготы каждой группы почти равноотстояли друг от друга. Пять таких групп было выделено в северном полушарии (G1-G5, табл. П2.6) и четыре группы в южном (G6-G9, табл. П2.6). Средние долготы групп приведены в табл. П
271 Таблица П2.7. Группы обсерваторий для расчета индексов K n, K s и K m N Группа G N 1 GN 2 GN 3 GN 4 GN 5 0 E S Группа G S 1 GS 2 GS 3 GS 4 0 E По данным станций, расположенных в северном полушарии, вычисляется индекс K n, характеризующий планетарную возмущенность в северном полушарии и эквивалентную амплитуду возмущения a n. По данным станций, расположенных в южном полушарии вычисляется K s -индекс, характеризующий планетарную возмущенность в южном полушарии и эквивалентную амплитуду a s. Индекс К m характеризует среднюю планетарную возмущенность и среднюю планетарную эквивалентную амплитуду a m [ Таким образом, для характеристики планетарной магнитной возмущенности в 3- часовом интервале в настоящее время существуют два индекса: K p и K m. Оба индекса вычисляются на основании K-индексов по данным обсерваторий, число и расположение которых существенно различное. Отличаются и методики вычисления этих индексов. Несмотря на то, что индекс K m характеризует планетарную возмущенность с большей точностью, K p -индекс будет по-прежнему вычисляться Постоянной службой индексов до тех пор, пока сбор данных и вычисление K m -индекса на их основе не будет столь же оперативным, как вычисление K p -индекса. Если K p -индекс вычисляется и поступает в Мировые центры данных (МЦД) с недельным опозданием, то K m -индекс публикуется с опозданием до нескольких месяцев. П2.9. aа- и АА-индексы аа- и АА-индексы [ были введены последними из всех планетарных амплитудных индексов (в 1976 г.) с целью получения однородного ряда индекса планетарной возмущенности за максимально возможный интервал времени. Это было возможно только при сокращении числа обсерваторий до двух и при их диаметрально противоположном расположении в южном и северном полушариях на средних широтах. Такие антиподные обсерватории были найдены и их характеристики приведены в табл. П
272 Таблица П2.8. Обсерватории, используемые для расчета индексов аа и АА Северное полушарие Южное полушарие Годы Обсерватория Геомаг. широта Годы Обсерватория Геомаг. широта Greenwich (1,007) Melbourne (0,967) Abinger (0,934) Toolangui (1,033) Hartland (1,059) Canberra (1,084) Из табл. П2.8 видно, что местоположение станций с 1868 г. переносилось. Этот перенос происходил таким образом, что обсерватории на всем интервале времени оставались антиподными. В скобках указан весовой коэффициент стандартизации по широте. 3-ехчасовой К-индекс каждой обсерватории из табл. П2.8 был переведен задним числом в амплитуды. Средние значения между амплитудами пары обсерваторий и есть ааиндекс. Он вычисляется в нтл и представляет уровень активности на инвариантной магнитной широте АА-индекс представляет собой среднее значение аа-индекса за сутки. Индексы а m и аа незначительно отличаются друг от друга, что говорит о хорошей точности аа-индекса при характеристике планетарной геомагнитной активности. Сопоставление годовых значений аа-индекса с годовыми числами солнечных пятен приведено на рис. П2.8. Рис. П2.8. Сопоставление годовых значений аа-индекса (красный цвет) с годовыми числами солнечных пятен (желтый цвет). 272
273 П2.10. Индексы AU, ΑL, ΑE, AO AU, AL, AE, AО индексы геомагнитной активности, которые были предложены Девисом и Сугиурой в 1966 г. [ являются количественной мерой магнитной активности в авроральной зоне северного полушария (
60-80 N). Они отражают усиление токов в ионосфере, протекающих вдоль границы аврорального овала (восточного и западного токов полярного электроджета полярной электроструи). Индексы AU, AL, AE, AО измеряются в гаммах и отражают весь диапазон возмущений магнитного поля Земли, т. е. при их вычислении учитываются все типы вариаций, которые регистрируются на магнитограммах с разверткой 20 мм в час. Методика вычисления индексов AU, AL, AE, AO основана на определении величины отклонения H-составляющей геомагнитного поля от спокойного уровня среднемесячного значения H-составляющей, вычисленного по данным пяти международных спокойных дней. Для вычисления AU, AL, AE, AО используют геомагнитные данные 12 обсерваторий, расположенных в северной зоне полярных сияний (рис. П2.9, табл. П2.9). Величины отклонения H-составляющей геомагнитного поля от спокойного уровня определяются по огибающей кривой магнитограмм всех используемых станций. Рис. П2.9. Карта обсерваторий, по которым вычисляются индексы AU, AL, AE, AО. 273
274 Таблица П2.9. Координаты обсерваторий, по которым вычисляются индексы AU, AL, AE, AО Географ. корд. Геомаг. корд. Обсерватория (англ.) Обсерватория (рус.) Код IAGA Ш( N) Д( E) Ш( N) Д( E) Abisko Абиско ABK Dixon Island О.Диксон DIK Cape Chelyuskin Мыс Челюскин CCS Tixie Bay Б.Тикси TIK Barrow Барроу BRW College Коллидж CMO Yellowknife Йолкнайф YKC Fort Churchill Форт Чёрчил FCC Poste-de-la-Baleine Пост де Балейне PBQ Narsarsuaq (Narssarssuaq) Нарсарсуаг NAQ Leirvogur Лейрвокур LRV Pebek Пебек PBK Числовые значения любой точки верхней (максимальной) и нижней (минимальной) огибающих определяют соответственно значения AU- и AL-индексов. Эти индексы имеют четкий физический смысл. Они характеризуют интенсивность восточного (AU-индекс) и западного (AL-индекс) токов полярного электроджета. Поэтому численные значения AUиндекса находятся в интервале от 0 в магнитоспокойный день до приблизительно в возмущенный день, а для AL-индекса от 0 до соответственно. AE-индекс (AE=AU-AL) был определен как алгебраическая разность AU- и ALиндексов. Численное значение AE-индекса лежит в интервале от 0 в магнитоспокойный день до приблизительно Значение AO-индекса определяется как (AU+AL)/2 и геометрически представляет перемещающуюся серединную точку между AU- и AL-значениями в любой заданный момент времени. Численные значения AO-индекса могут изменяться от 0 в магнитоспокойный день до приблизительно 1500 или до в магнитовозмущенный день. Пример визуализации индексов AU, AL, AE, AO приведен на рис. П
275 Рис. П2.10. Пример визуализации индексов AU, AL, AE, AO. П2.11. D st -индекс D st -индекс был введен Сугиурой в 1964 г. [ Благодаря ясному физическому смыслу, состоящему в характеристике интенсивности симметричного кольцевого тока, типичного для восстановительной фазы магнитной бури, он быстро завоевал заслуженное признание. D st -индекс представляет среднюю величину возмущения в часовом интервале, вычисленную по данным сети низкоширотных станций, разнесенных по долготе. Единица измерения D st -индекса нтл. Для вычисления D st -индекса сначала использовали данные H-компоненты восьми станций, довольно равномерно распределенных в полосе широт Ф = ± (10 40 ), чтобы исключить возможное влияние экваториального и полярного электроджетов. Список станций, данные которых были использованы Сугиурой для вычисления D st -индекса, приведены в табл. П2.10. Из этой таблицы видно, что пять станций отобрано в северном и три в южном полушариях. В целях более быстрого получения D st -индекса в дальнейшем число станций было сокращено до четырех (рис. П2.11). 275
276 Таблица П2.10. Первоначальный перечень обсерваторий, чьи данные использовались для вычисления D st -индекса Обсерватория - код Координаты географические Координаты геомагнитные 0 0 Ф 0 0 Херманюс - HER ю.ш в.д. 33,3 80,3 Алибаг - ABG с.ш ,5 143,7 Какиока - KAK с.ш ,0 206,0 Апиа - API ю.ш ,0 260,2 Гонолулу - HON с.ш ,0 266,4 Сан-Хуан - SJG с.ш ,9 3,2 Пилар - PIL ю.ш ,3 4,6 М Бур - MBO с.ш ,2 55,1 Рис. П2.11. Карта обсерваторий, используемых для вычисления D st -индекса в настоящее время. 276
277 Для каждой обсерватории i измеряемая среднечасовая горизонтальная компонента геомагнитного поля складывается из следующих физических величин: H ( T) H ( T) S ( T) L ( T) D ( T), i i i i i 0 q i где H ( ) 0 T значение Главного магнитного поля Земли на i-й станции, включая циклические вариации, S i ( T ) солнечносуточная вариация, q i LT ( ) лунносуточная вариация, i D ( T ) возмущенная вариация. i D ( T) -возмущенная вариация определяется как На практике используется формула где D ( T) H ( T) H ( T) S ( T) L ( T). i i i i i 0 q i i i D ( T) H ( T) S ( T), H ( T) H ( T) H ( T) i i i 0 Часовой индекс D st рассчитывается как D ( T) D( T) / cos, st где D(T) среднее возмущение для четырех обсерваторий, нормализованное к дипольному экватору, Ф средняя дипольная широта обсерваторий q i (i = 1,,4). Процедура нормализации позволяет минимизировать эффект отсутствия некоторых часовых величин. Примеры визуализации индекса D st приведены на рис. П2.12, П
278 Рис. П2.12. Визуализация индексов AE, AU, AL и D st. Рис. П2.13. Визуализация индекса D st. П2.12. PC- индекс PC-индекс (от polar cap) вычисляется по геомагнитным данным одной станции, расположенной вблизи полярной шапки, и оценивает геомагнитную активность в этом районе. В северном полушарии PC-индекс вычисляют по данным станции Thule, расположенной в Гренландии на 86,5 0 исправленной геомагнитной широте. В южном полушарии его вычисляют по данным станции Восток в Антарктиде (Ф = 83,3 0 ). РСиндекс выводится как безразмерная величина, которая пропорциональна интенсивности магнитного возмущения в полярной шапке, откалибрована по межпланетному полю E m, и параметризована по сезону, времени UT и полушарию (северное или южное). Алгоритм расчета PC-индекса Troshichev et al., 2000; Troshichev, Lukianova, 2002 основан на статистическом анализе соотношений между параметрами солнечного ветра (скорости v, компонент B y, B z ММП) и горизонтальным вектором магнитных возмущений на околополюсной станции: 278
279 H PC = Hsin Dcos, где = D E + + UT, географическая долгота, H и D отклонения в горизонтальных компонентах H и D геомагнитного поля от спокойного уровня, D E средний угол склонения на станции (знак плюс для станции Восток, знак минус для станции Thule), угол между направлением трансполярного тока и меридианом полдень-полночь в данный момент мирового времени UT, UT это градусная мера, и она равна 0, когда станция находится на полуночном меридиане. Поскольку реально существующая двухвихревая система токов несимметрична относительно меридиана полдень-полночь и искривляется под действием других параметров солнечного ветра (поток, плотность, температура и т. д.), то истинный угол определяется из условия наилучшей корреляции между величинами H PC и межпланетным электрическим полем, проникающим в магнитосферу: E m = v(b 2 y + B 2 z ) 1/2 sin 2 (/2), где v скорость солнечного ветра, B y и B z азимутальная и вертикальная компоненты ММП, угол между земным магнитным диполем и ММП. Угол, при котором корреляция достигает максимума, фиксируется как статистически достоверная величина, определяющая направление трансполярного тока. Именно это значение, которое зависит от сезона и момента времени UT, используется в последующих расчетах PC-индекса. Для заданного значения определяется величина вектора магнитного возмущения: H PC = E m +, где и являются функцией времени (месяца и UT). Таким образом, величина H PC оказывается связанной с межпланетным электрическим полем, воздействующим на магнитосферу. Отсюда получаем выражение для индекса РС: PC = (H PC )/, где масштабный коэффициент, который в настоящее время уточняется, а пока для станции Восток равен
280 Итак, РС-индекс выводится как безразмерная величина, которая пропорциональна интенсивности магнитного возмущения в полярной шапке, откалибрована по межпланетному полю E m и параметризована по сезону, времени UT и полушарию (северное или южное). Большие положительные величины РС-индекса указывают на интенсивное поступление энергии солнечного ветра в магнитосферу и, соответственно, на возмущенное состояние магнитосферы, небольшой или отрицательный (по утверждению авторов) РС-индекс соответствует спокойной магнитосфере. Первоначальный РС-индекс рассчитывали как 15-минутную величину по 96 величинам коэффициентов нормировки и угла для каждого из 12 месяцев. Модифицированный 1-минутный РС-индекс выводится аналогичным способом. РСиндекс публикуется в UT. Максимальное зарегистрированное значение положительного РС-индекса равно 30, а минимальное значение -20. ПРИЛОЖЕНИЕ 3. Моделирование и картографирование магнитного поля Земли Данное приложение основано на результатах, опубликованных в работах [Zhalkovsky et al., 2009; Жалковский и др., 2009; Mandea et al., 2010; Гвишиани и др., 2010б; Березко и др., 2010а; Berezko et al., 2011; Соловьев и др., 2012б]. П3.1. Моделирование главного магнитного поля Земли за период гг. Исходные данные В исторический период наблюдений данные о магнитном поле Земли (МПЗ) характеризовались разным качеством и собирались в процессе полевых наблюдений, в основном, в районах, представляющих практический прикладной интерес, например, вдоль морских путей [Jackson et al., 2000] (рис. П3.1а). С началом инструментального периода наблюдений сбор высокоточных данных осуществляется на геомагнитных обсерваториях, координаты которых распределены очень неравномерно. На данный момент, самая крупная мировая сеть наземных обсерваторий ИНТЕРМАГНЕТ [ насчитывает более 100 обсерваторий (рис. П3.1б). Представительность данных о МПЗ качественно изменилась с началом космической эпохи: появилась возможность измерять поле в точках, проекции на земную поверхность которых дают покрытие геоида с высокой плотностью [Lesur et al., 2008; Olsen et al., 2009; (рис. П3.1в). 280
281 (а) (в) (б) Рис. П3.1. Пространственное распределение точек геомагнитных наблюдений: измерение склонения в гг. (а), геомагнитные обсерватории ИНТЕРМАГНЕТ в 2009 г. (б), траектория полета спутника CHAMP в районе северного полюса августа 2000 г. (в). Таким образом, при картографировании магнитных данных важной является задача пространственной и временной интерполяции данных. Основной метод принадлежит К. Ф. Гауссу, который без изменений практически используется на протяжении полутора веков. До этого принципы интерполяции были эвристическими и с точки зрения современных представлений весьма неточными. Модели главного магнитного поля Земли (ГМПЗ) относятся к временным интервалам порядка дней-месяцев или нескольких лет, таким образом, речь идет о представлении некоторого усредненного значения поля, которое меняется достаточно медленно. В рамках этого усреднения с большой точностью выполняются так называемые условия магнитостатического приближения уравнений Максвелла в области, где нет свободных зарядов: B = 0, B =
282 В рамках этого приближения вектор B магнитного поля в этой области оказывается равным градиенту P некоторой вещественной функции P, определенной в той же области. Пространство от поверхности Земли и до ионосферы достаточно хорошо соответствует изолятору, поэтому ГМПЗ в этой области можно описывать при помощи этой вещественной функции P, которая называется скалярным потенциалом поля. Скалярный потенциал магнитного поля в силу уравнений Максвелла (в их магнитостатическом приближении) является гармонической функцией, то есть удовлетворяющей уравнению Лапласа: P = 0. Задача интерполяции для векторных данных с учетом магнитостатического приближения и потенциального характера поля сводится к задаче интерполяции скалярной гармонической функции P потенциала этого поля. Интерполяция скалярных функций, как правило, проводится с учетом специальных свойств этой функции, например, гармоническая функция в области определяется своими значениями на границе области. В применении к области вне поверхности Земли это означает, что измерив усредненное по интервалу времени магнитное поле на поверхности Земли (или на некоторой высоте над земной поверхностью), мы можем восстановить усредненное по интервалу времени поле всюду в этой области. Представление убывающей на бесконечности гармонической функции в области вне шара было предложено К.-Ф. Гауссом и состоит в продолжении на пространство значений на границе-сфере по сравнительно простым формулам. Точнее, на сфере гармоническая функция раскладывается в линейную комбинацию с постоянными коэффициентами некоторых базисных функций H mn (, ), зависящих от координат, на сфере, а уже каждая такая функция (она называется сферической гармоникой) продолжается на любой радиусвектор r простым образом (здесь a обозначает радиус сферы): Таким образом, по наблюдениям магнитного поля в интервале времени сначала восстанавливают вид разложения потенциала этого поля по сферическим гармоникам на поверхности сферы, далее используют продолжение значений на границе-сфере на пространство. Подбор коэффициентов разложения ведется методом наименьших квадратов, точность которого существенно зависит от распределения точек на сфере. Применительно к современным наблюдениям из космоса сферой считается поверхность, заметаемая траекториями спутника. Покрытие этой сферы точками наблюдения достаточно плотное, поэтому коэффициенты могут быть найдены с большой 282 m1 r Hmn (,, r) Hmn (, ). a
283 точностью. Полученные таким образом коэффициенты разложения ГМПЗ позволяют с высокой точностью картографировать векторное поле в любой точке земной поверхности. Соответствующая модель усредненного поля называется Международным эталоном геомагнитного поля МЭГП (International Geomagnetic Reference Field, IGRF) Международной ассоциации по геомагнетизму и аэрономии МАГА (International Association of Geomagnetism and Aeronomy, IAGA), а соответствующий набор коэффициентов коэффициентами IGRF [ Модель IGRF позволяет рассчитывать характеристики ГМПЗ за период с 1900 по 2010 гг. с временным шагом 5 лет. Точность моделей и коэффициентов IGRF неоднократно проверялась прямыми измерениями в обсерваториях. Ситуация радикально отличается при попытке нахождения значений исторического магнитного поля Земли. В частности, определение этих значений за период с 1500 по 1900 гг. затруднено, и коэффициенты соответствующих моделей являются предметом обсуждения в научном сообществе. Это вызвано следующими главными обстоятельствами: 1. точки наблюдений распределены в высшей степени неравномерно, поскольку в исторические эпохи XVI XVIII вв. основные наблюдения велись лишь вдоль торговых морских путей (рис. П3.1а); 2. неточности имеются в самих наблюденных данных, что связано с качеством использованных для наблюдений приборов; 3. неточность модели также проистекает из способа выбора точек наблюдений; 4. ранние наблюдения магнитного поля состояли в изучении не всего магнитного вектора, а лишь его направления, чем вызвана неопределенность в выборе длины вектора поля. Впрочем, последнее обстоятельство, препятствовавшее построению моделей магнитного поля в исторический период, с недавних пор было преодолено благодаря некоторым гипотезам о суммарной энергии поля в различные интервалы исторического времени, не вызвавшим особенных споров [Hulot et al., 1997]. Для систематизации всех наблюдений, полученных с 1510 по 1930 гг., и проверки их на грубые ошибки, группой исследователей А. Р. Т. Джонкерсом, А. Джексоном и А. Мюррей [Jonkers et al., 2003] была проведена огромная работа, результатами которой пользовались при составлении моделей на этот период все научные группы. Известно несколько современных моделей, позволяющих реконструировать поле за указанный период. Из них наибольшее признание в научной среде получили модели gufm1 [Jackson et al., 2000] и CALS3k.3 [Korte et al., 2009], позволяющие рассчитывать компоненты вектора ГМПЗ за периоды гг. и 283
284 1000 г. до н. э г. н. э., соответственно. На самом деле, отличия в значениях моделируемого магнитного вектора по разным моделям исторического ГМПЗ не столь уж значительны, однако вопрос о точности каждой из них остается открытым. Собственно вычислительные методы, использовавшиеся для нахождения коэффициентов, имеют точность, намного превосходящую точность данных (это касается и моделей IGRF последнего времени). Ошибка вычислений оказывает пренебрежимо малое влияние на точность модели [Березко и др., 2010а]. П3.2. Картографирование характеристик магнитного поля Земли. Атлас магнитного поля Земли за гг. Для восстановления вектора магнитного поля в точке земной поверхности и нанесения на карту его числовых характеристик необходимо использовать коэффициенты разложения магнитного потенциала и смоделировать значения всех сферических гармоник, входящих в разложение. Далее градиент потенциала, который является линейной комбинацией гармоник с постоянными коэффициентами, нужно найти, исходя из явных формул для дифференцирования сферических гармоник по их аргументам. Эта задача достаточно хорошо известна с вычислительной стороны. Разработка соответствующего алгоритма с дополнительной проверкой его относительно других подобных алгоритмов были выполнены в рамках создания Атласа магнитного поля Земли за гг. [Соловьев и др., 2012б]. Исходной информацией для программы расчета значений поля были: координаты расчетной точки, высота над уровнем моря и дата расчета. На основании полученной информации был сформирован массив данных, содержащих опорные точки с информацией о составляющих геомагнитного поля. Атлас магнитного поля Земли (МПЗ) представляет собой унифицированный набор физических, общегеографических, тематических, в том числе исторических карт МПЗ, а также справочных (текстовых и табличных) материалов, позволяющих детально и разносторонне изучать проблему МПЗ с 1500 по 2010 гг. Подобный Атлас создан впервые и представляет собой фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками картографируемого явления геомагнетизма. Он содержит результаты как исторического, так и современного состояния изучения МПЗ [Berezko et al., 2011; Zhalkovsky et al., 2009]. В итоге работы над Атласом была создана серия цифровых карт МПЗ, отображающая особенности картографируемого явления. Среди них карты ГМПЗ, аномальной составляющей МПЗ, характеристик пространственной структуры МПЗ, отражение вариационных циклов, недипольной части ГМПЗ и др. При разработке 284
285 технологий создания цифровых карт применялся профессиональный инструментарий ArcGIS. Цифровые карты изготовлены в растровом и векторном форматах. С использованием этого же ПО полученные цифровые карты компонент, векового хода и недипольной части ГМПЗ были преобразованы в отдельные растровые изображения. На базе растровых изображений были составлены карты изолиний для каждой из компонент ГМПЗ (рис. П3.2, П3.3). Рис. П3.2. Карта векового хода полной напряженности ГМПЗ по двум смежным эпохам 1902 и 1907 гг. Рис. П3.3. Карта магнитного наклонения недипольной части ГМПЗ по трем смежным эпохам 2000, 2005 и 2010 гг. 285
286 Основой для создания карт компонент ГМПЗ за период гг. послужили данные IGRF, которые представляют собой значения коэффициентов разложения Гаусса до степени 13 для расчета параметров ГМПЗ за гг. с шагом 5 лет. Для создания карт компонент ГМПЗ за период гг. использовались данные, полученные в рамках модели gufm1. Данные представляют собой значения коэффициентов разложения Гаусса до степени 14 для расчета параметров ГМПЗ за гг. с шагом 1 год. Коэффициенты были рассчитаны на основе всех собранных геомагнитных измерений, полученных мореплавателями и учеными с 1510 г. Основой для создания карт компонент ГМПЗ за период гг. послужили данные, полученные в рамках модели CALS3K.3. Данные представляют собой значения коэффициентов разложения Гаусса до степени 10, рассчитанные на основе собранных археомагнитных данных и данных по осадочным породам. При подготовке карт ГМПЗ использовались коэффициенты разложения до 10 степени в рамках модели IGRF, до степени 6 в рамках модели gufm1 и до степени 10 в рамках модели CALS3K.3. Компоненты ГМПЗ рассчитывались в узлах географической сетки с шагом 0.2 градуса по широте и долготе. Для периода гг. временной шаг составлял 5 лет, для периода гг. 25 лет. В каждом узле сетки были рассчитаны модуль вектора напряженности и шесть компонент вектора ГМПЗ: склонение, наклонение, три осевые проекции и проекция на касательную к геоиду плоскость. Расчетная высота над уровнем океана равнялась нулю. На базе полученных матриц значений методом линейной интерполяции были сгенерированы цифровые карты изолиний соответствующих компонент ГМПЗ. На картах ГМПЗ приведены наложенные друг на друга соответствующие рассчитанные компоненты ГМПЗ в виде изолиний, относящиеся к трем соседним магнитным эпохам (напр., 1600, 1625, 1650; 1650, 1675, 1700; ). Каждая последующая карта пересекается с предыдущей по одной эпохе. Примеры карт ГМПЗ из Атласа приведены на рис. П3.4, П
287 Рис. П3.4. Карта магнитного склонения ГМПЗ по трем периодам 1500, 1525, 1550 гг. согласно модели CALS3K.3 (проекция Миллера цилиндрическая). Рис. П3.5. Карта горизонтальной составляющей напряженности ГМПЗ по трем периодам 1950, 1955, 1960 гг. согласно модели IGRF (проекция Миллера цилиндрическая). Технология создания в среде ГИС карт пространственно-временных вариаций ГМПЗ [Жалковский и др., 2009] включала в себя следующие основные этапы: расчет 287
288 компонент магнитного поля в узлах заданной географической сетки; построение изолиний; картографирование изолиний. Реализация этой технологии подразумевала создание базы данных (БД), на которых основывается картографирование характеристик ГМПЗ. Основные разделы созданной БД включали в себя значения коэффициентов разложения ГМПЗ по сферическим гармоникам методом Гаусса (формат ASCII), матрицы рассчитанных значений компонент ГМПЗ в точках на сфере (формат ASCII GRID), цифровые растровые карты компонент ГМПЗ (формат ESRI Raster), цифровые карты изолиний компонент ГМПЗ (формат ESRI Shapefile), вспомогательные картографические материалы (формат ESRI Shapefile) [Березко и др., 2010а]. В Атласе также собраны и опубликованы исторические карты (рис. П3.6), начиная с мировой карты 1603 г. с нанесенным впервые геомагнитным экватором, построенной Ж. Ле Наутонье, до серии карт характеристик МПЗ, построенных Ф.А. Гарнье в 1862 г. [Гвишиани и др., 2010б]. Данные карты представляют интерес как сами по себе, с научной и исторической точек зрения, так и в сравнении с современными картами [Mandea et al., 2010]. Рис. П3.6. Первая мировая карта изогон магнитного склонения, построенная Э. Галлеем в 1701 г. (1-е издание). Для понимания истории процесса сбора геомагнитных данных в Атлас также включены дополнительные карты, отражающие динамику роста наземных сетей наблюдения МПЗ начиная с 1813 г. (рис. П3.7). 288