Рисунок 5. Кросс-энтропия, измеряющая дополнительную информацию о следующем значении ряда, обеспеченную знанием

2.3 Формирование входного пространства признаков

Как иллюстрирует Рисунок 5, увеличение ширины окна погружения ряда приводит в конце концов к понижению предсказуемости - когда повышение размерности входов уже не компенсируется увеличением их информативности. В этом случае, когда размерность лагового пространства слишком велика для данного количества примеров, приходится применять специальные методики формирования пространства признаков с меньшей размерностью. Способы выбора признаков и/или увеличения числа доступных примеров, специфичные для финансовых временных рядов будут описаны ниже.

2.4 Выбор функционала ошибки

     Для обучения нейросети недостаточно сформировать обучающие наборы входов-выходов. Необходимо также определить ошибку предсказаний сети. Среднеквадратичная ошибка, используемая по умолчанию в большинстве нейросетевых приложений, не имеет большого "финансового  смысла" для рыночных рядов. Поэтому  в отдельном разделе мы рассмотрим специфичные для финансовых временных  рядов функции ошибки и покажем  их связь с возможной нормой прибыли.

     Например, для выбора рыночной позиции надежное определение знака изменения  курса более важно, чем понижение  среднеквадратичного отклонения. Хотя эти показатели и связаны между  собой, сети, оптимизированные по одному из них будут давать худшие предсказания другого. Выбор адекватной функции ошибки должен опираться на некую идеальную стратегию и диктоваться, например, максимизацией прибыли (или минимизацией возможных убытков).

2.5 Обучение нейросетей

     Основная  специфика предсказания временных  рядов лежит в области предобработки  данных. Процедура обучения отдельных нейросетей стандартна. Как всегда, имеющиеся примеры разбиваются на три выборки: обучающая, валидационная и тестовая. Первая используется для обучения, вторая - для выбора оптимальной архитектуры сети и/или для выбора момента остановки обучения. Наконец, третья, которая вообще не использовалась в обучении, служит для контроля качества прогноза обученной нейросети.

     Однако, для сильно зашумленных финансовых рядов существенный выигрыш в  надежности предсказаний способно дать использование комитетов сетей.

     3 Формирование пространства признаков

     Ключевым  для повышения качества предсказаний является эффективное кодирование  входной информации. Это особенно важно для труднопредсказуемых  финансовых временных рядов. Имеются, однако, и специфичные именно для  финансовых временных рядов способы предобработки данных.

3.1 Способы погружения временного ряда

     Начнем  с того, что в качестве входов и выходов нейросети не следует выбирать сами значения котировок, которые мы обозначим . Действительно значимыми для предсказаний являются изменения котировок. Поскольку эти изменения, как правило, гораздо меньше по амплитуде, чем сами котировки, между последовательными значениями курсов имеется большая корреляция - наиболее вероятное значение курса в следующий момент равно его предыдущему значению:  . Между тем, как это уже неоднократно подчеркивалось, для повышения качества обучения следует стремиться к статистической независимости входов, то есть к отсутствию подобных корреляций.

     Поэтому в качестве входных переменных логично  выбирать наиболее статистически независимые  величины, например, изменения котировок  или логарифм относительного приращения . Последний выбор хорош для длительных временных рядов, когда уже заметно влияние инфляции. В этом случае простые разности в разных частях ряда будут иметь различную амплитуду, т.к. фактически измеряются в различных единицах. Напротив, отношения последовательных котировок не зависят от единиц измерения, и будут одного масштаба несмотря на инфляционное изменение единиц измерения. В итоге, большая стационарность ряда позволит использовать для обучения большую историю и обеспечит лучшее обучение.

     Отрицательной чертой погружения в лаговое пространство является ограниченный "кругозор" сети. Технический анализ же, напротив, не фиксирует окно в прошлом, и пользуется подчас весьма далекими значениями ряда. Например, утверждается, что максимальные и минимальные значения ряда даже в относительно далеком прошлом оказывают достаточно сильное воздействие на психологию игроков, и, следовательно, должны быть значимы для предсказания. Недостаточно широкое окно погружения в лаговое пространство не способно предоставить такую информацию, что, естественно, снижает эффективность предсказания. С другой стороны, расширение окна до таких значений, когда захватываются далекие экстремальные значения ряда, повышает размерность сети, что в свою очередь приводит к понижению точности нейросетевого предсказания - уже из-за разрастания размера сети.

     Выходом из этой, казалось бы, тупиковой ситуации являются альтернативные способы кодирования  прошлого поведения ряда. Интуитивно понятно, что чем дальше в прошлое  уходит история ряда, тем меньше деталей его поведения влияет на результат предсказаний. Это обосновано психологией субъективного восприятия прошлого участниками торгов, которые, собственно, и формируют будущее. Следовательно, надо найти такое  представление динамики ряда, которое  имело бы избирательную точность: чем дальше в прошлое - тем меньше деталей, при сохранении общего вида кривой. Весьма перспективным инструментом здесь может оказаться т.н. вейвлетное разложение (wavelet decomposition). Оно эквивалентно по информативности лаговому погружению, но легче допускает такое сжатие информации, которое описывает прошлое с избирательной точностью.

3.2 Понижение размерности входов: признаки

     Подобного рода сжатие информации является примером извлечения из непомерно большого числа  входных переменных наиболее значимых для предсказания признаков. Способы систематического извлечения признаков уже были описаны в прошлых главах. Их можно (и нужно) с успехом применять и к предсказанию временных рядов.

     Важно только, чтобы способ представления  входной информации по возможности  облегчал процесс извлечения признаков. Вейвлетное представление являет собой  пример удачного, с точки зрения извлечения признаков, кодирования. Например, на следующем рисунке (Рисунок 6) изображен отрезок из 50 значений ряда вместе с его реконструкцией по 10 специальным образом отобранным вейвлет-коэффициентов. Несмотря на то, что  для этого потребовалось в пять раз меньше даных, непосредственное прошлое ряда восстановлено точно, а более далекое - лишь в общих чертах, хотя максимумы и минимумы отражены верно. Следовательно, можно с приемлемой точностью описывать 50-мерное окно всего лишь 10-мерным входным вектором.

Рисунок 6.

3.3 Метод искусственных примеров (hints)

     Одним из самых "больных мест" в финансовых предсказаниях является дефицит  примеров для обучения нейросети. Финансовые рынки, вообще говоря, не стационарны (особенно российские). Появляются новые финансовые инструменты, для которых еще  не накоплена история, изменяется характер торговли на прежних рынках. В этих условиях длина доступных для  обучения нейросети временных рядов  весьма ограничена.

     Однако, можно повысить число примеров, используя  для этого те или иные априорные  соображения об инвариантах динамики временного ряда. Это еще одно физико-математическое понятие, способное значительно улучшить качество финансовых предсказаний. Речь идет о генерации искусственных примеров, получаемых из уже имеющихся применением к ним различного рода преобразований.

     Поясним основную мысль на примере. Психологически оправдано следующее предположение: игроки обращают внимание, в основном, на форму кривой цен, а не на конкретные значения по осям. Поэтому если немного  растянуть по оси котировок весь временной ряд, то полученный в результате такого преобразования ряд также  можно использовать для обучения наряду с исходным. Мы, таким образом, удвоили число примеров за счет использования  априорной информации, вытекающей из психологических особенностей восприятия временных рядов участниками  рынка. Более того, мы не просто увеличили  число примеров, но и ограничили класс функций, среди которых  ищется решение, что также повышает качество предсказаний (если, конечно, использованный инвариант соответствует  действительности).

     Приведенные ниже результаты вычисления предсказуемости  индекса S&P500 методом box-counting (см. Рисунок 7, Рисунок 8) иллюстрируют роль искусственных примеров. Пространство признаков в данном случае формировалось методом ортогонализации, описанным в главе о способах предобработки данных. В качестве входных переменных использовались 30 главных компонент в 100-мерном лаговом пространстве. Из этих главных компонент были выбраны 7 признаков - наиболее значимые ортогональные линейные комбинации. Как видно из этих рисунков, лишь применение искусственных примеров оказалось способным в данном случае обеспечить заметную предсказуемость.

     Использование ортогонального пространства признаков привело к некоторому повышению предсказуемости по сравнению с обычным способом погружения: с 0.12 бит (Рисунок 5) до 0.17 бит (Рисунок 8). Чуть позже, когда пойдет речь о влиянии предсказуемости на прибыль, мы покажем, что за счет этого норма прибыли может увеличиться почти в полтора раза.

     Другой, менее тривиальный, пример удачного использования такого рода подсказок (hints) для нейросети в каком направлении искать решение - использование скрытой симметрии в валютной торговле. Смысл этой симметрии в том, что валютные котировки могут рассмматриваться с двух "точек зрения", например как ряд DM/$ или как ряд $/DM. Возрастание одного из них соответствует уменьшению другого. Это свойство можно использовать для удвоения числа примеров: каждому примеру вида можно добавить его симметричный аналог . Эксперименты по нейросетевому предсказанию показали, что для основных валютных рынков учет симметрии поднимает норму прибыли примерно в два раза, конкретно - с 5% годовых до 10% годовых, с учетом реальных транзакционных издержек  (Abu-Mostafa, 1995).

4 Измерение качества предсказаний

     Хотя  предсказание финансовых рядов и  сводится к задаче аппроксимации  многомерной функции, оно имеет  свои особенности как при формировании входов, так и при выборе выходов  нейросети. Первый аспект, касающийся входов, мы уже обсудили. Теперь коснемся особенностей выбора выходных переменных. Но прежде ответим на главный вопрос: как измерить качество финансовых предсказаний. Это поможет определить наилучшую  стратегию обучения нейросети.

4.1 Связь предсказуемости с нормой прибыли

     Особенностью  предсказния финансовых временных  рядов является стремление к получению  максимальной прибыли, а не минимизации  среднеквадратичного отклонения, как  это принято в случае аппроксимации  функций.

     В простейшем случае ежедневной торговли прибыль зависит от верно угаданого  знака изменения котировки. Поэтому нейросеть нужно ориентировать именно на точность угадывания знака, а не самого значения. Найдем как связана норма прибыли с точностью определения знака в простейшей постановке ежедневного вхождения в рынок (Рисунок 9).

Рисунок 9. Связь нормы прибыли с точностью определения знака

     Обозначим на момент : полный капитал игрока , относительное изменение котировки , а в качестве выхода сети возьмем степень ее уверенности в знаке этого изменения . Такая сеть с выходной нелинейностью вида обучается предсказывать знак изменения и выдает прогноз знака с амплитудой пропорциональной его вероятности. Тогда возрастание капитала на шаге запишется в виде: