В итерационном процессе накопление вычислительной погрешности носит более сложный характер.
Задача 1. Получить оценку скорости сходимости метода наискорейшего спуска
Реальный выбор итерационного процесса должен производиться с учетом имеющейся информации о границе спектра, объеме и структуре памяти ЭВМ. Например, при решении сеточных уравнений, аппроксимирующих дифференциальные уравнения в частных производных, иногда идут по следующему пути. Рассматривая задачу на более крупной сетке, проводят вспомогательную работу по возможно более точному определению значений и М, соответствующих более мелкой сетке, а затем применяют оптимальный линейный итерационный процесс.
Обратим внимание на интересное обстоятельство. Из геометрической картины итераций метода Зейделя видно, что скорость сходимости метода не меняется при умножении уравнений системы на множители и изменении масштабов по координатным осям, равносильном замене.
Иначе обстоит дело в случае метода наискорейшего спуска. Пусть, например, -- единичная матрица. Тогда
и метод наискорейшего спуска сходится за одну итерацию (доказать!). Произведем замену масштабов. Матрица системы А в данном случае будет диагональной с элементами на диагонали, равными. Тогда минимизируется функционал
При большом разбросе линиями уровня функции F будут сильно вытянутые эллипсоиды и скорость сходимости метода наискорейшего спуска будет очень медленной.