Факторный анализ метод с varimax вращением

9_факторный анализ. 9 факторный анализ

Сущностью факторного анализа является процедура вращения факторов, то есть перераспределения дисперсии по определённому методу.

Вращение бывает ортогональным и косоугольным. Цель ортогональных вращений — определение простой структуры факторных нагрузок, целью большинства косоугольных вращений является определение простой структуры вторичных факторов, то есть косоугольное вращение следует использовать в частных случаях. Поэтому ортогональное вращение предпочтительнее.

Варимакс – критерий – индекс сложности каждого фактора, который пропорционален числу переменных, связанных с этим фактором. Метод «варимакс» максимизирует разброс квадратов нагрузок для каждого фактора, что приводит к увеличению больших и уменьшению малых значений факторных нагрузок. В результате простая структура получается для каждого фактора в отдельности;
Квартимакс — – критерий – факторная сложность переменной, пропорциональна числу факторов, связанных с ней;
Эквимакс — Метод вращения, объединяющий методы варимакс, упрощающий факторы, и квартимакс, упрощающий переменные. Минимизируется число переменных с большими факторными нагрузками и число факторов, требуемых для объяснения переменной.

облимин – Метод косоугольного (неортогонального) вращения. Самое косоугольное решение соответствует дельте, равной 0 (по умолчанию). По мере того, как дельта отклоняется в отрицательную сторону, факторы становятся более ортогональными. Чтобы изменить задаваемое по умолчанию дельта (равное 0), введите число, меньшее или равное 0,8;
Промакс-вращение. Косоугольное вращение в предположении, что факторы могут коррелировать между собой. Оно производится быстрее, чем вращение типа прямой облимин, поэтому оно полезно для больших наборов данных.

Главные факторы в сравнении с главными компонентами.

Данные для проведения факторного анализа (учебный пример)

Критическое значение коэффициента корреляции на уровне значимости 5% при 5 коррелирующих парах равна 0.878. Высокие корреляции в левом верхнем и правом нижнем квадрантах показывают, что взаимосвязаны оценки по стоимости и комфортабельности и оценки по температуре воздуха и температуре воды.

Собственные вектора и собственные значения:

Анализ собственных значений, равных соответственно 0.038; 0.004; 1.942; 2.016 показывает, что только для двух факторов значения достаточно велики, чтобы стать предметом дальнейшего рассмотрения.

Доля этих факторов в общей дисперсии составляет соответственно 50,4% и 48,5% общей дисперсии, а накопленная дисперсия – 98,9%.

Матрица факторных нагрузок отражает взаимосвязь между факторами и переменными:

Очевидно, что существенные значения факторных нагрузок наблюдаются только для двух факторов: третий столбец – это корреляции между первым значимым фактором и каждой переменной по очереди, четвертый столбец — корреляции между вторым значимым фактором и каждой переменной. Фактор интерпретируется на основе сильно связанных с ним (имеющих по нему высокие факторные нагрузки) переменных. Так первый фактор – «экономический» (цена+комфорт), а второй — «климатический» (температуры). При этом переменные, имеющие высокие факторные нагрузки по «климатическому» фактору взаимосвязаны положительно (униполярный фактор), а по «экономическому» — отрицательно (биполярный фактор).

Необходимо отметить, что выбор знака во время вычислений происходит случайным образом, и знаки не важны сами по себе, а используются для идентификации групп.

Вращение применяется после выделения факторов для максимизации высоких корреляций и для минимизации малых. Существует несколько методов вращения, один из наиболее популярных – метод варимакс, который представляет собой процедуру максимизации дисперсий. Математически это достигается путем умножения матрицы факторных нагрузок на матрицу преобразования: .

Матрица преобразования – это матрица функций угла , на который выполняется поворот. В двумерном случае

После получения окончательной матрицы факторных нагрузок можно получить воспроизведенную матрицу взаимосвязей исходя из формулы

Разница между исходной и воспроизведенной матрицами называется остаточной матрицей взаимосвязей. При хорошем факторном решении элементы остаточной матрицы должны быть очень малы.

Факторные значения

После вычисления факторных нагрузок можно вычислить значения факторов для каждого наблюдения. Один из способов – при помощи матрицы коэффициентов факторных значений . Элементы матрицы – весовые коэффициенты соответствующих значений стандартизированных переменных для расчета значений факторов .

Иначе значения факторов можно рассчитать по формуле.

Высокие отрицательные значения по климатическому фактору свидетельствуют о важности климатического фактора, а высокие отрицательные значения по экономическому фактору означают, что комфорт для респондента важнее фактора стоимости. Так, например, первый респондент получил по первому фактору -0.586, по второму фактору -1.533. Высокое отрицательное значение по «экономическому» фактору свидетельствует о том, что респонденту комфортность важнее, чем низкая стоимость, а высокое отрицательное значение климатического фактора – что климатические условия для него очень важны. Для третьего респондента более привлекательна невысокая цена, чем комфортность, а климатические условия для него не очень важны.

3. Примеры факторного анализа
Пример 1.
В одном из районов развития гранитоидного магматизма было отобрано 70 проб из грейзенизированных гранитов. В пробах было определено содержание пяти компонент (признаков): SiO₂, Na₂O, K₂O, Li, Be.

Результат анализа каждой пробы представляет собой случайную пятикомпонентную величину , где t— номер пробы; X₁,X₂, X₃, X₄, X₅ – содержания компонентов SiO₂, Na₂O, K₂O, Li, Be соответственно.

Необходимо произвести факторный анализ с целью выяснения геохимических и генетических особенностей объекта.
Решение
На первом шаге факторного анализа методом главных компонент по выборочной совокупности были вычислены: корреляционная матрица системы используемых признаков (табл.1), её собственные значения, факторные нагрузки и веса факторов (табл.2).

Источник

Факторный анализ метод с varimax вращением

Мы остановимся только на основных принципах каждого метода, так как предполагается, что читатель будет использовать какую-то готовую компьютерную программу. В предыдущем разделе описана простейшая структура при заданном числе общих факторов k и числе переменных п. Полезно еще раз повторить некоторые свойства такой матрицы.

Поскольку каждая переменная имеет нагрузку только на один фактор, интерпретация переменных не представляет труда. Но для численного использования эта характеристика степени сложности неудобна. Одной из возможных мер сложности модели является вариация квадрата факторной нагрузки для каждой строки (для каждой переменной).

Мы рассматриваем квадрат нагрузок только для того, чтобы избежать осложнений, связанных с учетом знака. Известно, что дисперсия определяется как математическое ожидание квадрата отклонений от среднего, поэтому при фиксированном числе факторов и заданных общностях дисперсия максимальна, если одно из значений квадратов нагрузок равно общности, а все остальные элементы в строке нулевые. Иначе говоря, дисперсия квадратов факторных нагрузок переменной есть мера факторной сложности этой переменной:

где — число столбцов факторной матрицы; — факторная нагрузка фактора на переменную; ЬХ] — среднее значение квадратов факторных нагрузок в строке. Соотношение (19) может быть представлено в следующем виде:

Число факторов и общности каждой переменной считаются известными в результате решения задачи выделения первоначальных факторов. Поэтому слагаемое, входящее в (20) с отрицательным знаком, является константой, ибо

в случае ортогонального решения. Общей мерой сложности может служить сумма всех переменных

Использование критерия квартимакс основано на вращении осей таким образом, чтобы результирующие факторные нагрузки максимизировали q. При этом максимизация q эквивалентна максимизации следующего выражения:

так как слагаемое со знаком минус в (21) является константой. Отсюда и название — квартимакс.

На практике, применяя этот критерий, можно достичь простоту интерпретации переменных за счет простоты интерпретации факторов.

В частности, описание переменной упрощается при уменьшении числа общих факторов, связанных с ней. В то же время описание фактора становится проще, если относительно небольшое число переменных имеют существенные нагрузки на этот фактор, а остальные переменные — нулевые нагрузки. В общем, метод квартимакс имеет тенденцию к выделению генерального фактора.

Метод варимакс использует несколько другой критерий, в котором добиваются упрощения описания столбцов факторной матрицы. Вместо дисперсии квадратов нагрузок переменной рассматривается дисперсия квадратов нагрузок фактора. Индекс сложности фактора равен:

Заметим при этом, что выражение

где суммирование происходит по номеру параметра i, не является константой. Общая мера простоты задается критерием

известным под названием Критерия варимакс. Обычно нормированные факторные нагрузки применяют, чтобы избавиться от нежелательного влияния на результат вращения переменных с большой общностью, т. е. в выражении (24) квадраты нагрузок заменяются на , а четвертые степени

В табл. 6 представлены результаты применения методов квартимакс и варимакс (с нормированием) к одним и тем же данным. Отметим, что, хотя, алгоритмически метод квартимакс проще, чем варимакс, последний дает лучшее разделение факторов. Эксперименты, проведенные Кайзером (Kaiser, 1958), показывают, что факторная матрица, получаемая с помощью метода вращения варимакс, в большей степени инвариантна по отношению к выбору различных множеств переменных.

Таблица 6. Результаты вращений по методам варимакс и квартимакс, применяемых к факторной матрице в табл. 41

Учитывая, что критерий квартимакс основан на упрощении описания строк, а критерий варимакс на упрощении описания столбцов, можно предложить некоторый совместный критерий, введя соответствующие веса. Обобщенный критерий имеет вид

где Q — задается соотношением (22), а V — соотношением (24), умноженным на для удобства представления и с учетом того, что умножение на константу не влияет на процесс нахождения максимума; — веса. Полученный критерий запишем в форме:

Если то образуется критерий квартимакс, а если то варимакс. При получаем особые критерии, названные эквимакс и биквартимакс соответственно.

Источник

Задача вращения

Рассмотрим поподробнее задачу вращения. Используем для этого приводившийся в разделе 19.2 пример опроса, исследующего отношение к иностранцам.

Рис. 19.8: Компонентная диаграмма без вращения

На этой диаграмме в графическом виде представлены факторные нагрузки обоих факторов. Для интерпретации факторов было бы оптимально, если бы точки лежали ближе к осям и подальше от точки начала отсчёта; тогда каждая переменная имела бы значительную нагрузку для одного фактора и незначительную для другого. Этого можно достичь поворотом осей против часовой стрелки, причём ортогональность системы координат (прямой угол между осями) должна сохраниться. В данном двумерном примере это вращение можно представить себе довольно наглядно, математически же подобный поворот можно произвести также и в n—мерном пространстве (то есть при наличии произвольного количества факторов).

Альтернативой прямоугольному (ортогональному) вращению является косоугольное вращение. В этом случае после вращения оси не сохраняют прямой угол по отношению друг к другу. В то время как при прямоугольном вращении корреляция между факторами отсутствует, то при косоугольном вращении этот принцип нарушается — факторы могут коррелировать между собой.

SPSS предлагает в общей сложности пять методов вращения: три метода для ортогонального вращения, один для косоугольного и еще один, который является комбинацией двух видов вращения. Эти методы можно активировать через выключатель Rotation. (Вращение) в диалоговом окне Factor Analysis: Rotation (Факторный анализ: Вращение).

Обычно для ортогонального вращения применяют метод Варимакса (Varimax), а для косоугольного — Direct oblimin. При помощи компонентной диаграммы отследим действие вращения, осуществленного с использованием метода Варимакса.

Рис. 19.9: Компонентная диаграмма после вращения Baримакс

На диаграмме стало заметно смещение факторных нагрузок в сторону главных осей.

Факторный анализ является самым излюбленным приёмом практических статистиков, служащим для сокращения количества переменных. Наиболее интересной частью факторного анализа является толкование получающихся факторов, над которым придётся поразмыслить и применить весь имеющийся опыт.

Источник

Методы ротации факторов (варимакс, облимин и т. Д.) — что означают имена и что делают методы?

Факторный анализ имеет несколько методов ротации, таких как варимакс, квартимакс, эквамакс, промакс, облимин и т. Д. Я не могу найти какую-либо информацию, которая связывает их имена с их фактическими математическими или статистическими действиями. Почему это называется «Equa-Max» или «Quti-Max»? Как вращаются оси или матрицы, чтобы они имели такое название?

К сожалению, большинство из них были изобретены в 1950-1970-х годах, поэтому я не могу связаться с их авторами.

Этот ответ следует за этим общим вопросом о вращениях в факторном анализе (пожалуйста, прочитайте его) и кратко описывает ряд конкретных методов.

Вращения выполняются итеративно и для каждой пары факторов (столбцы матрицы загрузки). Это необходимо потому , что задача оптимизации ( макс imize или мин imize) объективный критерий одновременно для всех факторов будет математически трудно. Однако, в конце концов, конечная матрица вращения собрана так, что вы можете воспроизвести вращение самостоятельно, умножив извлеченные на нее нагрузки , , получив матрицу повернутой факторной структуры , Объективный критерий некоторого свойство элементов (нагрузки) результирующей матрица . Q A A Q = S S S

Quartimax ортогональное вращение стремится к максимальной imize на сумме всех нагрузок , поднятых к власти 4 в . Отсюда и его название («четверти», четыре). Было показано, что достижение этой математической цели в достаточной степени соответствует удовлетворению критерия 3-го Терстона «простой структуры», который звучит так: для каждой пары факторов имеется несколько (в идеале> = m) переменных с нагрузками, близкими к нулю, для любого из двух и далеко от нуля для другого фактора . Другими словами, будет много больших и много маленьких нагрузок; и точки на графике нагрузки, построенные для пары повернутых факторов, в идеале должны располагаться близко к одной из двух осей. Quartimax, таким образом, сводит к минимуму количество факторов, необходимых для объяснения переменной S : это «упрощает» строки матрицы загрузки. Но четвертикс часто производит так называемый «общий фактор» (который в большинстве случаев нежелателен в FA переменных; я полагаю, он более желателен в так называемой FA Q-mode респондентов).

VariMAX ортогональным вращения стремится макс imize дисперсия квадратов нагрузок в каждом факторе в . Поэтому его имя ( вар iance). В результате каждый фактор имеет только несколько переменных с большими нагрузками на фактор S , Varimax напрямую «упрощает» столбцы матрицы загрузки и тем самым значительно облегчает интерпретацию факторов. На графике нагрузки точки растянуты вдоль оси фактора и имеют тенденцию поляризоваться в положение, близкое к нулю и далеко от нуля. Это свойство, по-видимому, в определенной степени удовлетворяет сочетанию простых точек структуры Терстона. Однако Varimax небезопасен для создания точек, лежащих далеко от осей, то есть «сложных» переменных, нагруженных более чем одним фактором. Плохо это или хорошо, зависит от области исследования. Varimax хорошо работает в основном в сочетании с так называемой нормализацией Кайзера(временно выравнивая сообщества во время вращения), рекомендуется всегда использовать его с varimax (и рекомендуется использовать его с любым другим методом). Это самый популярный метод ортогонального вращения, особенно в психометрии и социальных науках.

Ортогональное вращение Equamax (редко — Equimax) можно рассматривать как метод, уточняющий некоторые свойства варимакса. Он был изобретен в попытках его дальнейшего улучшения. Выравнивание относится к специальному взвешиванию, которое Saunders (1962) ввел в рабочую формулу алгоритма. Equamax самонастраивается в зависимости от числа вращающихся факторов. Он имеет тенденцию распределять переменные (сильно нагруженные) более равномерно между факторами, чем варимакс, и, следовательно, менее склонен давать «общие» факторы. С другой стороны, эквамакс не задумывался как отказ от цели квотимакса по упрощению строк; Эквамакс — это скорее комбинация варимакса и квартмаксачем их промежуточный. Однако эквамакс, как утверждается, значительно менее «надежен» или «стабилен», чем варимакс или квартмакс: для некоторых данных он может привести к катастрофически плохим решениям, в то время как для других данных он дает совершенно интерпретируемые факторы с простой структурой. Еще один метод, похожий на equamax и еще более рискованный в поисках простой структуры, называется parsimax («максимизирующая экономия») (см. Mulaik, 2010, для обсуждения).

Я прошу прощения за то, что остановился сейчас и не рассмотрел наклонные методы — oblimin («наклонный» с «минимизацией» критерия) и promax (неограниченное вращение pro crtes после vari max ). Косые методы потребовали бы, вероятно, более длинных параграфов, чтобы описать их, но я не планировал никакого длинного ответа сегодня. Оба метода упомянуты в сноске 5 этого ответа . Я могу отослать вас к Mulaik, Основы факторного анализа (2010); классическая старая книга Хармана « Современный факторный анализ» (1976); и все, что появляется в Интернете, когда вы ищете.

Методы вращения оптимизируют эвристические функции с целью «упрощения» факторных нагрузок. Простота может быть определена многими различными способами. Наиболее часто используемые из них происходят от Thurnstone [2]: разреженность , простота столбца и экономия , простота строки (или сложность). Большинство критериев ротации относятся к одному или другому из обоих, их имена не очень важны.

В семейства критериев включены единичные критерии: наиболее полным является критерий Кроуфорда-Фергюсона, который эквивалентен семейству Ортомакс для ортогональных вращений. Эти семейства обеспечивают взвешивание обоих требований простоты, контролируемых различными параметрами. Изменяя их, можно получить почти все известные критерии вращения. Отличным и доступным обзором методов вращения является статья Брауна.

[1] М. Браун, Обзор аналитической ротации в исследовательском факторном анализе, Multivariate Behavioral Research 36 (2001), с. 111–150.

[2] Л. Терстоун, Многофакторный анализ, Университет Чикагской Прессы, 1947

Источник