Обзор методов и моделей кредитного и поведенческого скоринга

В представленной статье рассмотрены основные методы кредитного скоринга. Кредитный скоринг подразумевает применение алгоритмов, полученных с использованием математических и статистических методов, для деления потенциальных кредитных операций на непересекающиеся группы риска. В статье описаны преимущества и ограничения различных моделей и алгоритмов, используемых в кредитном скоринге, а также перспективы дальнейшего развития данного способа оценки кредитных рисков.

Кредитные отношения являются неотъемлемой частью современной экономики. Благодаря кредитованию большее число домашних хозяйств имеет возможность поддерживать удовлетворяющий их уровень потребления, улучшать бытовые условия, а в случае предприятий возникают дополнительные возможности для инвестирования.

В зависимости от целей и задач кредитных учреждений механизм формирования ставок по кредиту и степень влияния на них отдельных факторов различны. Чтобы не устанавливать ставки слишком высокими, поддерживая конкурентоспособность и привлекательность для потенциальных клиентов, банки проводят оценку рисков и разрабатывают программу по их минимизации.

Четыре категории по оценке кредитных рисков:

Одним из основных рисков является невозврат заемщиком суммы кредита в полном объеме или в указанный срок, т.е. нарушение обязательств. Оценка кредитных рисков потенциального заемщика называется кредитным скорингом (от англ. credit scoring).

Говоря о кредитном скоринге, как правило, имеют в виду анализ рисков по кредитованию физических лиц, хотя методы оценки надежности организаций также существуют.

Оценка кредитных рисков в соответствии с преследуемыми целями может быть разделена на 4 категории:

application scoring ‒ оценка кредитоспособности заемщиков для выдачи кредитов;
behavioral scoring ‒ оценка динамики состояния кредитного счета заемщика и кредитного портфеля в целом;
collection scoring ‒ определение приоритетных дел и направлений работы с проблемными заемщиками, мониторинг
задолженности и выбор оптимального коллекторского воздействия;
fraud scoring ‒ своевременно выявление мошенничества со стороны клиентов-заемщиков.

Кредитный скоринг состоит в применении алгоритмов, полученных с использованием математических и статистических методов, с тем, чтобы разделить потенциальные кредитные операции на непересекающиеся группы риска, хорошие и плохие. Плохие риски подразумевают бóльшую вероятность нарушения обязательств заемщиком, поэтому необходимо выявлять факторы кредитного риска, их значимость и взаимозависимость. Предполагается, что созданные модели могут выявлять закономерности, так что кредитные операции в будущем будут иметь такой же исход, как и операции со схожими характеристиками, для которых известна принадлежность к одному из рисков.

Факторы, учитываемые при кредитном скоринге

Факторы, учитываемые при кредитном скоринге могут отличаться в зависимости от алгоритмов и целей скоринга. К таким факторам можно отнести демографические данные (семейное положение, возраст и др.) и характеристики занятости заемщика (тип занятости, должность, информацию о кредитной истории и предыдущих отношениях с кредитором, характеристики предоставляемой услуги, данные о финансовом благополучии клиента. Следует,отметить, что использование некоторых данных в кредитном скоринге может быть ограничено законодательно. Так,например, в США, согласно Федеральному Закону «Об отчете о кредитным операциям» и Законе «О равных кредитных возможностях», запрещено учитывать семейное положение, расу, религиозные убеждения и пол в качестве признаков в кредитом скоринге и принятии решений о выдаче кредита в целом.

Для оценки рисков не менее важны и характеристики запрашиваемого кредита (например, кредиты в иностранной валюте, как правило, считаются более рискованными).

Алгоритмы кредитного скоринга

Для разработки алгоритмов кредитного скоринга применяются самые различные методы: классические основанные на статистическом дискриминантном и регрессионном анализах, деревья решений, методы, основанные на нейронных сетях.

Регрессии, как линейные, так и логистические, достаточно распространены в кредитном скоринге. Поскольку перед банком стоит задача отобрать лучших заемщиков, не обязательно действовать в рамках задачи классификации: вместо нее может быть реализована задача ранжирования, для которой подходят и линейная, и логистическая регрессии (так как могут предсказывать вероятность принадлежности к одному из бинарных классов, по которой и будут упорядочены потенциальные заемщики). Стоит заметить, что регрессионный анализ может быть использован не только непосредственно для кредитного скоринга, но и для предшествующего ему отбора признаков для построения моделей. Хотя логистическая регрессия и не является самым эффективным методом для классификации, она значительно менее чувствительна к размеру выборки и соотношению плохих и хороших рисков в ней по сравнению со многими другими методами, применяемыми для классификации вообще и кредитного скоринга в частности.

Наряду с упомянутыми выше методами для классификации плохих и хороших кредитных рисков используются деревья решений. Вне зависимости от алгоритма построения дерева метод имеет некоторые достоинства, среди которых простота в интерпретации и понимании, меньшая необходимость в предобработке данных (может работать одновременно с переменными, измеряемыми по разным шкалам, не требует шкалирования, нормирования или заполнения пропусков в данных). Между тем, задача построения оптимального дерева вычислительно затратная, а сами деревья склонны к переобучению. Проблема переобучения в частности может быть решена подбором гиперпараметров, таких как критерии останова (прекращение построения дерева, при выполнении некоторого условия, например, достижение определенной глубины), «стрижкой» деревьев, а также композицией нескольких алгоритмов или созданием комитета решающих деревьев, усредняющего ошибку и улучшающего обобщающую способность модели.

Для нахождения нелинейных зависимостей в данных часто используют нейронные сети. Применимы они и в задачах кредитного скоринга, и зачастую показывают лучшие результаты, чем традиционные статистические модели. Однако у них имеются некоторые ограничения, связанные с тем, что они долго обучаются, работают значительно хуже, если в данных имеются нерелевантные атрибуты или если сеть обучена на недостаточно большой выборке данных. Хотя полученная модель сложна для интерпретации, алгоритмы кредитного скоринга, работающие на базе нейронных сетей, реализованы во многих коммерческих решениях для банков.

С развитием различных интеллектуальных методов все больше из них находят свое приложение в деятельности банков. Например, анализ профилей заемщика в социальных сетях при помощи интеллектуального анализа текстов (text mining).

Работа с данными сложна еще и потому, что характеристики заявителей и заемщиков описаны как при помощи количественных, так и при помощи качественных признаков. Из-за этого, например, возникает проблема классификации заемщиков в пространстве разнотипных признаков. В таких условиях,например, могут нарушаться некоторые существенные предположения о характере распределения случайных величин, что делает заведомо невозможным применение ряда алгоритмов классификации.

Модели кредитного и поведенческого скоринга

Поведенческий скоринг (behaviour scoring) — динамическая оценка состояния кредитоспособности существующего заёмщика, основанная на данных об истории трансакций по его счетам (график погашения задолженности, оборот по текущим счетам, запрос новых кредитов и т.п.). По результатам оценки может определяться текущий лимит кредита для заёмщика; меры, принимаемые в случае задержки платежей; маркетинговые ходы, которые могут быть направлены на клиента.

При построении модели скоринга также могут использоваться данные различных видов, и здесь можно провести следующее разделение.

Априорный скоринг — построение модели по статистическим данным (макроэкономические показатели, государственная статистика, результаты переписи и т.п.). Эти данные используются для оценки параметров модели заёмщика, которая в свою очередь применяется для определения его кредитоспособности.

Апостериорный скоринг — построение модели по историческим данным о клиентах кредитной организации. Такие данные обычно представляют собой таблицу, в которой для каждого из клиентов, получившего кредит, указаны данные его заявки, а также исход — погашение долга, досрочное погашение или дефолт. Таким образом, производится построение модели, по возможности лучше предсказывающей исход на основании анкетных данных.

Система скоринга может использоваться не только на стадии продажи кредитного продукта, но и при его проектировании, поскольку с её помощью можно определить проанализировать кредитоспособность группы потенциальных заёмщиков, под которую проектируется продукт, и, выделив основные качества заёмщиков, способствующие снижению риска, направить основные маркетинговые усилия именно на таких заёмщиков.

Математические модели кредитного скоринга

Байесовский подход. Предположим, что известны следующие функции и величины:

• pG — доля «хороших» клиентов, и, соответственно, pB = 1−pG — доля «плохих» клиентов;
• p(x|G), p(x|B) — вероятности того, что соответственно «хороший» и «плохой» клиент дадут ответы x;
• L — потери от того, что «хороший» клиент будет классифицирован как «плохой»;
• D — потери в случае дефолта, т.е. от классификации «плохого» клиента как «хорошего».

По формуле полной вероятности можно тогда вычислить p(x) = p(x|G)pG+p(x|B)pB — вероятность того, что клиент даст ответы x, и затем по теореме Байеса определить


то есть вероятности того, что клиент с данными ответами будет «хорошим» или «плохим».

Средние потери в расчёте на одного клиента составляют

EL = L XB q(G|x)p(x) + D XG q(B|x)p(x) = L XB p(x|G)pG + D X p(x|B)pB,
x∈A                      x∈A                      x∈A                  x∈AG

и являются минимальными при выборе

AG = {x | Dp(x|B)pB 6 Lp(x|G)pG}.

Если далее предположить нормальность распределений p(x|G), p(x|B) с общей ковариационной матрицей, то получается линейное правило

AG = {x | w1x1 + … + wnxn > c}.

Такое правило фактически означает, что каждому набору ответов x присваивается «счёт» s(x) по формуле s(x) = w1x1 + … + wnxn,
и означает, что в s(x) содержится достаточно информации для различения класса клиента. Таким образом, размерность задачи уменьшается с n, с распределениями p(x|G), p(x|B), до 1 с распределениями p(s|G), p(s|B). Нахождение правила классификации сводится к поиску оптимального порога c из задачи оптимизации

LXp(s|G)pG + D Xp(s|B)pB → min.
s<c              s>c

Множественная регрессия. Другой способ получить линейную скоринговую функцию — использовать одну из разновидностей линейной регрессии. В простейшем варианте определяется зависимая переменная Y , принимающая значения 1 в случае «хорошего» клиента и 0 в случае «плохого», и затем используется метод наименьших квадратов для нахождения весов wi, обеспечивающих наилучшее предсказание значения Y.

При использовании линейной регрессии фактически делается попытка связать вероятность дефолта p со значениями ответов на вопросы линейной функцией:

p = w0 + w1X1 + … + wnXn.

Здесь есть очевидное несоответствие: левая часть представляет собой вероятность и должна изменяться от 0 до 1, тогда как правая может принимать любые значения. Для преодоления этой трудности само значение вероятности заменяется некоторой функцией от него, так чтобы эта функция была монотонной принимала все вещественные значения.

Логистическая регрессия заменяет вероятность дефолта на логарифм шансов дефолта:


Таким образом, счёт связан здесь не с вероятностью дефолта p(B|x), а с отношением p(B|x)/p(G/x):


Другим примером является пробит-анализ:

Φ−1(p) = w0 + w1X1 + … + wnXn,

где Φ(x) — функция стандартного нормального распределения.

Дискриминантный анализ. Используя линейные скоринговые функции, можно оценить вероятность принадлежности клиента тому или иному классу, определив

s1(x) = w01 + w11X1 + … + wn1Xn, s2(x) = w02 + w12X1 + … + wn2Xn,

… sm(x) = w0m + w1mX1 + … + wnmXn.

Далее необходимо просто выбрать тот класс, которому соответствует больший счёт. В случае двух классов это даёт тот же самый результат, что и линейная регрессия.

Линейное программирование. Ещё один способ получить линейную скоринговую функцию заключается в использовании линейного программирования. Пусть есть набор данных, включающий в себя ответы на вопросы xi1,…,xin для каждого из N клиентов и индикаторы наличия дефолта Yi. Идеально было бы найти линейную функцию s(x), которая бы полностью разделяла «хороших» и «плохих» клиентов. Однако поскольку это обычно невозможно, будем искать s(x) из соображений минимизации ошибки ai в каждом конкретном случае:

Здесь минимизация производится по переменным (w1,…,wn,c,a1,…,aN). Можно также минимизировать максимальную возможную ошибку, заменив все ai на одну переменную a.

Преимущество метода линейного программирования состоит в возможности включить в программу дополнительные ограничения. Например, если кредитный продукт направлен на людей молодого возраста, можно наложить дополнительное ограничение на соответствующий вес wi > wi0, так что скоринговая функция будет отдавать предпочтение людям этого возраста.

Генетические алгоритмы представляют собой метод оптимизации, не накладывающий стандартных ограничений на целевую функцию (гладкость, выпуклость и т.п.). В применении к задаче скоринга генетический алгоритм состоит в генерации начального множества скоринговых функций, с последующим применением к функциям из этого набора операций «скрещивания» и «мутации», а также отбрасыванием наименее пригодных функций.

Деревья классификации. В отличие от предыдущих методов, классификационные деревья (иначе — рекурсивные алгоритмы разбиения) не предназначены для построения линейной скоринговой функции. Вместо этого они последовательно разбивают клиентов на группы по одной из переменных, так чтобы эти группы насколько возможно отличались по величине кредитного риска. Процесс разбиения продолжается до тех пор, пока оставшиеся группы не становятся настолько малы, что следующее разбиение не приведёт к статистически значимому различию в уровне риска. Каждому листу дерева затем приписывается определённая категория клиентов. На рисунке изображён пример дерева классификации:

Дерево классификации

Модификацией деревьев классификации являются деревья моделей, где каждому листу соответствует не определённая категория, а своя линейная регрессионная модель. Это позволяет сначала достаточно грубо разделить клиентов на основные группы, а потом для каждой группы воспользоваться регрессионной моделью.

Метод ближайших соседей является примером подхода «ленивого обучения», когда обучение фактически сводится к добавлению нового случая в базу данных. На пространстве анкетных данных выбирается некоторая метрика, которая затем используется для нахождения ближайших исторических анкетных данных к данным нового клиента. При этом клиент классифицируется в зависимости от того, к какому классу принадлежат большинство его соседей по этой метрике.

Преимуществом метода ближайших соседей является исключительная простота обучения модели: при поступлении новых данных их необходимо просто добавить к существующим, а по прошествии времени можно удалять старые данные, чтобы учитывать изменения, происходящие с течением времени.

К недостаткам следует отнести необходимость полного просмотра базы данных при классификации нового клиента (что может занимать довольно много времени в случае больших объёмов информации, скажем, более 105–106 записей). Кроме того, выбор хорошей метрики также является нетривиальной задачей, и если производить его на основе исторических данных, то теряется основное привлекательное свойство алгоритма — отсутствие необходимости предварительного анализа данных и построения модели.

Нейронные сети могут рассматриваться как метод нелинейной регрессии и показывают очень хорошие результаты в задаче кредитного скоринга. Они чаще применяются для скоринга компаний, когда имеется меньше данных, чем для скоринга частных лиц.

Недостатком нейронных сетей является то, что веса связей, определённые в результате обучения, не имеют никакой интерпретации в терминах кредитного риска. Следовательно, практически невозможно объяснить предсказание, полученное с помощью нейронной сети, а также провести анализ чувствительности, чтобы выделить наиболее значимые параметры.

Байесовские сети позволяют представлять многомерные распределения p(x|G), p(x|B) в виде комбинации нескольких распределений более низкой размерности. При этом в ходе построения модели могут быть учтены причинно-следственные связи (благодаря чему они широко распространены в таких областях как медицинская диагностика, поиск технических неисправностей и т.п.). Хотя в кредитном скоринге и других задачах классификации как правило рассматриваются переменные, которые не связаны друг с другом причинно, однако можно предположить существование скрытых переменных, обуславливающих ту или иную условную зависимость или независимость. Более подробно этот подход описан в п. 2.6.

Безусловным преимуществом байесовских сетей является возможность вывода по неполным данным. Если информация о потенциальном заёмщике не является полной, то алгоритм вывода по байесовской сети вычислит вероятность дефолта, основываясь лишь на доступных данных (что эквивалентно усреднению по переменным, чьи значения неизвестны).

Байесовский подход позволяет также относительно легко производить интеграцию системы апостериорного скоринга с другими используемыми моделями, в частности, с системой априорного скоринга, чтобы учесть изменения в распределении дефолтов, связанные с изменением экономической ситуации.

Логико-вероятностный подход основан на сочетании методов математической логики и теории вероятностей. Этот подход можно рассматривать как специальный вид нелинейной регрессии. В качестве параметров модели здесь выступают вероятности наступления дефолта, связанного с тем или иным ответом на вопрос анкеты.

Оцениваемая величина — вероятность дефолта. Для идентификации значений параметров используется специально адаптированные алгоритмы оптимизации (основной трудностью является то, что целевая функция — количество правильно классифицированных случаев — является целочисленной, поэтому не работают стандартные алгоритмы оптимизации типа наискорейшего спуска).

Информация на выходе системы скоринга

В зависимости от используемой модели система скоринга может выдавать на выходе следующие данные.

Класс клиента. В самом простом случае — «хороший» или «плохой»; первым кредит выдается, вторым — нет. В более сложных случаях может быть ещё несколько промежуточных классов — кредит выдается, но на других условиях (больший процент, меньший срок, или дополнительные гарантии), либо кредитоспособность оценивается вручную, с использованием дополнительной информации.

Апостериорное распределение класса клиента. Для каждого класса указывается вероятность, с которой данный клиент принадлежит этому классу. Можно выбрать класс с наибольшей вероятностью, либо усреднить какие-либо показатели по каждому классу. Данный вариант предпочтительнее первого, поскольку в распределении содержится существенно больше информации. Например, если классов всего два, то в первом варианте клиент будет считаться «хорошим» как при распределении 90%/10%, так и при 55%/45%. Очевидно, однако, что во втором случае степень уверенности в кредитоспособности существенно ниже, чем в первом.

Вероятность дефолта. Для принятия решения остаётся только сравнить эту вероятность с пороговым значением допустимой вероятности дефолта. Последняя определяется так, чтобы с учетом этой вероятности и процентной ставки банк в среднем не терпел убытков в случае выдачи кредита.

Счёт (score) — количественная оценка кредитоспособности потенциального заёмщика (чем больше счёт, тем последняя выше). Обычно счёт пропорционален вероятности или шансам успешного возврата кредита, поэтому либо по счёту определяется вероятность дефолта и на этом основании принимается решение, либо, в зависимости от того, в какой промежуток попал счёт, определяется класс клиента и на основании этого — условия выдачи кредита.

Если скоринговая система так или иначе определяет вероятность дефолта заёмщика pдеф, то необходимо установить пороговую (допустимую) вероятность дефолта. Это можно сделать, вычислив средние потери от дефолта, и введя ограничение, что эти потери не могут быть больше дохода в случае успешного возврата кредита.

Потери в случае выдачи кредита неплатежеспособному заёмщику, потери в случае отказа «хорошему» клиенту образуют так называемую матрицу штрафов (misclassification costs matrix). В этой матрице столбцам соответствуют фактические (реальные) классы клиентов, а строкам — предсказанные. На диагонали находятся нули (т.е. за правильно предсказанный класс штраф отсутствует), а во всех остальных ячейках указывается штраф за предсказание одного класса (строка), если на самом деле клиент принадлежит другому классу (столбец). Например, в случае матрицы:

good bad
good 0 5 bad
1 0

штраф составляет 1 единицу за отказ «хорошему» клиенту и 5 единиц за выдачу кредита «плохому» клиенту. Как видно, в случае двух классов матрица штрафов содержит два значения — штрафы за ошибки первого и второго рода.

Элементы матрицы могут быть определены исходя из порогового значения вероятности дефолта p∗ (выше которого кредиты выдаваться не должны).

Примем, что штраф за отказ хорошему клиенту равен 1, а n — штраф за приём плохого клиента.

Тогда:


Для матрицы, приведённой выше,


Матрица штрафов используется в ходе оценки качества используемых моделей, а также является частью входных данных некоторых алгоритмов (например, при построении деревьев классификации).

Выбор и оценка скоринговых моделей

Кратко опишем общую методология оценки моделей добычи данных, следуя работам Y. Liu .

Выбор модели. Процесс построения скоринговой системы можно условно разбить на три этапа:

1. Формулировка задачи и подготовка данных. С помощью экспертов в конкретной области формулируется задача скоринга, производится сбор и предварительная обработка данных.

2. Анализ данных и построение модели. Производится поиск оптимальной модели для решения поставленной задачи. Необходимо оценить точность работы различных моделей и выбрать наилучшую из них.

3. Применение и валидация модели. Модель применяется для реального принятия решений, при этом производится оценка её точности на фактических данных. По прошествии времени модель должна перестраиваться, чтобы отражать произошедшие изменения.

Несмотря на то, что кредитный скоринг предназначен для автоматического принятия решения по выдаче кредитов, сам процесс построения модели для скоринга не может обходиться без непосредственного участия человека на каждом из этапов.

Точность классификации. Наиболее очевидным критерием точности является процент неверной классификации, или интенсивность ошибок:

Для задачи классификации с двумя классами это число должно быть между нулём (все случаи классифицированы корректно) и интенсивностью ошибок классификации по умолчанию (присваивающей во всех случаях класс, которому принадлежит большинство клиентов). По ряду причин построенная модель должна иметь меньшую интенсивность ошибок, чем классификация по умолчанию, при этом в реальных приложениях не существует моделей с нулевой интенсивностью ошибок.

Реальная интенсивность ошибок (true error rate) определяется тестированием модели на настоящих данных. Она не может быть определена до тех пор, пока модель не будет протестирована на большом количестве реальных случаев. Следовательно, в ходе построения модели этот показатель необходимо как-либо оценить.

Собственная интенсивность ошибок (apparent error rate) определяется как интенсивность ошибок на наборе данных, который был использован для обучения модели. Однако она не является надёжной оценкой реальной интенсивности, поскольку низкое её значение может означать, что модель является просто-напросто «подгонкой» (overfitting) результата классификации под данные в обучающем наборе (например, у метода ближайших соседей всегда будет нулевая собственная интенсивность ошибок). В этом случае можно ожидать весьма посредственных результатов при применении модели к реальным данным.

Для оценки собственной интенсивности ошибок применяется метод «удержания» тестовых данных: исходный набор данных разделяется на «обучающий» (использующийся для построения модели) и «тестовый» (используемый для оценки точности) наборы. Предполагается, что тестовый набор выделяется случайным образом, независимо от самих данных. Определённая таким образом интенсивность ошибок называется тестовой интенсивностью ошибок. Обычно величина тестового набора составляет около 30% от всех данных. При величине тестового набора в 1000 записей тестовая интенсивность ошибок уже является статистически точной оценкой реальной интенсивности.

Представляет также интерес точность классификации при условии изменений, происходящих в населении с течением времени. Для этого имеющиеся данные упорядочиваются по дате заполнения анкеты, и затем в качестве обучающего набора используется первая часть списка, а в качестве тестового — вторая. Это также отчасти решает проблему излишней «подгонки» под обучающие данные.

Отметим, что сравнение результатов точности классификации различными методами показывает, что они практически совпадают. Это можно объяснить эффектом «плоского максимума»: существенные изменения весов в окрестности оптимальной скоринговой функции приводят к незначительным отклонениями в точности прогнозов.

Критерии применимости. Хотя точность классификации и является важным критерием выбора скоринговой модели, необходимо также принимать во внимание ряд других качеств.

Скорость работы. Необходимо оценить время, требуемое для обучения и для принятия решения в соответствие с моделью. Приведём два крайних примера. С одной стороны, метод ближайших соседей исключительно быстр в обучении (просто добавляется ещё одна запись), но для принятия решения требуется полный перебор случаев в базе данных, что может занять много времени. Напротив, нейронные сети требуют минимальных вычислений для классификации одного случая, но при этом их обучение является NP-трудной задачей, поэтому алгоритмы обучения требуют экспоненциального времени.

Прозрачность и интепретируемость. Прозрачность моделей становится важной, когда модель необходимо объяснить кредитным аналитикам. Часто счёт, выдаваемый системой, используется как один из критериев принятия решения квалифицированным кредитным офицером, поэтому модель должна быть в достаточной мере понятной. Наиболее прозрачными моделями являются, по всей видимости, основанные на линейной скоринговой функции. Напротив, нейронные сети действуют как «чёрный ящик» и не предоставляют никаких объяснений результатов классификации, что препятствует использованию таких систем на практике, когда кредиторам требуется объяснять, почему они не выдали тот или иной кредит.

Простота модели. Следует предпочитать наиболее простую модель при одном и том же уровне точности. Это имеет влияние как на скорость работы модели, так и на её понятность. Кроме того, более простые модели как правило являются более робастными.

Типы ошибок. Введём следующие обозначения:

• a — количество «плохих» клиентов, предсказанных верно.
• b — количество «хороших» клиентов, предсказанных верно.
• c — количество «плохих» клиентов, предсказанных как «хорошие».
• d — количество «хороших» клиентов, предсказанных как «плохие».

Точность классификации можно описать одним числом — общей интенсивностью ошибок:


однако для систем кредитного скоринга необходимо рассматривать отдельно вероятность ошибок первого и второго рода:


Число ER1 характеризует кредитный риск — процент «плохих» клиентов, классифицированных как «хорошие». Значение ER2 характеризует так называемый коммерческие риск, связанный с отказом «хорошим» клиентам.

Кривая ROC. В том случае, если скоринговая система на выходе выдаёт непрерывное значение счёта, точность классификации зависит не только от самой модели, но и от порогового значения счёта, начиная с которого принимается положительное решение по выдаче кредита. Для сравнения различных моделей в этом случае применяется кривая ROC (receiver operating characteristic), показывающая зависимость (1 − ER1) от ER2. Чем выше проходит такая кривая, тем точнее классификация независимо от порогового значения.

Применяется также численный показатель, обозначаемый AUROC или AUC (area under ROC) и равный площади фигуры между кривой ROC и прямой 1 − ER1 = ER2. Этот показатель изменяется от 0 (бесполезный классификатор) до (абсолютно точный классификатор).


Матрица штрафов. Для того, чтобы выбрать пороговое значение счёта, необходимо задаться штрафами за ошибки первого и второго рода (ср. с матрицей штрафов, описанной ранее). Если обозначить последние за C1 и C2, то поиск порогового значения сводится к минимизации ожидаемого штрафа:

EC = C1 · ER1 · pB + C2 · ER2 · pG → min.

Можно показать, что поиск оптимального порогового значения эквивалентен нахождению касательной к кривой ROC, проходящей под углом arctan(PGC2/PBC1).

Последовательный анализ. Целью последовательного анализа является сравнение набора классификационных моделей, построенных за счёт изменения размера обучающей выборки. Если модели одинакового качества могут быть получены на различных объёмах данных, следует использовать ту модель, которая получена на меньшей выборке.

Графическое представление результатов последовательного анализа — кривая обучения, показывающая зависимость тестовой интенсивности ошибок от размера обучающей выборки или от сложности модели. Результаты экспериментов показывают, что вначале с ростом выборки интенсивность ошибок падает за счёт учёта дополнительной информации. Однако далее интенсивность ошибок стабилизируется и даже может начать возрастать. Это связано с тем, что при больших объёмах данных начинает происходить подгонка под них, либо с тем, что модель достигает предела своих возможностей по извлечению закономерностей из этих данных.


Параметры заявки: дискретные и непрерывные

Среди переменных, описывающих данные кредитной заявки, большую часть обычно составляют дискретные (образование, пол, семейное положение, цель кредита, вид собственности на жилье, род деятельности и т.п.). При этом если некоторые переменные поддаются некоторому упорядочению (например, образование — можно считать, что чем выше уровень, тем больше значение переменной), то для других не существует никакого осмысленного линейного порядка (например, семейное положение или цель кредита). Следовательно, такие переменные нельзя даже приблизительно считать непрерывными, поскольку их значения суть номера ответов на соответствующие вопросы, которые могут располагаться в произвольном порядке.

Если используемая модель скоринга требует использования непрерывных переменных, то можно обойти дискретность переменных, заменив их на большее количество переменных, принимающих значения от 0 до 1.

Пусть:


— исходный набор (дискретных) переменных, каждая из которых принимает r1,…,rn значений соответственно (для упрощения будем считать