Розрахунок рейтингу

Вступ до проблематики

У цифрову епоху репутація компанії будується на відгуках незнайомих людей. Для платформи, що об’єднує компанії з наукового консалтингу, ставки для клієнтів надзвичайно високі, оскільки замовлення дослідницької роботи безпосередньо пов’язане з репутаційними ризиками та успіхом в освітньому або науковому процесі.

Найпоширенішим методом сортування рейтингу є класичне середнє арифметичне. Проте наші дослідження показують, що цей метод ігнорує кількість відгуків, виводячи в топ компанії з ідеальним середнім балом, але з мізерною кількістю оцінок. Користувачі інтуїтивно розуміють, що оцінка «5.0» на базі двох відгуків не може перевершувати оцінку «4.8» на базі сотень взаємодій. Саме ця проблема зумовила впровадження нами нового, більш об’єктивного алгоритму ранжирування.

Обмеження середнього арифметичного

Класична формула оцінки компанії виглядає так:

Класична формула розрахунку - картинка

Де n – загальна кількість відгуків, а xᵢ – значення кожного відгуку в зірках. Головна вразливість цієї моделі – проблема розміру вибірки (Sample Size Problem). У системах відгуків розподіл рідко буває нормальним, і невеликі вибірки не мають статистичної потужності. Використання μ як єдиного критерію створює систему, де компанії з наукового консалтингу з двома свіжими відгуками значно легше утримувати бал 5/5, ніж ветеранам ринку зі 100+ відгуками, для яких ймовірність отримати оцінку нижче максимальної статистично зростає.

Формалізація алгоритму: Зважена адитивна модель

Запропонована методологія є реалізацією моделі зваженої суми (Weighted Sum Model, WSM). Інноваційність полягає у відмові від усереднення на користь кумулятивного накопичення з використанням асиметричної шкали.

Підсумковий рейтинговий бал конкретної компанії (Sₜₒₜₐₗ) обчислюється як сума ваг усіх N отриманих відгуків:

Підсумковий рейтинговий бал - картинка

Де:

  • N – загальна кількість відгуків.
  • rₖ – значення k-го відгуку (від 1 до 5).
  • W(r) – вагова функція, що перетворює зірки на бали.

Вагова функція W(r) задається наступним чином:

Вагова функція - картинка

У згрупованому векторному вигляді, якщо cᵢ – кількість відгуків кожного номіналу, формула має лінійний вигляд:

Лінійний вигляд формули - картинка

Таблиця 1. Матриця вагових коефіцієнтів та їх бізнес-вплив

Оцінка клієнта (зірки) Ваговий коефіцієнт (бали) Напрямок впливу на рейтинг Sₜₒₜₐₗ Поведінкова інтерпретація
5 +2 Інтенсивне зростання Підтвердження професіоналізму. Драйвер просування в топ.
4 +1 Помірне зростання Прийнятна якість. Допомагає рости, але повільніше за відмінників.
3 -1 М’яка пеналізація Посередня робота. Знищує сприйняття «задовільно» як нейтральної оцінки.
2 -2 Жорстка пеналізація Серйозні проблеми з якістю. Суттєво відкидає компанію назад.
1 -3 Критичний провал Абсолютна некомпетентність. Знищує позитивний ефект від 1,5 ідеальних замовлень.

Моделювання сценаріїв: Порівняльний аналіз

Сценарій А: Ілюзія новачка та проблема малих вибірок

  • Компанія з наукового консалтингу «Альфа» (Новачок): Має рівно 2 відгуки, обидва на 5 зірок.
  • Компанія з наукового консалтингу «Бета» (Лідер ринку): Має 115 відгуків. Розподіл: 100 на 5 зірок, 10 на 4, 3 на 3, 2 на 2, 0 на 1.

Таблиця 2. Детальний розрахунок для Сценарію А

Метрика / Параметр Компанія з наукового консалтингу «Альфа» Компанія з наукового консалтингу «Бета»
Загальна кількість відгуків (N) 2 115
Вектор оцінок (c₅, c₄, c₃, c₂, c₁) 2, 0, 0, 0, 0 100, 10, 3, 2, 0
Сума всіх зірок (∑ xᵢ)
2 · 5 = 10
(100 · 5) + (10 · 4) + (3 · 3) + (2 · 2) = 553
Середнє арифметичне (μ) 10 / 2 = 5.0 553 / 115 ≈ 4.81
Бали за 5 зірок (c₅ · 2) 2 · 2 = +4 100 · 2 = +200
Бали за 4 зірки (c₄ · 1) 0 10 · 1 = +10
Бали за 3 зірки (c₃ · -1) 0 3 · (–1) = -3
Бали за 2 зірки (c₂ · -2) 0 2 · (–2) = -4
Бали за 1 зірку (c₁ · -3) 0 0
Підсумковий бал за WSM (Sₜₒₜₐₗ) +4 бали 200 + 10 – 3 – 4 = +203 бали
Позиція при сортуванні за Sₜₒₜₐₗ 2-е місце (Справедливо) 1-е місце (Винагорода за масштаб)

Сценарій Б: Пастка активної посередності

  • Компанія з наукового консалтингу «Гамма» (Потік): Бере багато замовлень, виконує «для галочки». Має 50 відгуків, усі на 3 зірки.
  • Компанія з наукового консалтингу «Дельта» (Бутик): Бере мало замовлень, робить якісно. 15 відгуків, усі на 4 зірки.

Загальна кількість відгуків (N)​

Метрика / Параметр Компанія з наукового консалтингу «Гамма» Компанія з наукового консалтингу «Дельта»
Загальна кількість відгуків (N) 50 15
Середнє арифметичне (μ) 3.0 4.0
Вектор оцінок (c₅, c₄, c₃, c₂, c₁) 0, 0, 50, 0, 0 0, 15, 0, 0, 0
Розрахунок за формулою WSM 50 · (–1) 15 · (+1)
Підсумковий бал за WSM (Sₜₒₜₐₗ) -50 балів (Деградація) +15 балів (Впевнене зростання)
Позиція при сортуванні за Sₜₒₜₐₗ 2-е місце (Справедливо) 1-е місце (Винагорода за масштаб)

Сценарій В: Траєкторія відновлення репутації після збою

Уявімо компанію, яка мала 10 відгуків на 5 зірок. Її бал: 10 · 2 = +20 балів (μ = 5.0).

Компанія зриває замовлення і отримує 1 зірку. Новий бал: 20 + (1 · (–3)) = +17 балів (μ ≈ 4.63).

Щоб повернути докризові показники, одного ідеального замовлення недостатньо (17 + 2 = 19). Компанії доведеться ідеально обслужити двох нових клієнтів. Лише після отримання другого 5-зіркового відгуку бал перевищить докризовий рівень: 19 + 2 = +21 бал. Математична диспропорція гарантує, що негативний досвід потребує вдвічі більше зусиль для нейтралізації.

Вплив алгоритму на систему

  1. Алгоритмічні пороги. Компанії проходять чіткі етапи: 0-50 відгуків (зона доведення авторитету), 75-100 (зона домінування), 150+ (статус лідера, недосяжний для швидких маніпуляцій новачків).
  2. Захист від накруток. Три фіктивні відгуки дадуть зловмиснику лише 6 балів. Щоб наздогнати лідера з 1000 балів, потрібно згенерувати 500 фальшивих відгуків, що легко виявляється антифрод-системами.
  3. Клієнтоорієнтованість. Оскільки оцінка «1» завдає колосальної шкоди (-3 бали), бізнесу економічно вигідно йти на безпрецедентні поступки незадоволеним клієнтам, щоб виправити оцінку хоча б на «3» або «4».

Висновок

Асиметрична зважена адитивна модель успішно вирішує ключову проблему маркетплейсів – нездатність відрізнити випадковий успіх новачка від систематичної переваги лідера ринку. Інтегруючи кількість відгуків безпосередньо в рейтинговий бал, система автоматично винагороджує накопичений соціальний капітал та жорстко карає компанії з наукового консалтингу за посередність та критичні помилки. Це забезпечує максимальну прозорість для бізнесу та об’єктивність для клієнта.