В этой статье разобрано, откуда берутся дубли, почему они портят сегментацию, как сводить записи по ИНН и по названию, что делать с группами компаний, как нормализовать поля, в каком порядке сливать карточки и какие поля обязательны для сегментации.
Откуда берутся дубли
Причины повторяются от базы к базе.
Импорт из таблицы поверх существующих записей. Заявки с сайта, где человек вводит название компании руками. Интеграция с телефонией, создающая карточку на каждый входящий номер. Работа нескольких менеджеров по одному клиенту без проверки. Перенос из старой CRM. Филиалы, заведённые как отдельные компании.
Отдельный источник это сам русский язык. Одна организация в карточках выглядит как «ООО Ромашка», «Ромашка, ООО», «ООО «Ромашка»», «Ромашка» и «ромашка ооо». Для человека это одна компания, для системы пять разных.
Почему дубли ломают сегментацию
Здесь важно понять механику, иначе чистка кажется косметической задачей.
Давность искажается. Компания купила полгода назад, но сделка записана в карточку номер два, а вы смотрите на карточку номер один, где последняя активность двухлетней давности. Живой клиент попадает в сегмент спящих.
Сумма дробится. Три сделки по 800 000 ₽, разложенные по трём карточкам, выглядят как три мелких клиента вместо одного крупного. В скоринге такая компания получает низкий приоритет.
Вовлечённость размывается. События сотрудников распределены между карточками, и ни одна не набирает порога. Компания, которая на самом деле активно интересуется, остаётся невидимой.
Касания дублируются. Один человек получает одно и то же письмо трижды, и это самый заметный симптом, по которому проблему обычно и обнаруживают.
Отсюда правило порядка работ: дедупликация идёт до расчёта сегментов.
Сведение по ИНН
ИНН это единственное поле, которое однозначно идентифицирует организацию, поэтому работа начинается с него.
Первый шаг. Проверьте формальную корректность. У юридического лица ИНН состоит из десяти цифр, у предпринимателя из двенадцати, последние разряды контрольные. Записи с битым ИНН отправляются в ручную проверку.
Второй шаг. Сгруппируйте карточки по совпадающему ИНН. Это даёт первую и самую надёжную группу дублей.
Третий шаг. Настройте контроль на будущее. В Битрикс24 есть встроенный контроль дубликатов, доступный на коммерческих тарифах, он проверяет совпадение по телефону, почте, ИНН и другим полям. Есть и приложения, которые блокируют создание карточки с уже существующим ИНН. Похожая проверка настраивается и в amoCRM.
Четвёртый шаг. Оцените долю базы без ИНН. Обычно она оказывается больше ожидаемой, и именно с ней придётся возиться дольше всего.
Что делать с записями без ИНН
Автоматическому сопоставлению по названию доверять нельзя, но оно хорошо работает как подсказка.
Нормализуйте название перед сравнением. Уберите организационно-правовую форму, кавычки, лишние пробелы, приведите к одному регистру. После этой операции «ООО «Ромашка»» и «Ромашка ООО» становятся одинаковыми, и часть дублей находится точным совпадением.
Для оставшихся применяйте нечёткое сравнение. Расстояние Левенштейна считает число правок, нужных для превращения одной строки в другую, и хорошо ловит опечатки. Сравнение по триграммам, то есть по трёхсимвольным кускам строки, устойчивее к перестановке слов. Для русского языка обе метрики работают, фонетические алгоритмы требуют адаптации и обычно излишни.
Результат отдавайте человеку. Пары с высокой похожестью попадают в список на подтверждение. Автоматическое слияние по похожести названий рано или поздно склеит две разные компании, и разделить их обратно будет нельзя.
Обогатите по названию, где возможно. Сервисы поиска по реквизитам находят ИНН по названию и региону. После этого запись переходит в надёжную группу.
| Ситуация | Метод | Кто принимает решение |
|---|---|---|
| ИНН совпадает | Точное сопоставление | Автоматически |
| ИНН нет, название совпало после нормализации | Точное сопоставление | Автоматически с выборочной проверкой |
| ИНН нет, названия похожи | Нечёткое сравнение | Человек |
| ИНН нет, совпал только телефон | Проверка вручную | Человек |
Группы компаний
Отдельный вопрос, который в B2B возникает постоянно и в инструкциях по CRM обычно не разбирается.
Один покупатель может быть представлен несколькими юридическими лицами: головная организация, торговый дом, производственная площадка, региональные подразделения. Связь между ними видна в ЕГРЮЛ через учредителей.
Формальное правило простое: объединять стоит там, где принимается решение о покупке. Если закупку ведёт головная организация для всех площадок, это один аккаунт, а юридические лица остаются связанными записями. Если каждая площадка закупает самостоятельно и имеет свой бюджет, это разные аккаунты, даже при общем владельце.
Практическое следствие для отчётности: сведение групп меняет оценку размера рынка и конверсии, потому что раздельный подсчёт юридических лиц завышает число клиентов.
Нормализация полей
Дедупликация решает половину задачи. Вторая половина это приведение полей к единому виду, без чего фильтры работают через раз.
Названия. Единый формат организационно-правовой формы, снятые кавычки, один регистр.
Адреса. Приведение к справочнику адресов. Разнобой в написании города и улицы делает фильтр по региону бесполезным.
Телефоны. Единый формат с кодом страны. Иначе поиск дублей по телефону пропускает половину совпадений.
Почта. Приведение к нижнему регистру, отсечение явно нерабочих адресов вида noreply и test.
Должности. Свободное поле здесь не работает. Должности сводятся к закрытому списку ролей, иначе разложить участников решения по ролям закупочного комитета не получится.
Порядок слияния без потери истории
Последовательность, при которой ничего не пропадает.
Первое. Сделайте полную выгрузку базы до начала работ. Это единственная страховка, и делается она один раз.
Второе. Выберите запись-приёмник. Обычно это карточка с самой длинной историей и наибольшим числом сделок.
Третье. Перенесите в неё недостающие данные из дублей: ИНН, реквизиты, контакты, поля, заполненные только в дубле.
Четвёртое. Перенесите историю. При объединении в Битрикс24 в карточку-приёмник переносятся связанные лиды, сделки, дела и элементы смарт-процессов. Проверьте перенос на нескольких карточках до массовой операции.
Пятое. Удалите дубль после подтверждения переноса.
Шестое. Запишите правило, по которому дубль возник, и закройте источник. Иначе через полгода придётся повторять всю работу.
Какие поля обязательны для сегментации
Минимальный набор, без которого расчёт сегментов теряет смысл.
ИНН как ключ обогащения и сведения. Корректное название с организационно-правовой формой. Регион. Отрасль или код деятельности. Дата и сумма последней сделки. Общая сумма сделок. Дата последнего касания. Ответственный менеджер. Стадия работы.
Дальше набор дополняется обогащёнными полями и собственными событиями.