Как найти данные на сайтах судов. Пошаговая инструкция по работе с парсером «Если быть точным»

Дисклеймер: Парсер ищет информацию о судебных делах только по открытым данным, размещенным на сайтах судов. Деятельность по предоставлению доступа к судебным решениям осуществляется, исходя из основных принципов обеспечения доступа к информации о деятельности судов, установленных статьей 4 Федерального закона от 22.12.2008 N 262-ФЗ «Об обеспечении доступа к информации о деятельности судов в Российской Федерации».

Зачем собирать судебные данные

Сбор судебных данных помогает исследователям понять, как работает российская судебная система. Например, мы рассказывали о том, как гендер подсудимых влияет на решение судей — женщины, как правило, получают более мягкие наказания. Благодаря анализу судебных решений, которые парсер тоже собирает, можно предположить, что это связано с причинами преступлений.  Дело в том, что в четырех из пяти случаев женщины, совершившие убийство, защищаются от домашнего насилия.

В некоторых случаях судебные данные могут стать альтернативой недоступной статистике. Так, в начале 2023 года Генпрокуратура перестала обновлять портал правовой статистики, где выкладывались подробные данные о преступности в российских регионах. Теперь косвенно оценить, что происходит с преступностью в России, можно с помощью судебных данных, в том числе тех, кто собирает парсер.

При подготовке к судебным слушаниям стороны, как правило,  изучают судебную практику (вынесенные решения и аргументацию судей) по похожим делам. Хотя чаще всего юристы пользуются специальными коммерческими сервисами, парсер «Если быть точным» тоже позволяет сформировать подборку дел с нужными параметрами.

Какие суды есть в России

Судебная система России состоит из двух уровней: мировые судьи и федеральные суды.

Мировые суды рассматривают среди прочего некоторые уголовные дела небольшой тяжести (с максимальным наказанием до трех лет лишения свободы), протоколы по административным правонарушениям (например, нарушение правил дорожного движения), отдельные дела о разводах и прочие небольшие кейсы.

Федеральные суды работают с более серьезными делами. В их структуру входят районные и городские суды, которые рассматривают поступающие дела (их еще называют делами в первой инстанции) и жалобы (апелляции) на решения мировых судов. Как правило, в каждом районе России есть свой суд, но иногда один суд обслуживает несколько районов и называется межрайонным. В России примерно 2,1 тысячи городских, районных и межрайонных судов.

Также к федеральным судам относятся областные, краевые суды и верховные суды республик — таких судов  в России около 90. Эти суды по первой инстанции рассматривают дела по статьям, связанным, например, с государственной тайной или убийствами с отягчающими обстоятельствами, а также жалобы на решения районных и городских судов.

Текущая версия парсера собирает информацию по делам первой и апелляционной инстанций, рассмотренных в районных, гарнизонных, областных, окружных, а также апелляционных и кассационных судах. Доступны пять типов судебного производства: уголовное, административное, гражданское, об административных правонарушениях и производство по материалам.

Разные части одной уголовной статьи могут быть подсудны разным судам — это зависит от правил подсудности, закрепленных в Уголовно-процессуальном кодексе. Например, простое убийство без отягчающих обстоятельств (ч. 1 ст. 105 УК РФ) в первой инстанции будет рассматривать районный (городской, гарнизонный) суд. Если же в деле есть отягчающие обстоятельства (например группа лиц или убийство малолетнего), то дело уже отправится в суд региона (ч. 2 ст. 105 УК РФ). В 2023 году соотношение дел об убийстве, рассмотренных в районных и областных судах, составило 90 и 10% соответственно (7461 и 799 дел). А, например, по делам о разводах с детьми только 3% дел были рассмотрены в районных судах.

Нужно учитывать, что при использовании парсера для сбора данных по конкретной статье дела, рассмотренные мировыми судами, не попадают в выгрузку.

Еще есть апелляционные (их пять) и кассационные суды (их девять) общей юрисдикции. Первые рассматривают жалобы на решения областных судов. Вторые проверяют законность решений и приговоров всех нижестоящих судов (включая мировые), которые уже вступили в силу. Также апелляционные и кассационные суды рассматривают дела по новым и вновь открывшимся обстоятельствам. Своя система апелляционного и кассационного обжалования существует и у арбитражных судов.

Высшими судами в РФ являются Верховный и Конституционный суды.  Верховный суд рассматривает некоторые дела в первой инстанции и дела по новым и вновь открывшимся обстоятельствам. ВС является вышестоящей инстанцией для судов общей юрисдикции. Также он занимается обобщением практики — например, постановления Пленума ВС РФ и обзоры Президиума ВС являются обязательными для всех судов России.

Конституционный суд не является судом общей юрисдикции и не занимается обжалованием либо разрешением конкретных дел — в его компетенцию входит проверка законов на соответствие Конституции по запросу от граждан, госорганов и других судов. И если акт, на основании которого в конкретном деле было вынесено решение, был признан неконституционным, у сторон есть право пересмотра дела в судах общей юрисдикции. Определения и постановления КС обязательны к исполнению и обжалованию не подлежат.

В судебной системе также функционируют специализированные суды, такие как арбитражные, которые рассматривают экономические споры, и военные, которые рассматривают дела в отношении военнослужащих.

Какая информация о судебных делах доступна

На сайтах районных и областных судов информация по каждому делу публикуется в формате специальных карточек.

Обычно в них есть несколько вкладок:

• «Дело»: основная информация, включая номер дела, даты поступления и рассмотрения, ФИО судьи, краткий результат рассмотрения дела. 

• «Движение дела»: этапы и даты рассмотрения дела от поступления в суд до вынесения решения.

• «Лица»: ФИО участников судебного дела, в первую очередь — обвиняемого, а также адвокатов, прокуроров и др.

• «Судебные акты»: текст решения, вынесенного судом.

Суды не всегда заполняют все поля карточки дела. Например, тексты судебных решений по статье 105 «Убийство» уголовного кодекса публикуются примерно в 60% случаев.

Парсер «Если быть точным» находит карточки судебных дел по заданным критериям и выгружает информацию в удобный для работы формат плоской таблицы. Название суда, даты поступления дела и его рассмотрения, идентификатор дела, ФИО судьи и обвиняемого, состав преступления и текст судебного решения, если он был опубликован, — все эти данные доступны по результатам парсинга.

Какие данные собирает парсер

Суды часто меняют свои сайты: например, переходят на другие шаблоны карточек судебных дел или добавляют капчу. За лето, по расчетам «Если быть точным», больше 800 районных судов внесли такие изменения. Мы учли их в последней версии парсера и проверили полноту массива уголовных дел и дел об административных правонарушениях, которые можно выгрузить с его помощью.

Парсер собирает 82% уголовных дел, рассмотренных в первой инстанции районными, областными и гарнизонными судами в 2012-2014 годах, и 85-95% дел, рассмотренных в 2015-2023 годах. Разрыв может объясняться тем, что на сайтах судов регулярно отключается поиск по делам.

В случае с делами об административных правонарушениях соотношение  составляет 70-80%. В первую очередь разрыв объясняется тем, что статистика в сводной форме ведется по числу лиц, а не числу дел.

Что нужно для работы парсера

Парсер использует драйвер FireFox, поэтому у вас на устройстве должен быть установлен браузер Mozilla Firefox — скачайте его отсюда. 

Если при запуске парсера вы увидите сообщения об ошибках, связанных с WebDriver, попробуйте:

• Скачать драйвер для вашей операционной системы.

• Заменить драйвер (файл geckodriver.exe) в папке ./src/main/resources/<имя вашей операционной системы>/. Удалите старый файл geckodriver.exe и разместите в папке вместо него новый.

Как скачать парсер

Последняя версия парсера доступна в отдельном репозитории Github «Если быть точным». Чтобы скачать парсер,  перейдите на страницу с релизами, найдите последнюю версию (на момент публикации этой инструкции это sudrfscraper-v0.3.0.2) и скачайте архив, название которого соответствует вашей операционной системе (linux, macOs или Windows).

Сохранять архив можно в любую папку, которая вам удобна. После того, как он скачается, разархивируйте файлы с парсером. Если у вас Windows, то парсер можно запустить, дважды кликнув на файл run.bat.

Если у вас Linux или MacOS, то не обойтись без работы с командной строкой. В ней нужно ввести полный путь до файла run.sh (/path/to/run.sh) и нажать Enter.

Кроме браузера Firefox Mozilla при запуске парсера открывается черное окно терминала — не закрывайте его, оно должно быть открыто, пока идет сбор данных.

Как пользоваться парсером

Шаг 1. Выбираем язык интерфейса

Если парсер был запущен без ошибок, то у вас откроется браузер Firefox Mozilla с интерактивным интерфейсом. На этой странице в левом верхнем углу вы можете выбрать язык интерфейса (русский или английский), прочитать краткое описание возможностей парсера и перейти к формированию запроса, нажав кнопку «Продолжить» (Continue).

Шаг 2. Придумываем имя проекта и выбираем его директорию

Первым делом нужно придумать название для проекта и выбрать папку для сохранения результатов сбора данных.

Папка со всеми собранными данными и сами файлы с данными будут называться по имени проекта. По умолчанию она располагается в папке ./results/ директории с файлами парсера.

Также вы можете указать название уже существующего проекта и продолжить сбор данных. Это может пригодиться, когда судебных дел много и вы не успели собрать их за один раз. Сайты судов периодически перестают работать — в таком случае имеет смысл вернуться к ним через несколько дней, чтобы собрать недостающие судебные дела.

Чтобы возобновить сбор данных, поставьте галочку в окошке «Продолжить предыдущий сбор данных» и нажмите кнопку «Загрузить предыдущий запрос». Убедитесь, что имя проекта и его директория (полный путь до файла) совпадают с теми, которые вы использовали ранее, иначе отобразится информация из последней завершенной сессии. 

Если вы собираете данные в первый раз, то галочку ставить не нужно, переходите к следующему шагу.

Шаг 3. Выбираем формат выгрузки

Текущая версия парсера может сохранить информацию о судебных делах в двух форматах:

• База данных MySQL.

• Текстовый файл JSON/CSV.

Если вы выбираете формат JSON/CSV, то в плоскую таблицу формата .*csv сохранится вся основная информация по каждому делу: его номер, даты поступления и рассмотрения, ФИО судьи, результат,  а в *.json — дополнительная: этапы и даты рассмотрения дела, а также стороны, участвующие в процессе.

Шаг 4. Выбираем уровень суда, регионы и инстанцию

Парсер позволяет настроить  поиск по конкретному уровню суда:

• «Районный»: районные, городские и межрайонные суды. 

• «Региональный»: областные суды и верховные суды республик.

• «Гарнизонный»: для отдельного поиска по военным судам.

• «Мосгорсуд»: для отдельного поиска по районным судам Москвы, которые публикуют данные на специальном сайте.

Можно искать дела по всем судам сразу (значение «Все» выбрано по умолчанию). Также вы можете выбрать конкретные регионы и инстанцию («Первая», «Апелляционная» и «Кассация»).

Поиск по делам в кассационной инстанции осуществляется по девяти кассационным судам сразу и не зависит от выбора конкретных регионов.

Шаг 5. Определяемся с форматом поиска

Выберите  формат поиска:

• «Мягкий»: собирает все дела, в которых встречается заданный номер статьи. Например, если в запросе указана статья 20.3 КоАП, парсер также соберет дела по статье 20.3.3.

• «Строгий»: собирает дела только по заданной статье.

Шаг 6. Указываем даты

Поиск дел можно ограничить:

• Датами рассмотрения дела (с, по) — это начало и конец периода, в течение которого дело рассматривали. 

• Датами поступления дела в суд (с, по).

Обратите внимание, что если вы указываете  даты рассмотрения дела (например, с 01.01.2022 по 31.12.2023), то дела, которые поступили в суд в этот период, но еще не завершились, не войдут в выгрузку. Чтобы этого избежать, просто не заполняйте поля с датами. Для поиска всех дел по конкретной статье лучше не указывать даты. Выгрузите весь массив данных, а нужные потом отберите в Excel или с помощью языков программирования.

Шаг 7. Ищем по тексту документа

В поле «Поиск по тексту документа» можно указать ключевое слово, чтобы найти судебные дела, в решениях которых оно встречается. Но этот формат поиска работает довольно плохо из-за ограниченного функционала сайтов судов. Рекомендуем оставлять это поле пустым. Чтобы найти судебные дела по конкретной статье с нужным ключевым словом в тексте решения, сначала лучше скачать все дела по этой статье, а потом отобрать нужные в Excel или с помощью языков программирования.

Шаг 8. Выбираем тип судебного производства и статью

В парсере есть поиск по пяти типам судебного производства:

• «Уголовное»: дела по статьям Уголовного кодекса.

• «Административное»: дела о спорах между гражданами, организациями и органами власти. 

• «Об административных правонарушениях» — дела по статьям Кодекса об административных правонарушениях.

• «Производства по материалам»: дела по процессуальным решениям, которые выносит суд.

• «Гражданское»: дела по статьям Гражданского кодекса.

В зависимости от выбранного типа судебного производства вам нужно будет указать конкретную статью для поиска. При работе с уголовными статьями важно различать подстатью и часть статьи. Например, в уголовном кодексе есть статья 286.1 «Неисполнение сотрудником органов внутренних дел приказа». В данном случае «Статья» — 286, «Подстатья» — 1. А если необходимо осуществить поиск по части 4 статьи 286 «Превышение должностных полномочий», то 4 нужно указать в поле «Часть», а не в поле «Подстатья».

Для гражданского и административного типов производств статью указывать не нужно. Вместо этого выберите категорию дела из специального справочника (доступен прямо в интерфейсе парсера), который используют суды. Учтите, что для судов Москвы есть отдельный справочник, поэтому выбрать категории нужно дважды.

Шаг 9. Ждем сбора данных

После того как все параметры поиска заданы, можно переходить к сбору данных. Нажмите кнопку «Продолжить». Откроется новое окно, в котором можно будет отслеживать прогресс — количество пройденных парсером сайтов судов и количество найденных дел.

В блоке «Показать логи» выводится техническая информация о процессе сбора данных, включая сообщения о недоступных сайтах судов и отсутствующих разделах в карточках дел. Следить за этими сообщениями не обязательно. После завершения сбора данных вся информация сохранится в отдельном файле.

Многие суды используют капчу, чтобы затруднить поиск и сбор данных. Если на сайте суда есть капча, она появится в окошке «Капча появится здесь».  Введите символы с картинки и нажмите кнопку «Отправить». Мы постарались минимизировать количество вводов капчи — как правило, для судов из одного региона ее достаточно ввести один раз.

Шаг 10. Работаем с собранными данными

После завершения первого обхода сайтов судов парсер попробует собрать те данные, которые не удалось обработать в первый раз. После второй итерации сбора данных появится сообщение, что сбор данных завершен. Вы можете нажать кнопку «Завершить» и перейти в директорию проекта, которую указали на втором шаге. Эта же директория будет в сообщении о завершении сбора данных.

В директории доступно несколько файлов, названия которых начинаются одинаково — с имени проекта:

• <имя проекта>.csv — файл с собранными данными в формате плоской таблицы. Одна строка — одно дело. Можно открыть в Excel.

• <имя проекта>.json — файл со всеми собранными данными, включая этапы рассмотрения дела и стороны. Они хранятся в структурированном текстовом формате .*json, их можно открыть в любом текстовом редакторе или обработать с помощью языков программирования.

• <имя проекта>_logs.log — технический файл, в котором хранятся все информационные сообщения, которые выводились в процессе сбора данных. Можно открыть в любом текстовом редакторе.

• <имя проекта>_meta.json — файл, в котором указано количество найденных дел и статьи, по которым вы искали дела.

• <имя проекта>_result_config.json — технический файл с описанием результатов запроса к сайту каждого из судов.

• <имя проекта>summary.txt — важный файл с информацией о судах, которые не удалось обработать в процессе сбора данных. Здесь собран список судов, обращение к сайтам которых закончилось ошибкой или интерфейс которых изменился. Напомним, что на втором шаге объясняется, как запустить повторный сбор данных по сайтам судов, которые не удалось обработать в первый раз.

• request_details.json — технический файл, в котором хранятся параметры вашего запроса.

Как посмотреть собранные данные

Посмотреть на собранные дела в формате *.csv можно с помощью Excel. Для этого откройте вкладку «Данные», выберите «Получить данные» → «Из файла» → «Из текстового/CSV файла».

Затем найдите файл с собранными судебными данными и нажмите «Загрузить».

Файл со всеми собранными данными в формате *.json хранит информацию в специальном структурированном виде. С ней удобно работать с помощью языков программирования, однако посмотреть на данные можно и через текстовый редактор, например, Sublime Text. Если массив собранных дел не очень большой, то можно воспользоваться онлайн средствами, например, JSON Editor Online.

Что делать, если парсер не работает

Корректность работы парсера зависит от особенностей вашей операционной системы. В этом разделе мы собрали некоторые часто встречающиеся вопросы и проблемы.

На Linux или MacOS после ввода в терминале пути до исполняемого файла ничего не происходит.

Убедитесь, что у вас установлен браузер Mozilla Firefox. Если установлен, то попробуйте в адресной строке указать localhost:8080 — должен открыться интерфейс приложения.

На MacOS появляется ошибка «Приложение java нельзя  открыть, так как не удалось проверить разработчика».

В настройках в разделе «Защита и безопасность» — «Основные» в блоке «Разрешить использование программ, загруженных из:» выберите опцию «App Store и от установленных разработчиков».

Повторяю сбор данных несколько раз, но некоторые суды все равно не удается обработать.

Суды регулярно меняют интерфейсы своих сайтов и добавляют капчу. Мы стараемся учитывать такие изменения в новых версиях парсера, но не всегда успеваем. Рекомендуем проверить, что вы используете последнюю версию парсера из раздела «Releases». Если проблема сохраняется,  напишите нам, пожалуйста, и мы попробуем ее решить в очередной версии парсера.

Если у вас остались вопросы или есть предложения по  доработке парсера, напишите нам, мы постараемся помочь.