|
Этот модуль разрабатывался с идеей получить более менее универсальный механизм загрузки информации из внешних источников в базу данных. Сейчас он «заточен» на обмен с ГИС ЖКХ, но может послужить и для некоторых других целей. В дальнейшем, скорее всего, он же будет использоваться для загрузки показаний приборов с разных сайтов, реестров платежей… Разработка оказалась долгой и значительно тяжелей, чем предполагалось, сейчас стало понятно, что нужно переделывать некоторые вещи. Поэтому здесь пока обрисую общие принципы работы с ним и некоторые не очевидные нюансы, потом этот текст будет обновляться.
Общие сведения:
- Модуль может обрабатывать данные для трёх типов объектов: дом, лицевой счёт (помещение), индивидуальный прибор учёта.
- Требования к загружаемому файлу:
- файл должен быть одного из поддерживаемых форматов: документы Excel (xls, xlsx), текст с разделителями (txt, csv);
- в нём одна строка должна содержать информацию по одному объекту;
- файл не должен быть зашифрован, в момент загрузки не должен быть открыт в другой программе.
- Для этого модуля не требуется Excel или другие офисные пакеты.
- Для многих элементов интерфейса (полей, переключателей, кнопок) прописаны комментарии, которые отображаются при наведении мышки.
- Все изменения, которые при работе вносятся в файл загрузки (сортировка, фильтр и прочее), проводятся в памяти компьютера, то есть сам файл остаётся неизменным. Поэтому, после того как файл открыт, называем его не «файл», а «загружаемые данные» или «загрузка». Однако можно кликнуть правой кнопкой мышки по любой ячейке, в выпадающем меню выбрать Экспорт и сохранить это в новый файл в том виде, как на экране.
- Этот модуль можно использовать, например, для первичной заливки информации о приборах. То есть, если есть какая-нибудь Excel-ная таблица, в которой вели данные о поверках и тому подобное, её можно здесь загрузить, указав подходящий шаблон настроек и расставив параметры анализа.
Общая схема работы
- Выбираем в списке подходящий шаблон настроек. Что это такое описано чуть ниже.
- Жмём на кнопку Файл и выбираем файл, который нужно обработать. Ниже описаны возможные проблемы, которые могут при этом возникнуть.
- Файл загружается в память. Проводится первичная обработка данных: контроль версий, со скрытых листов (если они есть) снимается флаг скрытости, выбирается основной лист с данными, нумеруются строки для возможности последующей сортировки, в заголовках колонок отображаются номера колонок вместо букв. Справа добавляются несколько колонок, нужных впоследствии.
- Теперь нужно провести очень важную работу, от которой зависит успех всего мероприятия — расставить параметры сопоставления данных. Делается это на вкладке «Параметры для анализа».
Здесь отмечается галками информация, которая имеется в загрузке, и указываются соответствующие номера колонок. Переключатели разбиты на три группы, в соответствии с обрабатываемыми типами объектов. Чем больше будет проставлено галок, тем вероятнее успех и корректность сопоставления. Но, разумеется, эти галочки должны соответствовать действительности. Ниже описаны некоторые моменты, касающиеся интерфейса.
В программе предусмотрены некоторые «стандартные» наборы — шаблоны настроек. При переключении шаблона меняется совокупность включенных колонок и их номера. У шаблонов, касающихся ГИС, выбирается основной лист, количество строк в шапке, производится контроль версий. Если возникает подозрение, что загруженный файл не соответствует выбранному шаблону или (для ГИС-шаблонов) в нём указана иная версия, выводится сообщение. В этом случае надо очень внимательно проверить номера колонок и, при необходимости, поменять их.
- После этого запускаем анализ (сопоставление, связь). При этом программа перебирает указанные строки в загрузке и для каждой из них:
- пытается «понять» о каком типе объекта содержится информация в этой строке: дом, помещение/лицевой, ИПУ.
Если получилось, об этом пишется в дополнительную колонку «объект», если нет — ячейка становится розовой и обработка строки прекращается. ОДПУ программа опознаёт, но не обрабатывает, красит серым;
- пытается найти в базе данных соответствующий объект.
При этом перебираются ячейки в отмеченных колонках — в том порядке, в котором галочки расположены на экране. Например, для помещения: наличие в загрузке нашего номера лицевого счёта имеет наивысший приоритет. Если эта информация есть и лицевой найден, то поиск прекращается, строка считается сопоставленной, красится зелёным. При этом, если в ней есть информация об уникальном номере помещения в ГИС и эта информация отличается от той, что содержится в базе данных для сопоставленного лицевого, то считается, что это изменение данных именно этого лицевого.
Ячейки слева, по которым произошло сопоставление, тоже красятся зелёным;
- при успешном сопоставлении сравнивает содержание ячеек в отмеченных колонках с информацией в базе.
Если в загрузке информация есть, а в базе пусто, то это информация считается новой, шрифт красится зелёным. Если в базе данные тоже есть и они отличаются, то информация считается изменённой, шрифт синий.
- Смотрим на то, что получилось. Для несопоставленных строк пытаемся понять причины. Проверяем конфликтующие строки, то есть когда нескольких строк найден один и тот же объект.
- Если есть новые данные, сохраняем. Если есть изменённые данные и они корректны, ставим галку «приоритет у загружаемых» и сохраняем. Можно сохранить не всё, а, например, только выделенные строки, для этого меняем переключатель слева.
Возможные проблемы при открытии файла
- Файл не открывается. Возможно, он в данный момент открыт в другой программе, проверьте.
- Не открывается файл xlsx, ругается в момент открытия, данные вообще не загружаются. Вероятно, не подключена компонента для импорта xlsx-файлов. Более подробно проблема описана в «Технические требования». Выход из ситуации: открываем файл в Excel, жмём «Сохранить как», снизу меняем тип файла на «Книга Excel 97-2003 (*.xls)», сохраняем, закрываем, а в программе выбираем этот новый файл.
- При открытии программа загружает 500 строк и пишет про нарушение структуры. Эта проблема иногда возникает с файлами, в которых несколько листов и количество строк больше примерно 600-700, причём, именно загруженными из ГИС. Оказалось, что в каких-то случаях ГИС записывает в файл какой-то некорректный параметр, а загружающий модуль, наткнувшись на него, прерывает работу. Вариантов выхода из ситуации два:
- достаточно открыть этот файл в Excel и, ничего не меняя, просто нажать на Сохранить. (проверено в Excel 2007 и 2010);
- программа, если при открытии файла обнаруживает проблему со схожими симптомами, выводит сообщение и предлагает автоматически сконвертировать файл в xls-формат и открыть его заново.
- Если в загруженном файле вместо русских букв видим кракозябры, то это проблема с определением шрифтов. Сверху есть кнопка Шрифт, если на неё нажать, то программа заменит шрифт на текущем листе на русский Arial. При нажатии правой кнопкой мыши шрифт можно будет выбрать самостоятельно.
Нюансы интерфейса
- Если непонятен какой-то параметр, наведите на него мышкой, появится комментарий.
- Если колонок много, можно выбрать «скрыть лишние колонки». При этом останутся только те колонки, которые отмечены в параметрах анализа.
- Ширину колонок можно менять, перетаскивая мышкой разделитель заголовков колонок.
- После анализа можно отсортировать строки в порядке связанных адресов.
- При анализе и сохранении в скобках пишется количество строк.
- Если строк много (больше тысячи-двух), то некоторые процедуры выполняются не быстро. Сортировка, фильтрация, смена шрифта, открытие. При этом может показаться, что программа зависла. Нужно подождать секунд 5–15. Всё зависит от количества данных и компьютера.
- Процедуры анализа, очистки его результатов, сохранения данных проводятся над строками, которые указаны слева. Например, можно переключить на «выделенные», выделить мышкой штук пять и обработать только их.
|
