Веб-ГИС "Фаунистика"

Все вопросы по программе "Фаунистика" Российской сети изучения и охраны пернатых хищников и работе в Веб-ГИС "Фаунистика"

Re: Веб-ГИС "Фаунистика"

Сообщение tester » 19 дек 2013, 06:24

Сейчас утрясаются последние детали расширенного импорта экселя. За основу импорта названия столбцов берём следующие из 3-х основных баз данных (жирным выделены обязательные поля, жирным курсивом - желательные:
1. Фаунистика:
Номер наблюдения, Название точки, Широта, Долгота, Дата, Автор наблюдения, E-mail, Вид, Русское название, Латинское название, Подвид, Модерация, Количество фото, Фотографии, Примечание, Страна, Регион, Район
2. База мониторинга:
Point , Gps_point, Y_coord, X_coord, Data_id, Year, Leader, E-mail, Name_rus, Name_lat, Breeding_a, Nest, Contents, Amount, Location, Place, Hight, Producer, Note, Region
3. База наблюбдений:
id, Name, lat, lon, date, Year, Author, Name_rus, Name_lat, Subspecies, Breeding_a, Nest, Contents, Amount, Location, Place, Hight, Producer, Note, Country, Region
4. База кольцевания:
id, Name, Latitude, Longitude, date, Author, E-mail, Name_rus, Name_lat, Photos, Note, Country , Region

Из полей Breeding_a, Nest, Contents, Amount, Location, Place, Hight, Producer, Note будут браться значения и переносится в поле Примечание в Фаунистике в виде текста в следующем формате: Название столбца – содержимое столбца, разделитель точка с запятой, например: Nest – 1; Contents – Жилое гнездо; Amount – 0; Location – Скала; и т.д.; Это надо для того, чтобы поиск в примечании полноценно мог искать по ключевым словам жилые гнезда, выводки с 2 птенцами и т.п. Таким образом в веб-версии можно будет также делать простейшие выборки и строить графики, как и в настольной ГИС.

Table_obr.xls
Образец таблиц для импорта (лишние поля удалены)
(21.5 КБ) Скачиваний: 298
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Re: Веб-ГИС "Фаунистика"

Сообщение igor » 20 дек 2013, 00:50

Пробежался я по разным базам на основании чего предлагаю следующие варианты названия столбцов в импортируемых таблицах (первое название основное, через знак = дополнительные, жирным шрифтом выделены те которые являются обязательными и должны быть полностью и корректно заполнены, крусивом те, из которых значения будут парситься в поле Примечание):

Номер наблюдения=ID=id=Point - необязательное поле, но если есть, должно иметь валидное название и содержать номера, ячейки не могут быть пустыми

Название точки=Name=Gps_point=GPS=gps - обязательное поле должно иметь валидное название и содержать любые буквы и цифры, ячейки не могут быть пустыми

Широта=Y_coord=Latitude=Lat=N - обязательное поле должно иметь валидное название и содержать десятичные градусы 45.45555 или 45,45555 (разделитель не имеет значения), ячейки не могут быть пустыми

Долгота=X_coord=Longitude=Long=Lon=E - обязательное поле должно иметь валидное название и содержать десятичные градусы 45.45555 или 45,45555 (разделитель не имеет значения), ячейки не могут быть пустыми

Дата=Дата обследования=Data=Data_id=Date - обязательное поле должно иметь валидное название и содержать дату в следующих форматах: 23.07.2012, 23.07.2012 16:22:12, 2012-07-23T04:13:36Z, 23-JUL-12 4:13:36, 23-JUL-12 16:22:12, 23-JUL-12, 2012.07.23-04:13:36, 2012.07.23 16:22:12, 2012.07.23 04:13:36, 2012.07.23-16:22:12, ячейки не могут быть пустыми

E-mail=Author_email=E-mail автора=E-mail наблюдателя - необязательное поле, но если есть, должно иметь валидное название и содержать валидные e-mail, соответствующие таковым зарегистрированных в системе пользователей, ячейки не могут быть пустыми (если таблицу импортирует доверенный пользователь, при наличии поля E-mail с адресами, отличающимися от такового пользователя, эти строки не будут импортироваться в систему, а пользователю будет выдаваться предупреждение, что это не его наблюдения; если таблицу импортирует редактор, при наличии поля E-mail с адресами, совпадающими с адресами пользователей, зарегистрированных в системе, наблюдения будут присваиваться этим пользователям; при отсутствии в ячейках адресов, либо наличии адресов, не соответствующих адресам пользователей, зарегистрированным в системе, наблюдения будут присваиваться редактору, о чём ему будет сообщаться)

Латинское название=Name_lat=Latin_name=Latin - обязательное поле должно иметь валидное название и содержать латинские названия видов, соответствующие таковым в системе

Подвид=Subspecies - необязательное поле, но если есть, должно иметь валидное название, ячейки могут быть пустыми

Фотографии=Фото=Список фотографий=Photos=Photo - необязательное поле, но если есть, должно иметь валидное название; ячейки могут быть пустые, либо содержать валидные ссылки на фотографии в сети интернет, разделенные пробелами, либо содержать названия файлов в формате *.jpg, разделенные пробелами (в этом случае таблица архивируется в zip-архив, файлы jpg должны находится в том же zip-архиве, что и импортируемый файл xlsx)

Примечание=Note - необязательное поле, но если есть, должно иметь валидное название, ячейки могут быть пустыми

Страна=Country - необязательное поле, но если есть, должно иметь валидное название, ячейки могут быть пустыми

Регион=Region - необязательное поле, но если есть, должно иметь валидное название, ячейки могут быть пустыми

Район=District - необязательное поле, но если есть, должно иметь валидное название, ячейки могут быть пустыми

Столбцы для парсинга в примечание из баз данных могут отсутствовать и иметь незаполненные ячейки. Их точный список определим попозже. Однозначно надо вытаскивать специфические столбцы из базы мониторинга и кольцевания, но какие и как это надо обсуждать ещё.
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1335
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Веб-ГИС "Фаунистика"

Сообщение tester » 20 дек 2013, 02:16

alex писал(а):И мне кажется таблицу надо сделать такой же постоянно отображающейся сущностью как карта со всеми пользователями и с отображением в ней наблюдений в зависимости от прав пользователя. А в личном кабинете пусть уже только личные наблюдения отображаются, а в колонке редактора понятно все. Как смотрите на это?

Одна проблема с этим имеется. У нас гости и недоверенные пользователи не видят координат точек и имеют ограничение на зум, а в таблице столбцы с координатами открыты и чтобы скрыть их именно в той таблице, которая выводится на карту, надо кодить. Боюсь, что программисту, который ведет работу с таблицей, ломать таблицу и бить ее на две сущности - та что выводится к карте и та что в личном кабинете, не понравиться. Можно у него спросить будет. Но я бы не стал с этим париться ради того, чтобы гости просто видели все то же самое что и на карте еще и в таблице. Поэтому видимо желанием гостей и недоверенных пользователей сейчас придется пренебречь. Пока логично сделать так, чтобы таблица в закладках вместе с картой появлялась только для зарегистрированных, причем недоверенный в ней видел бы только свои наблюдения, доверенный свои и чужие открытые, редактор - все.
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Re: Веб-ГИС "Фаунистика"

Сообщение igor » 20 дек 2013, 02:31

tester писал(а):Пока логично сделать так, чтобы таблица в закладках вместе с картой появлялась только для зарегистрированных, причем недоверенный в ней видел бы только свои наблюдения, доверенный свои и чужие открытые, редактор - все.

С Данилом и Женей поговорили, решили именно на этом варианте остановиться.

Обратите внимание, что теперь в таблице появилось 2 столбца в которых отображается число скрытых (закрытый замок на иконке) и открытых фотографий (открытый замок на иконке).
tabl1_photo.jpg
Столбец с открытыми для пользователей фотками - значение 0 значит то, что наблюдение скрыто или не имеет фоток
tabl1_photo.jpg (83.79 КБ) Просмотров: 3425


tabl2_photo.jpg
Столбец с закрытыми для пользователей фотками
tabl2_photo.jpg (83.47 КБ) Просмотров: 3425


Иконки соответствуют тем, что в диалоге на кнопках скрыть фото и показать фото - при наведении курсора на иконку вылазит подсказка.

Эти столбцы помогут не выводить лишние поля со статусом наблюдений, типа открытое, скрытое, без фото. Пользователь может сортировать по убыванию и возрастанию эти столбцы и искать наблюдения с нужным статусом: которые имеют 0 фото в обоих колонках - это наблюдения без фотографий вообще, если в открытых фото фоток 0, а в скрытых есть - это скрытое наблюдение, если наоборот - открытое, если есть значения больше нуля в обоих колонках, значит наблюдение открытое, но часть фото в нём скрыты.
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1335
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Веб-ГИС "Фаунистика"

Сообщение tester » 20 дек 2013, 02:46

igor писал(а):Широта=Y_coord=Latitude=Lat=N - обязательное поле должно иметь валидное название и содержать десятичные градусы 45.45555 или 45,45555 (разделитель не имеет значения), ячейки не могут быть пустыми; Долгота=X_coord=Longitude=Long=Lon=E - обязательное поле должно иметь валидное название и содержать десятичные градусы 45.45555 или 45,45555 (разделитель не имеет значения), ячейки не могут быть пустыми

Для координат стоит добавить просто X и Y, так как в ряде арквьюшных скриптов сталкивался с этим, а также X_proj и Y_proj, так как это выдает DNRGarmin.

Для поля Name также предлагаю название Ident - это тоже из DNRGarmin, а для поля Дата Comment и Cmt - ноды из Garminовского GPXа, которые часто парсятся в шейпы с такими же названиями.
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Re: Веб-ГИС "Фаунистика"

Сообщение igor » 20 дек 2013, 23:12

tester писал(а):Для координат стоит добавить просто X и Y, так как в ряде арквьюшных скриптов сталкивался с этим, а также X_proj и Y_proj, так как это выдает DNRGarmin. Для поля Name также предлагаю название Ident - это тоже из DNRGarmin, а для поля Дата Comment и Cmt - ноды из Garminовского GPXа, которые часто парсятся в шейпы с такими же названиями.

Принято.

Существенно улучшен парсинг дат из GPXов и экселя при импорте.
В старых GARMINах дата записывается в поле Comment и при импорте в ГИС через различные модули, например в ArcView через DNRGarmin, не отделяется от текста комментария, который пользователь может внести в это поле. Очень часто народ прямо в поле в навигаторе пишет характеристику точки, например в таком виде: <comment>23-JUL-12 10:22:06 OLDNEST ACL</comment> в таком же виде она потом экспортируется в GPX: <cmt>23-JUL-12 10:22:06 OLDNEST ACL</cmt> и тащится в поле "Дата" в эксель. Раньше с парсингом дат в таком формате были проблемы и пользователю приходилось ручками чистить все эти хвосты из букв после даты и времени, чтобы дата определялась корректно. Теперь на это можно забить - система сама понимает, что много "букфф" после даты и времени это мусор и игнорирует его.

Есть также небольшое нововведение в импорте экселя - чек бокс напротив которого написано "Импортировать фотографии из xlsx", что означает что при проставленной галочке в этом чекбоксе система будет анализировать столбец Фотографии на валидность названия и наличие валидных ссылок в нём. Галочка стоит по умолчанию. Если требуется исключить поле "Фотографии" из импорта и создавать наблюдения без фотографий, требуется галочку снять, тогда можно грузить эксель без столбца "Фотографии".
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1335
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Веб-ГИС "Фаунистика"

Сообщение igor » 21 дек 2013, 02:26

tester писал(а):Пока логично сделать так, чтобы таблица в закладках вместе с картой появлялась только для зарегистрированных, причем недоверенный в ней видел бы только свои наблюдения, доверенный свои и чужие открытые, редактор - все.

С Данилом обсудили. Именно так и сделаем. Таблица будет неким бонусом зарегистрированным пользователям.
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1335
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Веб-ГИС "Фаунистика"

Сообщение alex » 21 дек 2013, 02:40

Друзья, а как работает экспорт отчета в ворде? Я на тестовой ткнулся и увидел что он также как и экспорт csv начинает шуршать по позиции ВСЕ. Кто-нибудь пытался выводить отчет по всем данным из фаунистики? По моему глубокому убеждению должен наступить полный аут. А что будет когда в системе накопится 10 000 или 100 000 наблюдений и одновременно в системе будет сидеть пара сотен юзеров? Мне кажется надо вывод в ворд для доверенных юзеров ограничивать сотней наблюдений. Хотят вывести больше - пусть фильтруют лучше. Прерогатива вывода в ворд всего для редакторов понятна, но грузить все в браузер не разумно. Надо делать какой-то программерский ход, растягивая удовольствие во времени, а не вешать систему на клиенте да и на сервере тоже. По моему глубокому разумению если выводится в ворд больше сотни наблюдений, доверенному юзеру должно вываливаться уведомлялово о том, что он имеет право вывести лишь 100 наблюдений, а если хочет больше, то пусть лучше фильтрует или связывается с редактором; а редактору соответственно уведомлялово, что он пытается вывести в отчет более 100 наблюдений, поэтому чтобы не грузить браузер, а заодно и сервер, пусть заглянет через часок в почту и пройдет по присланной ссылке - ссылка будет доступна для скачивания в течение 3-х дней. Хотелось бы на сей счет услышать мнение программистов. Может я что-то не догоняю.
Аватара пользователя
alex
 
Сообщения: 133
Зарегистрирован: 15 ноя 2013, 15:45

Re: Веб-ГИС "Фаунистика"

Сообщение igor » 21 дек 2013, 02:47

alex писал(а):Кто-нибудь пытался выводить отчет по всем данным из фаунистики? По моему глубокому убеждению должен наступить полный аут. А что будет когда в системе накопится 10 000 или 100 000 наблюдений и одновременно в системе будет сидеть пара сотен юзеров?

Я пытался вывести только свои наблюдения по Алтайскому краю - из 4-х попыток одна увенчалась успехом и больше я не напрягал систему. Но тогда гуглхром у меня на час ушёл в астрал. В принципе вариант хороший сделать так, чтобы построение отчёта не грузило ни браузер на машине пользователя не сервер, ни канал в момент после запроса отчёта, а генерировался отчёт и клался на сервер, а пользователю приходила по почте ссылка. Но насколько это реально и сложно это конечно вопрос в первую очередь к Данилу. Я думаю что даже при том объёме данных, который сейчас в системе, уже вывести отчёт в ворд по всем данным не реально, либо браузер либо сервер зависнут или выдадут ошибку.

Короче после НГ будет работа с отчетами вестись - там много всякой возни с ними. И к этому вопросу надо будет вернутся. Сейчас же они отрублены практически полностью для всех, кроме редакторов, только фотоотчёт работает и то только по открытым наблюдениям для всех, включая редакторов.
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1335
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Веб-ГИС "Фаунистика"

Сообщение alex » 21 дек 2013, 03:03

igor писал(а):Короче после НГ будет работа с отчетами вестись - там много всякой возни с ними. И к этому вопросу надо будет вернутся.

Возвращаться будете еще про эти говнокартинки от гугле подумайте - надо хотя бы их масштаб уменьшить, чтобы не совсем на голом месте точки смотрелись. Либо вообще их из ОСМ грузить. Не обязательно же для этого ОСМ в виде подложки иметь.
Аватара пользователя
alex
 
Сообщения: 133
Зарегистрирован: 15 ноя 2013, 15:45

Пред.След.

Вернуться в Фаунистика

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron