Интеграция с другими базами данными и сайтами

Все вопросы по программе "Фаунистика" Российской сети изучения и охраны пернатых хищников и работе в Веб-ГИС "Фаунистика"

Интеграция с другими базами данными и сайтами

Сообщение esasha » 13 дек 2013, 19:32

Вот тут Алексей Эбель начал дискуссию по объединению знаний http://altay-birder.livejournal.com/262693.html
Аватара пользователя
esasha
 
Сообщения: 92
Зарегистрирован: 30 ноя 2013, 20:53

Re: Интеграция с другими базами данными и сайтами

Сообщение tester » 14 дек 2013, 01:08

Здесь и здесь уже обсуждался подобный вопрос - мост между фаунистикой и фотосайтом через скрипт импорта/экспотра xml.
Это вариант при котором нужна работа программистов на обоих ресурсах. В фаунистике Игорь уже писал здесь решен вопрос с экспотром xml, но не решен вопрос с импортом xml. Но мне кажется он погорячился, также как и я погорячился, оценив кодинг в 10 штук. С экспортом возникает много всяких программерских задач на тему исключения из экспорта скрытых данных и синхронизации экспортированных данных в разных системах. Возникает масса вопросов на тему того, как система будет идентифицировать и обновлять редактируемые данные, при изменении их в системе из которой экспортируется и в системе в которую импортируется? Я уж молчу про комментарии, которые связаны с конкретными фотографиями. Поэтому я бы сейчас не рассматривал всерьёз этот вариант как уже реализованный.

Если браться за работу над аля мостом, то это должна быть хорошо оплачиваемая работа программистов по написанию кода нормального плагина типа универсального моста, желательно под распространенные движки (джумлу, вордпресс, 1C и прочие наиболее распространенные). С дружественными сайтами владельцы которых найдут деньги или сами напишут со своей стороны код импорта/экспорта это можно обсудждать в частном порядке, но в идеале хотелось бы сделать что-то более интересное для широкого круга.

С другой стороны можно не изобретать очередной веломобиль, а пойти по самому простому пути - пусть любители птиц сами решают проблему загрузки данных в разные системы, надо лишь облегчить им эту задачу. Фаунистика в этом направлении развивается. В системе реализован экспорт csv доверенными пользователями (с некоторых пор недоступен, но это временно!) и импорт xls доверенными пользователями (тоже временно недоступен). Т.е. любой любитель птичек нажатием одной кнопки может вывести из системы свои наблюдения, так и внести их туда используя эксель. Если владельцы других систем договариваются на том, что они выводят и принимают csv или xls, то проблема для любителей птиц снимается полностью.

Я посмотрел системы, над которыми простебался Алекс в своем посте, - все они имеют гораздо более избыточный свод данных, чем фаунистика. Поэтому если их владельцы разрешат пользователям экспортировать свои данные из них в csv или xls, то пользователи их смогут элементарно заливать в фаунистику. Фаунистика обязательно требует координаты, вид, дату и фото, либо ссылки на фото. Следовательно если будет фото и вид будет совпадать с видом из базы фаунистики, то пользователю не составит труда залить туда наблюдения. В другую сторону всё опять же зависит от доброй воли владельцев систем - разрешат ли они пользователям импорт csv или xls.
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Re: Интеграция с другими базами данными и сайтами

Сообщение igor » 14 дек 2013, 01:56

tester писал(а):Фаунистика обязательно требует координаты, вид, дату и фото, либо ссылки на фото. Следовательно если будет фото и вид будет совпадать с видом из базы фаунистики, то пользователю не составит труда залить туда наблюдения

Уже решили, что от доверенных пользователей не будем требовать обязательного наличия фото в наблюдении. Неужели ты не в курсе до сих пор? См сюда>>>

Госзаказчики не хотят этих ограничений. Я изначально думал оставить эти ограничения на фаунистике, но народ практически единодушно сказал что им тоже надо вносить данные без фото. Ну нашим легче, значит одним головняком на тему разного кода в разных разделах меньше.

Остаётся одна проблема - как отсортировывать наблюдения с фотографиями, от таковых без фотографий. Надо это для того, чтобы всякие кречеты и зимняки на гнездовании в Чуйской степи не вылезали, как в eBirde. Т.е. на редакторов ляжет нагрузка нереальные факты встреч без фотографий переводить в вид неопределён и как-то это комментировать. Ну не будут же они рыться во всей закладке скрытых наблюдений? Подумай на досуге как это реализовать не создавая новых статусов наблюдений? У тебя же есть скайп Данила?
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1278
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Интеграция с другими базами данными и сайтами

Сообщение tester » 14 дек 2013, 02:11

igor писал(а):Неужели ты не в курсе до сих пор?

Ты бы ещё в Юмор это запостил. Ну сейчас буду в курсе.
igor писал(а):У тебя же есть скайп Данила?

Есть
igor писал(а):Подумай на досуге как это реализовать не создавая новых статусов наблюдений?

Подумаю. Хотя уже есть некие мысли на сей счет. Система будет подгружать стандартный jpg с определенным названием или описанием, по которому наблюдение будет идентифицироваться как без фото и складываться в закладку Наблюдения без фото. Покатит?
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Re: Интеграция с другими базами данными и сайтами

Сообщение igor » 14 дек 2013, 18:35

tester писал(а):Система будет подгружать стандартный jpg с определенным названием или описанием, по которому наблюдение будет идентифицироваться как без фото и складываться в закладку Наблюдения без фото. Покатит?

Всё решили проще по идее программера со стороны одного из заказчиков - в таблицу наблюдений выведем столбец с количеством фотографий. По значению 0 будут фильтроваться наблюдения без фоток.
Кстати функция создания наблюдений без фото запущена. Прошу потестировать.
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1278
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Интеграция с другими базами данными и сайтами

Сообщение iiukolov » 14 дек 2013, 20:12

Я на стороне 1С планирую сделать веб-сервис, через интерфейс которого можно будет передавать в него входящую информацию о наблюдениях. Этот веб-сервис будет использоваться, например, для загрузки со смартфонов, планшетов и со стационарных компов. Собственно это будет универсальный интерфейс для всех желающих делать выгрузку в него.

Исходящий интерфейс в принципе могу сделать в любом формате, например выгрузить в xml, csv, txt, dbf. Но лучше, если это тоже будет веб-сервис - пользователям удобнее работать напрямую, без промежуточных выгрузок/загрузок.
Аватара пользователя
iiukolov
 
Сообщения: 7
Зарегистрирован: 21 ноя 2013, 12:18

Re: Интеграция с другими базами данными и сайтами

Сообщение tester » 14 дек 2013, 21:40

Мне кажется надо делать и на вход и на выход xml и csv. Они не заменяют друг друга, а используются во многих системах обычно поотдельности.
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Re: Интеграция с другими базами данными и сайтами

Сообщение tester » 15 дек 2013, 02:38

iiukolov писал(а):Я на стороне 1С планирую сделать веб-сервис, через интерфейс которого можно будет передавать в него входящую информацию о наблюдениях

Раз у Вас это только в планах, то можно сейчас уже предусмотреть структуру нашего xml, который будет интегрироваться в Вашу систему.
Со стороны фаунистики написан скрипт, который отдает информацию об открытых наблюдениях в следующем виде -
Код: Выделить всё
-<point lng="83.085040" lat="55.057380" name="Название точки">
-<observation name="Имя автора" latin="Milvus migrans" en="Black Kite" ru="Коршун черный" email="mail@mail.ru" patronymic="Отчество" surname="Фамилия" comment="45 особей в воздухе и ещё сколько-то на деревьях" subspecies="lineatus" observ_date="2012-05-08">
<photo origin="http://wildlifemonitoring.ru/sgpa/get_photo.php?species_type_id=test&id=24" thumb="http://wildlifemonitoring.ru/get_thumb.php?species_type_id=test&id=24" description="Коршуны"/>
<photo origin="http://wildlifemonitoring.ru/sgpa/get_photo.php?species_type_id=test&id=25" thumb="http://wildlifemonitoring.ru/get_thumb.php?species_type_id=test&id=25" description="Коршуны"/>
<photo origin="http://wildlifemonitoring.ru/sgpa/get_photo.php?species_type_id=test&id=26" thumb="http://wildlifemonitoring.ru/get_thumb.php?species_type_id=test&id=26" description="Коршуны"/>
<photo origin="http://wildlifemonitoring.ru/sgpa/get_photo.php?species_type_id=test&id=27" thumb="http://wildlifemonitoring.ru/get_thumb.php?species_type_id=test&id=27" description="Коршуны"/>
</observation>
</point>

test_xml-xls.xls
Это же наблюдение в экселе - после конвертации xml с разбивкой под фотки
(19 КБ) Скачиваний: 411

Можно настроить отдачу по времени или каким-то иным способом. Тут вопрос больше на чьей стороне это делать? Мне видится разумный способ если Ваша система будете забирать в определенное время xml, пробегаться по нему и брать только новые.

iiukolov писал(а):Исходящий интерфейс в принципе могу сделать в любом формате, например выгрузить в xml, csv, txt, dbf. Но лучше, если это тоже будет веб-сервис - пользователям удобнее работать напрямую, без промежуточных выгрузок/загрузок.

В данном случае уже фаунистика будет забирать xml или csv по аналогичному принципу. Сложно сказать что лучше. Наверное все же csv, чтобы не особо парится с функционалом импорта, так как он уже реализован в экселе. Нужен лишь Ваш формат данных.

Подводный камень, который вылазит при таком автоматическом обмене данными - это регистрация пользователей в обоих системах. В фаунистике стоит проверка на соответствие пользователей. Возможно следует делать синхронизацию по тем пользователям, которые зарегистрированы в обоих системах (проверку делать по e-mail).
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Re: Интеграция с другими базами данными и сайтами

Сообщение igor » 22 дек 2013, 02:20

Илья прислал формат хранения данных в его системе:
один столбец содержит русское название с латынью в скобках, второй - латынь вместе с именем автора описания и годом, причём в ячейке содержится запятая. Образец прилагаю.
БД_Уколова-образец.xls
(13.5 КБ) Скачиваний: 393

Вопрос к спецам как это можно интегрировать в нашу систему и как наши данные можно интегрировать в его систему?
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1278
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Интеграция с другими базами данными и сайтами

Сообщение tester » 22 дек 2013, 04:10

igor писал(а):Вопрос к спецам как это можно интегрировать в нашу систему и как наши данные можно интегрировать в его систему?

Без лишних телодвижений крайне сложно. Базовое поле в Фаунистике - латинское название вида, но Фаунистика не хранит ни в каком виде авторов названий, а тем более и год да еще и через запятую в одной ячейке.
Можно ориентироваться на поле "Наименование" в версии БД Ильи, это аналог поля "Вид" в Фаунистике, но только для импорта в БД Ильи. В Фаунистике это поле вообще игнорируется при импорте.
В случае работы с полем, в котором русское и латинское названия вместе, придется синхронизировать русские названия, что сложно - это буквы е и ё в словах, например "Орел", синонимы названий типа "Могильник", "Орел могильник" или "Орел-могильник" и т.п. Заморочек с этим много.
Мы опять приходим к тому, что нужен скрипт на чьей-то стороне, который бы синхронизировал названия. А оно надо? Сейчас точно об этом рано рассуждать, так как у обоих систем общих пользователей 2,5 человека.
Пусть пока орнитологи сами будут возится с доведением файлов до требований систем. Я например не вижу ничего сложного - скопировал столбец с русским и латинским названием, заменил скобки на запятые, сохранил как текст, переоткрыл с разделителями запятыми - вот тебе колонка с латинскими названиями. Отсортировал по имени, заменил на правильные имена. Все это занимает считанные минуты в экселе. Пока мало общих пользователей, думаю это самый оптимальный вариант.
Будем напрягать голову, когда нужда припрет.
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

След.

Вернуться в Фаунистика

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron