Форум dkLab и Denwer
Здесь общаются Web-разработчики.
Генеральный спонсор:
Хостинг «Джино»

web, python, timeseries и hdf5 (cormorant)
Author Message
cormorant
Заглянувший



Joined: 29 Jun 2010
Posts: 2
Карма: 0
   поощрить/наказать


PostPosted: Tue Jun 29, 2010 6:30 am (написано за 14 минут 10 секунд)
   Post subject: web, python, timeseries и hdf5
Reply with quote

Хочется найти наиболее элегантное решение такой задачи (Python): есть данные в виде "время" 01.01.2001 00:00 - "значение_показателя" ЧИСЛО, которые берутся из текстовых файлов (записей могут быть миллионы - за несколько лет).
Нашлась библиотека scikits.timeseries которая отлично справляется с обработкой таких рядов. Эти ряды, оказалось, лучше всего хранить в иерархическом формате hdf5 (pytables) - удобно загружать ряд с выбором по дате в переменную для последующей обработки.
Так вот, всё это должно быть доступно через веб-интерфейс пользователю в локальной сети, который ничего не знает про пайтон и его библиотеки и хочет нажимать кнопки для получения картинки по данным и экспорта в текстовый файл (это не проблема).
Вопрос в том как организовать добавление новых данных из текстовых файлов. Простой append - но данные могут быть за позапрошлый месяц, например.
Пробовалось django - работало довольно медленно, и нет orm для работы с hdf5, pytables, по крайней мере не нашёл...
Back to top
View user's profile Send private message
Миша Спларов
Участник форума



Joined: 17 Nov 2003
Posts: 821
Карма: 65
   поощрить/наказать

Location: Россия, Москва

PostPosted: Tue Jun 29, 2010 6:42 am (спустя 11 минут; написано за 36 секунд)
   Post subject:
Reply with quote

В базу загнать? Пользователи выбирают данные за любые промежутки времени или только за последний год, например?
Back to top
View user's profile Send private message
cormorant
Заглянувший



Joined: 29 Jun 2010
Posts: 2
Карма: 0
   поощрить/наказать


PostPosted: Tue Jun 29, 2010 7:36 am (спустя 54 минуты; написано за 50 секунд)
   Post subject:
Reply with quote

Миша Спларов wrote:
В базу загнать? Пользователи выбирают данные за любые промежутки времени или только за последний год, например?
Пользователи выбирают произвольные промежутки - годовые например.
Back to top
View user's profile Send private message
Display posts from previous:   
Post new topic   Reply to topic All times are GMT + 3 Hours
Page 1 of 1    Email to a Friend.
You cannot post new topics in this forum. You cannot reply to topics in this forum. You cannot edit your posts in this forum. You cannot delete your posts in this forum. You cannot vote in polls in this forum. You cannot attach files in this forum. You can download files in this forum.
XML