Где хранить данные?

[Михаил23]

Есть задача хранить данные на локальном компе пользователя и периодически к ним обращаться.. Данные представляют из себя структуру
Папка
Под папка
Сигнал
.......
Сигнал
Под папка
Сигналы
............
Папка....

Сигналов примерно около 1000 в каждой под папке. Длинна каждого примерно 500тыс измерений.
У меня есть два варианта либо mdb Access или файлы разбросанные по папкам на диске(А может еще что?). В первом варианте(база) смущает быстродействие.Будет ли все это быстро читаться? Во втором неудобство хранения. Прошу высказать свои мысли поэтому поводу.

[IvanLis]

Сигналов примерно около 1000 в каждой под папке. Длинна каждого примерно 500тыс измерений.
У меня есть два варианта либо mdb Access или файлы разбросанные по папкам на диске(А может еще что?). В первом варианте(база) смущает быстродействие.Будет ли все это быстро читаться? Во втором неудобство хранения. Прошу высказать свои мысли поэтому поводу.

Давно уже не писал под Access, но раньше работал через ADO, там быстродействие нормальное. Правда все зависит от того, как организована работа с базой. Т.е. как запись осуществляется, отдельно каждое поле или сразу всю запись (record) писать. Как часто UpDate делаете и т.д.

Там можно создавать поля с типом данных на подобии RAW, в него можно запихнуть все что угодно. Сейчас не помню точно, как называется.
500тыс измерений это примерно картинка bmp (8-bit) 800*600 (чуть больше), так что должно фурычить нормально.

А сколько всего сигналов планируется записывать?

[Михаил23]

Ну верхнего предела конечно нет. Тут все зависит от того что сам пользователь на конфигурирует.Ну по моим оценкам порядка 7-8 тысяч будет всего хранится. Ну а считываться одновременно будет не более 1000 сигналов.

[Viktor]

Может есть смысл использовать TDMS Write?

[AndreyDmitriev]

Может есть смысл использовать TDMS Write?

Я тоже за то, чтобы TDMS попробовать
http://zone.ni.com/devzone/cda/tut/p/id/3727

Ещё есть Citadel
http://zone.ni.com/devzone/cda/tut/p/id/6579

И вот любопытная статья (но это так, факультативно, просто любопытно попробовать)
http://habrahabr.ru/blogs/net/137038/

[IvanLis]

Ну верхнего предела конечно нет. Тут все зависит от того что сам пользователь на конфигурирует.Ну по моим оценкам порядка 7-8 тысяч будет всего хранится. Ну а считываться одновременно будет не более 1000 сигналов.

В Delphi делали программу, для работы с базой Access.
В базе хранились видео фрагменты, размером примерно 10-50 мег.
Тестировалось при 100 видео фрагментах, работало нормально.

Но лучше конечно использовать специализированные, заточенные для этого средства.
Сам с TDMS не работал, пока необходимости не возникало .

[Chupakabra]

Подскажите, а TDMS файл можно программно дополнять каналами/группами с течением времени? Т.е. что-то записал, закрыл. Потом еще новыую группу или канал добавил и опять записал, закрыл.

А еще можно ли удалять старые каналы?
На последний вопрос, кстати, нашел очень странный ответ, который означает, что нормальным способом нельзя :(
http://digital.ni.com/public.nsf/allkb/ ... 3F0059E476

[Михаил23]

Безусловно я тоже сначала думал о файлах TDMS. Но пришел к выводу что они мне не подойдут.По той причине, что там возможно только два уровня вложенности(группа каналов и каналы)(http://zone.ni.com/devzone/cda/tut/p/id/3727). А у меня структура чуток более сложная(примерно 4-5 уровней). Поэтому от них пришлось отказаться. Citadel конечно хорошо, но дорого и на компе у каждого пользователя не поставишь. Поэтому наверно попробую начать с Access.

[Михаил23]

... Правда все зависит от того, как организована работа с базой. Т.е. как запись осуществляется, отдельно каждое поле или сразу всю запись (record) писать. Как часто UpDate делаете и т.д.

Там можно создавать поля с типом данных на подобии RAW, в него можно запихнуть все что угодно. Сейчас не помню точно, как называется.
500тыс измерений это примерно картинка bmp (8-bit) 800*600 (чуть больше), так что должно фурычить нормально.

А можно туда сигнал в виде выборки по времени записать? И можно его от туда доставать с метки времени Т1 по Т2?
А если туда файл двоичный запихивать он там хранится в виде ссылки? или как? Ну т.е. пользователь его на диске не уведет?

[IvanLis]

А можно туда сигнал в виде выборки по времени записать? И можно его от туда доставать с метки времени Т1 по Т2?
А если туда файл двоичный запихивать он там хранится в виде ссылки? или как? Ну т.е. пользователь его на диске не уведет?

Так там и так хранятся данные в двоичном виде, но хранятся в поле таблицы.
Читать с определенной позиции наверное можно, но я такого не делал.
Зато вспомнил, что за тип: BLOB - Binary Large OBject - большой бинарный объект

[Михаил23]

Ясно. Но сейчас там такой тип убрали. Зато есть OLE Object и "Вложение"
Вот такая прикольная вещь:
Выдержка из Help:
"Новая функциональная возможность ACCDB-файлов Office Access 2007. В записи базы данных можно вкладывать изображения, файлы электронных таблиц, документы, диаграммы и другие файлы поддерживаемых типов точно так же, как в сообщения электронной почты. Можно также просматривать и редактировать вложенные файлы в зависимости от параметров, заданных разработчиком базы данных для поля с типом данных «Вложение». Эти поля дают большую свободу действий, чем поля с типом данных «Поле объекта OLE», и более рационально используют место для хранения, поскольку не создают растровые изображения исходного файла."


А ведь можно наверно и TDMS вложить?