Профиль должен быть заполнен на русском языке кириллицей. Заполнение профиля заведомо ложными или некорректными данными - причина возможного отказа в регистрации на форуме. См. Правила, п.2.d.

Программы для хранения данных!

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 12 дек 2016, 15:38

Добрый день, интересует такая вещь.
Кто знает есть ли какие-нибудь программы которые позволяют архивировать данные с возможностью их восстановления в случае повреждения архива (ошибка диска/ канала связи и т.п.)?
want to have ultimate control, and the sky is the limit!


alex45
осмотрелся
осмотрелся
Сообщения: 127
Зарегистрирован: 30 сен 2016, 15:22
Имя: Соловьев Алексей Леонидович
Благодарил (а): 2 раза
Поблагодарили: 9 раз

Программы для хранения данных!

Сообщение alex45 » 12 дек 2016, 16:16

Вопрос поставлен слишком широко.
Для каких целей и какие данные необходимо архивировать?

Аватара пользователя

TEB
администратор
администратор
Сообщения: 8386
Зарегистрирован: 17 июн 2008, 15:01
Имя: Евгений свет Брониславович
Благодарил (а): 63 раза
Поблагодарили: 93 раза
Контактная информация:

Программы для хранения данных!

Сообщение TEB » 12 дек 2016, 17:05

izhidkov писал(а):Источник цитаты Кто знает есть ли какие-нибудь программы которые позволяют архивировать данные с возможностью их восстановления в случае повреждения архива (ошибка диска/ канала связи и т.п.)?

Intel Matrix Storage Manager.
Acronis True Image.
и тэдэ.

Конкретнее.

want to have ultimate control, and the sky is the limit!

Хе-хе, а иные и в космос забрались. :-P
По вопросам работы Форума можно обратиться ко мне, или по этим контактам.

Аватара пользователя

hell_boy
почётный участник форума
почётный участник форума
Сообщения: 1141
Зарегистрирован: 18 янв 2009, 12:25
Имя: Дмитрий
Благодарил (а): 3 раза
Поблагодарили: 30 раз

Программы для хранения данных!

Сообщение hell_boy » 12 дек 2016, 17:33

WinRAR, в опциях поставить "Добавить информацию для восстановления"
"Умные люди обсуждают идеи, средние - события, а глупые - людей" Л.Н. Толстой

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 12 дек 2016, 19:20

TEB писал(а):Источник цитаты Хе-хе, а иные и в космос забрались.

Скажи еще на что луну!
want to have ultimate control, and the sky is the limit!

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 12 дек 2016, 19:21

TEB писал(а):Источник цитаты Intel Matrix Storage Manager.

Это с RAID контроллерами который идет?
want to have ultimate control, and the sky is the limit!

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 12 дек 2016, 19:28

TEB писал(а):Источник цитаты Конкретнее.

Есть куча всяких разных файлов: проекты программ, документы, фото, образы дисков, exe-шники и т.п. и т.д. Хочется их 1) ужать 2) хранить в архивах, т.к. чтобы быстро копировались и перемещались 3) чтобы при ошибке чтения не ломался архив целиком, да и вообще чтобы исправлялся

Вопрос в общем не о программах для резервного копирования и технологиях избыточного хранения, а о ПО которое может например взять файл - добавить к нему избыточности. А затем через какое либо время проверить этот файл и восстановить.

С винраром не совсем понятно какую именно информацию он добавляет, какой класс ошибок исправляет и т.п. Хотелось бы что-то более профессиональное.
want to have ultimate control, and the sky is the limit!

Аватара пользователя

TEB
администратор
администратор
Сообщения: 8386
Зарегистрирован: 17 июн 2008, 15:01
Имя: Евгений свет Брониславович
Благодарил (а): 63 раза
Поблагодарили: 93 раза
Контактная информация:

Программы для хранения данных!

Сообщение TEB » 12 дек 2016, 22:43

izhidkov писал(а):Источник цитаты Скажи еще на что луну!

И даже дальше. А вот хамить не надо. Давно ли мы на "ты" перешли?

izhidkov писал(а):Источник цитаты Это с RAID контроллерами который идет?

Точнее при них. РАЙД прекрасно и без этого софта живёт.

izhidkov писал(а):Источник цитаты Хочется их 1) ужать

Забудьте. В виндовсе до сих пор осталась эта фича "сжатые диски", но она черевата тем что при малейшем сбое в ФС, аппаратном или программном, уйма данных теряется безвозвратно, и RAID1 даже не спасает.
izhidkov писал(а):Источник цитаты 2) хранить в архивах, т.к. чтобы быстро копировались и перемещались

При современных скоростях оно и так мигом летает по гигабитной сетке.
izhidkov писал(а):Источник цитаты 3) чтобы при ошибке чтения не ломался архив целиком, да и вообще чтобы исправлялся

Дорогое решение: купить хороший NAS с горячей заменой дисков и организовать там RAID10 из четырёх дисков. Дорого? тогда хотя бы RAID1. Снова дорого? Тогда покупаем рабочую станцию с корпусом MidiTower (не меньше) с аппаратным RAID1, пихаем в неё минимум 4 HDD: два для RAID1, один системный (можно SSD), ещё один для ПО и некритичных данных. И не забываем к этому всему ИБП человеческий (не back-UPS). На этой рабочей станции и работаем и данные храним. Ставим в угол, шумоизолируем и никогда не выключаем.
И ещё оптимизируем данные, безжалостно выкидывая всё лишнее, например от сотен фотографий "как я провёл отпуск" можно оставить отсилы десяток-полтора, напечатать на хорошей бумаге и вставить в альбом, а файлы больше не нужны. Кнопка DEL - важнейший инструмент любого творчества.
Такая раб.станция работает у меня дома уже лет 8, хватает на всё. С неё и кино в кинотеатре смотрится и музыка слушается по всему дому, и работаю тут же (вот прямо сейчас). Два раза менял диски в RAIDе: первый раз когда объём удваивал, второй раз один диск накрылся - спокойно сбегал за другими двумя и перестроил массив на них со всеми данными. Особо экономные закидывают её на антресоли (сделав соответственно из подручного и сэкономив на всём чём можно, кроме надёжности) и пользуются удалёнными сеансами (в WinXP например был встроенный терминальный сервер, его и к современным ОС можно прикрутить). Можно баребонку купить, можно коробочный ПК (только не знаю как там с РАЙДами, не попадались с ними), можно чистый NAS, можно обычную рабстанцию собрать - сами считайте что Вам лучше.
ИБП реально нужен. Диск у меня накрылся ровно тогда когда по закону подлости в ИБП сдохла батарея и вырубилось электричество (что случается раз в несколько лет - с того момента кстати и не вырубался). Батареи в ИБПшках менять совсем недорого, если в правильных местах покупать - я например купил сейчас батареи со сроком службы минимум 10 лет, в обычных магазинах паршивое и умирающее через год стоит столько же, а уж брендированные покупать - вообще раздеться, тем более что это на самом деле те же батареи, просто перекрашенные, и далеко не самые лучшие.

Отправлено спустя 8 минут 30 секунд:
Внешние съёмные носители - не вариант, проверял. Когда носитель полежит годик-другой, то шансы на то что он заведётся в следующий раз значительно уменьшаются. От типа носителя это не зависит.

Отправлено спустя 2 минуты 44 секунды:
А если хотите ещё дешевле - купите внешний HDD или SSD в ударостойком корпусе, и всё.
По вопросам работы Форума можно обратиться ко мне, или по этим контактам.

Аватара пользователя

hell_boy
почётный участник форума
почётный участник форума
Сообщения: 1141
Зарегистрирован: 18 янв 2009, 12:25
Имя: Дмитрий
Благодарил (а): 3 раза
Поблагодарили: 30 раз

Программы для хранения данных!

Сообщение hell_boy » 13 дек 2016, 10:15

izhidkov писал(а):С винраром не совсем понятно какую именно информацию он добавляет, какой класс ошибок исправляет и т.п. Хотелось бы что-то более профессиональное.

http://www.win-rar.ru/study/part2/security.php

Не нравится WinRAR - возьми open source FreeArc http://freearc.org/ru
"Умные люди обсуждают идеи, средние - события, а глупые - людей" Л.Н. Толстой

Аватара пользователя

TEB
администратор
администратор
Сообщения: 8386
Зарегистрирован: 17 июн 2008, 15:01
Имя: Евгений свет Брониславович
Благодарил (а): 63 раза
Поблагодарили: 93 раза
Контактная информация:

Программы для хранения данных!

Сообщение TEB » 13 дек 2016, 10:56

izhidkov писал(а):Источник цитаты Хотелось бы что-то более профессиональное.

Само решение - паковать данные на лету и складировать - мягко говоря, непрофессиональное, так что и результат "профессиональным" точно не будет.
Не вполне понимаю зачем жать данные когда в 21 веке нет проблем ни с объёмами хранилищ ни со скоростями. Скорость чтения данных с RAID1 в обычном настольном компе - 30-50 Мбайт/сек. Если это NAS то по гигабитной сети скорость передачи данных с него получается порядка 15 Мбайт/сек как минимум. BlueRay-образ переписывается по гигабитной сети примерно минут за 5-10.
По вопросам работы Форума можно обратиться ко мне, или по этим контактам.

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 13 дек 2016, 11:33

TEB писал(а):Источник цитаты И даже дальше. А вот хамить не надо. Давно ли мы на "ты" перешли?

Хорошо, впредь буду только на Вы обращаться.

TEB писал(а):Источник цитаты Тогда покупаем рабочую станцию с корпусом MidiTower (не меньше) с аппаратным RAID1, пихаем в неё минимум 4 HDD: два для RAID1, один системный (можно SSD), ещё один для ПО и некритичных данных.

Есть такой

TEB писал(а):Источник цитаты Само решение - паковать данные на лету и складировать - мягко говоря, непрофессиональное, так что и результат "профессиональным" точно не будет.
Не вполне понимаю зачем жать данные когда в 21 веке нет проблем ни с объёмами хранилищ ни со скоростями. Скорость чтения данных с RAID1 в обычном настольном компе - 30-50 Мбайт/сек. Если это NAS то по гигабитной сети скорость передачи данных с него получается порядка 15 Мбайт/сек как минимум. BlueRay-образ переписывается по гигабитной сети примерно минут за 5-10.

Большое количество маленьких файлов сеть не переваривает

А вопрос то конечно от недостатка денег. Кроме варианта с аппаратными рейдами хотелось бы знать варианты программного резервирования. Слишком много всяких разных деталей по которым и рейд плохо, и программное резервирование - плохо (часть предрассудки, часть может быть реальна). Сейчас интересен именно вариант наличия ПО для кодирования и восстановления с избыточностью (бчх, турбо-кодов и современных аналогов).
want to have ultimate control, and the sky is the limit!

Аватара пользователя

TEB
администратор
администратор
Сообщения: 8386
Зарегистрирован: 17 июн 2008, 15:01
Имя: Евгений свет Брониславович
Благодарил (а): 63 раза
Поблагодарили: 93 раза
Контактная информация:

Программы для хранения данных!

Сообщение TEB » 13 дек 2016, 11:40

izhidkov писал(а):Источник цитаты Большое количество маленьких файлов сеть не переваривает

Прекрасно переваривает.

Отправлено спустя 2 минуты 6 секунд:
izhidkov писал(а):Источник цитаты интересен именно вариант наличия ПО для кодирования и восстановления с избыточностью (бчх, турбо-кодов и современных аналогов)

Такое применяется только в защищённых хранилищах, где цель защиты - шифрование данных с целью обеспечения их конфиденциальности. Просто для складирования данных это бессмысленно и выглядит как <цензура>. Впрочем, дело вкуса.
По вопросам работы Форума можно обратиться ко мне, или по этим контактам.

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 13 дек 2016, 12:10

TEB писал(а):Источник цитаты Такое применяется только в защищённых хранилищах, где цель защиты - шифрование данных с целью обеспечения их конфиденциальности.

Бчх, турбо и т.п. напрямую не шифруют данные, хотя некоторые алгоритмы могут смешивать данные для равномерной плотности 0 и 1
want to have ultimate control, and the sky is the limit!

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 13 дек 2016, 12:12

TEB писал(а):Источник цитаты Прекрасно переваривает.

Тогда файловая система не переваривает... 5,000,000 1кб файлов передать по сети/ да и с диска на диск - это не то чтобы проблема но все равно копирование пройдет медленней, чем копирование 1го большого 5 гб файла
want to have ultimate control, and the sky is the limit!

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 13 дек 2016, 12:14

Так и что там кстати восстановили утерянный форум Сименса? )
want to have ultimate control, and the sky is the limit!

Аватара пользователя

TEB
администратор
администратор
Сообщения: 8386
Зарегистрирован: 17 июн 2008, 15:01
Имя: Евгений свет Брониславович
Благодарил (а): 63 раза
Поблагодарили: 93 раза
Контактная информация:

Программы для хранения данных!

Сообщение TEB » 13 дек 2016, 12:35

izhidkov писал(а):Источник цитаты но все равно копирование пройдет медленней

В гигабитной сети это неважно. Ну медленнее вполовину, ну 50 гигов не за 10 а за 20 минут перельёте. Ну и что?...
По вопросам работы Форума можно обратиться ко мне, или по этим контактам.

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 13 дек 2016, 12:45

TEB писал(а):Источник цитаты В гигабитной сети это неважно. Ну медленнее вполовину, ну 50 гигов не за 10 а за 20 минут перельёте. Ну и что?...

А если несколько ТБ, то это уже на лишние часы расчет идет. Тогда может уже и есть смысл.
want to have ultimate control, and the sky is the limit!

Аватара пользователя

TEB
администратор
администратор
Сообщения: 8386
Зарегистрирован: 17 июн 2008, 15:01
Имя: Евгений свет Брониславович
Благодарил (а): 63 раза
Поблагодарили: 93 раза
Контактная информация:

Программы для хранения данных!

Сообщение TEB » 13 дек 2016, 12:47

izhidkov писал(а):Источник цитаты А если несколько ТБ

И Вы будете ежедневно перекачивать по несколько ТБ данных мелкими файлами? Что Вы там делаете?
По вопросам работы Форума можно обратиться ко мне, или по этим контактам.

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 13 дек 2016, 12:54

TEB писал(а):Источник цитаты И Вы будете ежедневно перекачивать по несколько ТБ данных мелкими файлами? Что Вы там делаете?

Издержки стиля работы и профессии )
want to have ultimate control, and the sky is the limit!

Аватара пользователя

TEB
администратор
администратор
Сообщения: 8386
Зарегистрирован: 17 июн 2008, 15:01
Имя: Евгений свет Брониславович
Благодарил (а): 63 раза
Поблагодарили: 93 раза
Контактная информация:

Программы для хранения данных!

Сообщение TEB » 13 дек 2016, 13:01

Тогда аппаратный RAID10 и серверные HDD.
По вопросам работы Форума можно обратиться ко мне, или по этим контактам.

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 13 дек 2016, 13:11

Спасибо.
want to have ultimate control, and the sky is the limit!

Аватара пользователя

TEB
администратор
администратор
Сообщения: 8386
Зарегистрирован: 17 июн 2008, 15:01
Имя: Евгений свет Брониславович
Благодарил (а): 63 раза
Поблагодарили: 93 раза
Контактная информация:

Программы для хранения данных!

Сообщение TEB » 13 дек 2016, 17:03

Кстати, забыл спросить: и Вы собираетесь все эти Ваши терабайты ещё и архивировать? :o
По вопросам работы Форума можно обратиться ко мне, или по этим контактам.

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 14 дек 2016, 09:23

TEB писал(а):Источник цитаты Вы собираетесь все эти Ваши терабайты ещё и архивировать?

Ну иначе они слишком много места занимают..
С большим объемом некоторых файлов и большим количеством мелких файлов возникает проблема из-за того что приходится "ручные" (копипастные) бэкапы гор виртуальных машин и данных внутри них делать...
Не бейте палками - я знаю что должны быть сервера Git/Mercurial и т.п., снимки виртуальных машин и т.п., но это стоит не кислых денег, это нужно учить, да и в общем они тем же проблемам подвержены (что и сами данные и ВМ).
want to have ultimate control, and the sky is the limit!

Аватара пользователя

TEB
администратор
администратор
Сообщения: 8386
Зарегистрирован: 17 июн 2008, 15:01
Имя: Евгений свет Брониславович
Благодарил (а): 63 раза
Поблагодарили: 93 раза
Контактная информация:

Программы для хранения данных!

Сообщение TEB » 14 дек 2016, 10:04

izhidkov писал(а):Источник цитаты приходится "ручные" (копипастные) бэкапы гор виртуальных машин

Понятно. Понятно что ничего непонятно, и да ладно, сворачиваюсь. :) Спросили только про хранение файлов - любой серьёзный NAS или скажем циска с этим бы справились, но теперь вот виртуальные машины только что появились. Как только задача вроде решается - Вы сообщаете новые вводные. Утомило :icon_wall:

Я хотел сказать что на паковку-распаковку тоже уходят ресурсы и дисковое пространство, и при таких объёмах оно видится бессмысленным. Но Вам виднее.
По вопросам работы Форума можно обратиться ко мне, или по этим контактам.

Аватара пользователя

Автор темы
izhidkov
освоился
освоился
Сообщения: 241
Зарегистрирован: 25 фев 2016, 12:18
Имя: Жидков Игорь Алексеевич
Благодарил (а): 1 раз
Поблагодарили: 6 раз
Контактная информация:

Программы для хранения данных!

Сообщение izhidkov » 14 дек 2016, 10:29

TEB писал(а):Источник цитаты но теперь вот виртуальные машины только что появились.

Я сейчас их рассматриваю просто как файлы на диске хоста, не больше..
want to have ultimate control, and the sky is the limit!


Вернуться в «Вопросы от студентов»



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость