iSCSI — не для дома

2

Пришлось мне, по работе, разбираться с протоколом . Давно слышал, но в руки не попадал никогда.

Оказалось, что это протокол передачи по сети SCSI команд. При этом за создание файловой системы и прочего отвечает клиент (в терминологии iSCSI — iSCSI initiator), а сервер (iSCSI target) лишь предоставляет место и выполняет команды чтения/записи.

Вскрытие показало, что этот протокол имеет свои преимущества для промышленного хранения данных. Например возможность консолидации дисковых массивов на специальных серверах, со всеми вытекающими.

Но вот для дома, он мало применим, несмотря на поддержку и FileNodeOS, и FreeNAS. Т.к., как правило, предоставляет лишь монопольный доступ к данным. Т.е. в каждый момент времени может быть подсоединён только один клиент.

P.S. У меня возникла мысль, а не работает ли случайно Netgear Storage Central Turbo SC101T по этому протоколу. А то больно описание возможностей совпадает. Надо попробовать.

AWS S3 снижает цены

0

Amazon Simple Storage Service (AWS S3), являющийся неплохим вариантом для хранения бекапов удалённо, объявил сегодня о снижении стоимости предоставляемого место.

Объём До После
0 — 1TB $0.150 $0.140
1TB — 50TB $0.150 $0.125
50TB — 100TB $0.140 $0.110
100TB — 500TB $0.130 $0.110
500TB-1000TB $0.105 $0.095

Все цены указаны в долларах за Gb в месяц.

Создание ZFS на файловом сервере (путь нормального человека)

0

Понятно, что путь джедая доступен, а главное нужен, далеко не всем. Разбираться в управляющих командах, с десятком параметров, если тебе всего лишь нужно сложить свои данные и чтобы они не потерялись, не особенно интересно.

Спасает то, что файловые хранилища всё больше приближаются к бытовым устройствам. Т.е. для управления таким домашним сервером уже не требуются специальные знания.

Я хочу рассказать и показать как можно подготовить файловое хранилище FileNode к работе с ZFS. Которая, как я считаю, является лучшей файловой системой для надежного хранения данных.

FileNodeOS, которая предустановлена на серверах FileNode, управляется через русскоязычный веб-интерфейс. Поэтому вам достаточно лишь набрать в адресной строке вашего браузера адрес сервера и получить доступ ко всем необходимым функциям.

Мы будем создавать ZFS аналог , т.е. дисковый массив из двух дисков, с автоматическим зеркалированием информации, для обеспечения надежного ее сохранения.
(далее…)

Домашний сервер FileNode ещё дешевле

5

Вся компьютерная техника постоянно дешевеет. Не являются исключением и домашние сервера FileNode.

Теперь самый недорогой сервер, с одним диском на 500Gb, стоит 10900 рублей, включая доставку по Санкт-Петербургу.

Если же вам необходимо надежное хранение данных, с зеркалированием (автоматическим копированием всей информации на второй винчестер), то доступны три двухдисковые модели. С дисками объемом 500Gb, 1Tb и 2Tb. Стоимость такого хранилища от 12900 до 18900 рублей.

Домашний сервер FileNode работает под управлением FileNodeOS. Эта операционная система основана на FreeBSD и FreeNAS и модифицирована для упрощения управления сервером обычными людьми. Без специальной компьютерной подготовки.

Управление всеми функциями сервера осуществляется с помощью веб-браузера. И неважно какая операционная система установлена на ваших домашних компьютерах: Windows, Mac OS X или Linux. Работать с FileNode будет одинаково удобно.

FileNodeOS поддерживает файловую систему ZFS, которая является лучшим выбором для файлового хранилища. И умеет закачивать и раздавать файлы по протоколу BitTorrent. Вы сможете получить доступ к файлам по протоколам Windows Networking/Samba, NFS, AFP и FTP. И создать свой собственный веб-сервер. Вы можете транслировать музыку и видео прямо на телевизор или стереосистему. И, конечно же вы, можете автоматически синхронизировать ваши данные через rsync и unison.

Консультанты FileNode на любые ваши вопросы и порекомендуют конфигурацию максимально соответствующую вашим потребностям.

FileNode сервер является отличным выбором, если вам необходимо домашнее хранилище. А оно необходимо практически всем :)

Amazon Simple Storage Service (AWS S3), как внешнее хранилище

0

Теория и практика хранения данных говорит о том, что сетевое хранилище конечно хорошо, но и его может быть недостаточно. Воры, пожары, скачки напряжения, выжигающие все винчестеры в RAID массиве — это лишь краткий перечень возможностей для безвозвратной потери данных, которые лежат у вас дома.

С другой стороны, хранение всех данных только в облаке, тоже плохо.

Поэтому разумным компромиссом представляется наличие домашнего сервера, на нем содержится все файлы, с которыми вы постоянно работаете. И копирование всей или самой важной информации куда-нибудь во внешнее хранилище, для большей надежности.

Проблема в том, что большинство подобных сервисов имеют самодельные клиенты, работающие под Windows и, если повезло, под Mac OS X. Если же ваш сервер работает под Linux или любым другим вариантом Unix, то круг доступных сервисов значительно сужается.

(далее…)

Занимательная дисковая арифметика для ZFS

0

Некоторое время назад я сокрушался, что от двух дисков по терабайту, после построения из них программного RAID 1, на UFS, осталось всего 830Gb места, доступного для хранения файлов.

После перехода на ZFS, зеркалирование данных теперь осуществляется файловой системой, картина довольно существенно изменилась:

> df -h /mnt/storage/
Filesystem    Size    Used   Avail Capacity  Mounted on
storage       916G    600G    317G    65%    /mnt/storage

Т.е. объём доступного файловому хранилищу места увеличился на 86Gb, с 830Gb до 916Gb. И этот показатель не уменьшается с заполнением диска, в отличии от предыдущей конфигурации хранилища, программный RAID 1 и UFS.

Таким образом, ZFS со всех сторон выглядит отличной файловой системой для домашнего сетевого хранилища. К предыдущим достоинствам добавился и больший объём доступного места.

Как работать со снэпшотами ZFS (путь джедая)

0

Вчера я написал, что ZFS лучше UFS для файлового хранилища, т.к. позволяет делать снэпшоты файловой системы и восстанавливать их в случае непредвиденных обстоятельств. Например, случайного удаления файлов, как  было со мной.

Хочу показать как работать со снимками состояния файловой системы во FreeBSD. Демонстрация будет для джедаев, владеющих командной строкой.

Список пулов и снэпшотов

Первым делом смотрим, что нам скажет команда «zfs list», она выводит список zfs-пулов (z-pool) и снэпшотов:

filenode:~# zfs list
NAME            USED  AVAIL  REFER  MOUNTPOINT
storage        3.96G  5.82G  3.96G  /mnt/storage

Здесь NAME — это имя пула или снэпшота, USED — объём занятого места, AVAIL — объём доступного места, MOUNTPOINT — точка монтирования файловой системы. (далее…)

ZFS лучше чем UFS, для файлового хранилища

9

По результатам битвы за восстановление случайно удалённых фотографий, был проведён поиск файловой системы, с возможностью отката к предыдущим состояниям.

Достаточно быстро я пришёл к , которая обладает достаточно интересными свойствами, например возможностью увеличивать объём доступного места в файловой системе путём простого подключения дополнительных дисков.

Нам же, для домашнего хранилища, более интересна возможность делать снимки состояния файловой системы (снэпшоты) и потом откатываться на предыдущие состояния.

Т.е. в после случайного удаления нужных файлов в ZFS достаточно восстановить состояние файловой системы до удаления. И всё.

Особенно приятно, что приличная реализация ZFS существует не только для Solaris, но и для FreeBSD. Для Linux же полного счастья с ZFS, на сколько я понимаю, наступить не может. По лицензионным ограничениям невозможно сделать ZFS частью ядра. Хорошо, что я выбрал FreeBSD в качестве операционной системы своего хранилища.

К сожалению, даже разработчики ZFS не волшебники. И если вы хотите сделать надёжное хранилище из двух дисков, то единственный путь — зеркалирование, как и в RAID-1.

Занимательная дисковая арифметика

6

Вот вы купили два терабайтных винчестера и хотите построить из них дисковый массив RAID 1. Сколько места вы ожидаете получить в итоге?

Теория RAID 1 говорит, что в итоге вы получите объём массива, равный одному терабайту. Однако реальность несколько отличается от этой теории.

Первым делом, не забывайте, что терабайтные винчестеры традиционно не терабайтные, а триллионбайтные. Таким образом, изготовители винчестеров бесплатно «увеличивают» маркетинговый объём. Поэтому мы уже имеем всего 931Gb вместо 1Tb.

Дальше интереснее. При постройке из двух терабайтных винчестеров программного RAID1 на FreeBSD получаем  902Gb свободного пространства. Т.е. 30Gb сразу съелось на служебную информацию.

Ну и уж вообще забавно получается после заполнения половины диска:

Filesystem           Size  Used  Avail Capacity  Mounted on
/dev/mirror/Storage1 902G  442G  388G    53%    /mnt/storage

Т.е. указано, что общий размер диска — 902Gb, занято — 442Gb, свободно — 388Gb. Ничего не настораживает?

442+388=830, а не 902. Куда, спрашивается ещ` 72Gb делось?

Таким образом вместо терабайта получили 830Gb. Из них 69Gb повисло на совести Western Digital — изготовителя дисков, а еще 100Gb съел программный RAID1.

Мне тут интересны три вопроса:

  1. С железным RAID1 такая же беда?
  2. Реализация программного RAID 1 на других операционных системах столь же прожорлива?
  3. 830GB — это окончательный объём или потом ещё пропадёт?

Не забывайте бекапить бекапы!

3

Вчера случайно выяснил с какой дикой скоростью FreeBSD удаляет файлы с UFS. Разбирал фотографии прямо на сервере и, как герой многих сисадминских анекдотов, напустил rm -rf Photos""...

Как показал осмотр разрушений, за те несколько секунд, что я осознавал, что я сделал и жал на отмену, сервер успел снести половину из почти сотни гигабайт фотографий. И если утерю фотографий с моего дня рождения восьмилетней давности ещё как-то можно пережить, то за потерю фотографий наших девочек, только что приехавших из роддома, жена бы меня точно убила.

Поиск по интернету способов восстановления удалённых файлов на UFS показал наличие нескольких специализированных программ. Но говорилось, что они восстанавливают всего около 40% удалённых файлов, что неприемлимо мало. Второй проблемой оказалось, что все найденные программы работали почему-то под Windows.

Спасла же меня найденная ещё одна копия фотографий на моём компьютере, забытая при переносе на NAS.

Мораль сей сказки проста: не забывайте бекапить бекапы! Держите несколько копий, синхронизируйте их регулярно rsync'ом, unison'ом или ещё чем-нибудь. Наличие ещё одной копии в каком-нибудь онлайновом хранилище не блажь, а суровая необходимость.

Нужно будет поисследовать журналируемые файловые системы с возможностью отката во времени...

Вверх