個人保存ファイルサイズの最大値が不明

以上のフォーラム以外のトラブル

モデレータ: 暇人, YoN, nyu

返信する
アバター
タロ兵衛
記事: 875
登録日時: 08/07/08(火) 00:11
お住まい: よこはま
連絡する:

個人保存ファイルサイズの最大値が不明

投稿記事 by タロ兵衛 »

最近、個人ファイルのトラブルをチョロチョロ聞くので、皆さんのお知恵を拝借して
解決しないまでも原因を突き止められればと思います。
先ずは、個人保存ファイルサイズの最大値は幾つか?からどうでしょうか
neo実験君こと次期メインマシン
Intel Core i5-8400 2.80GHz
xenialpup64 7.5+lang_pack_ja-xenial64e
アバター
タロ兵衛
記事: 875
登録日時: 08/07/08(火) 00:11
お住まい: よこはま
連絡する:

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by タロ兵衛 »

damboard さんが書きました:タロ兵衛さん
詳細はわからないですが
初期のパピーの seveファイルて Ext2(Second Extended File System) だった
Ext2は最大ファイルサイズ2GB だからじゃないですかね

seveファイルを2GBや3GBで使っている事自体

標準512MBで別段問題なくつかっている私からしたら異常だ
2Gだったか2Tだったかでext2でトラブった記憶があります
neo実験君こと次期メインマシン
Intel Core i5-8400 2.80GHz
xenialpup64 7.5+lang_pack_ja-xenial64e
アバター
タロ兵衛
記事: 875
登録日時: 08/07/08(火) 00:11
お住まい: よこはま
連絡する:

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by タロ兵衛 »

486HA さんが書きました:
damboard さんが書きました: http://www.roy.hi-ho.ne.jp/cgi-bin/user ... 5%C6%A5%E0
damboardさんの参考にされた上記の記事を見ると、Ext2について次のように解説してあります。
Ext2(Second Extended File System)
Linuxがサポートしている主要なファイルシステムです。Linuxの初期のバージョンでは、MINIXのファイルシステムを採用していましたが、扱えるディスク領域やファイルサイズ、ファイル名の長さの制限が大きかったため、その後、Extファイルシステムに移行し、更に拡張したExt2に移行しました。Ext2ファイルシステムではファイル名は255文字まで使用でき、最大ファイルサイズ2GB、最大4TBまでのディスクを扱うことができます。
一方、ウィキペディアでは、Ext2システムでの最大ファイル・サイズは、2TBとなっています。
https://ja.wikipedia.org/wiki/Ext2

ところが、実際にExt2ファイル・システムで2GB以上のサイズのファイルが取り扱えるかどうかについては、
実際に試してみると、2GBどころか4GBでも8GBでも取り扱えます。
(流石に2TBのサイズのファイルはありませんが、数百GBのディスク・イメージなど時間は掛かりますがコピーできます。)
したがって、最大ファイルサイズ2GBとは、参照先の何らかの勘違いか誤植の類でしょう。
やってみました。
確かに、2G越えは出来てしまいますね。(試したのは3Gのゼロ埋めのファイル)
元々のext2の仕様を調べないといけないようです。・・・・うーむ。英語かぁ。2GBの壁より厚い
neo実験君こと次期メインマシン
Intel Core i5-8400 2.80GHz
xenialpup64 7.5+lang_pack_ja-xenial64e
damboard
記事: 195
登録日時: 15/01/02(金) 12:01

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by damboard »

ファイルシステム的には 2GB でも2TBを作成できるのかもしれないが
使うたびにsaveファイルは書き換えがおこなわれる
その際 トラブルが発生する確率はおおきいのでは
saveファイルを2GBで使っていて使用不可になった場合
その回復する能力はと考えませんか
そんなボリュームで使っている人の危機管理意識は・・・0
と考えます
512~1GBがいいかと思う
アバター
タロ兵衛
記事: 875
登録日時: 08/07/08(火) 00:11
お住まい: よこはま
連絡する:

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by タロ兵衛 »

http://www.nongnu.org/ext2-doc/ext2.html
此方が源泉のようです。
Google翻訳が命綱なので、正確なところは分かりませんが、
単に2GBとか2TBとか決まっているわけではなく、ブロックのサイズが変化することで(FATにもあったな)最大サイズが決まるようです。
とりあえず、一番細かいところで選択すると、ファイルは16G、HDD(パーティションかな?)は2TBの様です。
さて、puppyはどれを(どのブロックサイズを)選んでいるのでしょう。
これは仕様を探せないでしょうから、「実験」するしかないのかもしれません
neo実験君こと次期メインマシン
Intel Core i5-8400 2.80GHz
xenialpup64 7.5+lang_pack_ja-xenial64e
アバター
タロ兵衛
記事: 875
登録日時: 08/07/08(火) 00:11
お住まい: よこはま
連絡する:

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by タロ兵衛 »

damboard さんが書きました:ファイルシステム的には 2GB でも2TBを作成できるのかもしれないが
使うたびにsaveファイルは書き換えがおこなわれる
その際 トラブルが発生する確率はおおきいのでは
saveファイルを2GBで使っていて使用不可になった場合
その回復する能力はと考えませんか
つまり、「このファイルシステムにはバグがある」ということですね。
まぁ、バグのないシステムは無いともいわれますが。
そんなボリュームで使っている人の危機管理意識は・・・0
と考えます
しかし、一般の方は、ここまで配慮して使うことはありません。
もし、それが危惧されるならば、そのことを書かない方にも問題があります。
「混ぜるな危険」「老人、子供はコンニャクゼリーは食べてはいけません」のような。
そういう意味でも571JPにその警告があるのは良いことだと思います。
512~1GBがいいかと思う
この数値には根拠がありません。(だから「思う」なんですよね。失礼m(__)m)
そこの辺りが、明確になれば地雷があるにせよ、危険は回避できて、安心して使えるというものです。
Ext3,4で解消されていれば、2は使うな!というだけで済むのですがねぇ・・・
neo実験君こと次期メインマシン
Intel Core i5-8400 2.80GHz
xenialpup64 7.5+lang_pack_ja-xenial64e
damboard
記事: 195
登録日時: 15/01/02(金) 12:01

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by damboard »

パピーて live CDで使うように考えられていますよね
ubuntu やdebianも以前は live CD使いが普通でした
その時 パピーの個人設定保存ファイルににた機能に'casper-rw'とか'live-rw'て機能がありました
それが 1GBを標準にしています

パソコンで使うOSは windowsにしてもUbuntuにしても 
Slackware にしてもPorteus - Portable Linuxにしてもパピーの個人設定保存ファイルなんて使いません
みなフルインストールです

パピーをHDDに使っていることが特殊なのです
その特殊なことをするには知識が必要なだけ 自己努力が必要なだけなのです 
「このファイルシステムにはバグがある」
ではなく 使用する人のモチベーションや 停電などのトラブル等使用環境によるのではないでしょうか
しかし、一般の方は、ここまで配慮して使うことはありません。
もし、それが危惧されるならば、そのことを書かない方にも問題があります。
「混ぜるな危険」「老人、子供はコンニャクゼリーは食べてはいけません」のような。
そういう意味でも571JPにその警告があるのは良いことだと思います
断り書きつける必要は無いと考えます
あなた自身好きでつかっているわけで 他に沢山選択技はある
あくまで linuxを使うのは自己責任だから
パソコンに疎いなら素直にwindows使えばいい
新品のパソコンが3万円で買える時代なのだから
それでも パピー使うなら自己努力しろといいたい

あと 提示したリンクサイトの
Ext2の最大ファイルサイズ2GBが誤植なんていってる方がいるがそのサイトは2002年に作成されている現在2TBまでできるかもしれないがそのころの技術は2GBであって今の情報もちだして揚げ足とるしか脳が無い方の発言は無視する方がいいと思います

貴殿のmax 2GBはおそらく2000年初めのころの書き込みではないでしょうか
技術の進化でExt4が発表されていることに注目する必要があると考えます
アバター
タロ兵衛
記事: 875
登録日時: 08/07/08(火) 00:11
お住まい: よこはま
連絡する:

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by タロ兵衛 »

damboard さんが書きました:断り書きつける必要は無いと考えます
あなた自身好きでつかっているわけで 他に沢山選択技はある
あくまで linuxを使うのは自己責任だから
パソコンに疎いなら素直にwindows使えばいい
新品のパソコンが3万円で買える時代なのだから
それでも パピー使うなら自己努力しろといいたい
puppyに限って言うなら、これは上手くありません。
続きはユーザーズカフェで。

貴殿のmax 2GBはおそらく2000年初めのころの書き込みではないでしょうか
技術の進化でExt4が発表されていることに注目する必要があると考えます
サイトには「Copyright © 2001-2011 Dave Poirier」とありますね。2011まではメンテされていた記事のようです。

私が遭遇したトラブルはここ1年ぐらいで、puppyではなくdebian sqeeze だったかもしれません。
ちょっと記憶が曖昧なので、この件は撤回させて下さい。

で、先ほどから、528JPをvirtualboxでext2の巨大ファイルを試しているのですが、現象出ません。
仮想環境なので、いたずらに大きなパーティションも作れないので、ファイルサイズだけですけど、
17GBまで(16GBだと内輪に入って紛らわしので)ためしましたが、今のところファイルは作れています。

ext4にフォーカスするのは同感ですが、ext4がOKという裏とるのも難しそう。
neo実験君こと次期メインマシン
Intel Core i5-8400 2.80GHz
xenialpup64 7.5+lang_pack_ja-xenial64e
アバター
シノバー
記事: 3139
登録日時: 09/03/21(土) 00:05
連絡する:

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by シノバー »

「2GBの壁」は、かなり昔の話で、いまの FAT32で1ファイルの上限が 4GB、NTFSでは 1TBです。(訂正: Linux のext?では2TBですね。)
http://shino.pos.to/mpeg/twogb.html

pupsaveの標準値が 512MBというのは、Barryさんの説明で「バックアップを取るにも適当な大きさ」というのがありました。CD-R、RW が 640MBだからでしょう。しかし現在は USBメモリの容量も大きくなっているし、DVD-R という選択肢もあります。

ブラウザなど最近のアプリは大量のキャッシュを作るなど、補助記憶装置を大量に喰う設計になっています。512MBの pupsave など、すぐにいっぱいになってしまいます。512MBという標準値も考え直さねばならないかもしれません。SFSやポータブルアプリを駆使して 512MBで頑張るのがお薦めではありますが、初心者がつまづきやすいところなので、一考すべきかも。
最後に編集したユーザー シノバー [ 16/03/17(木) 16:39 ], 累計 1 回
The bar master, Shino's Bar
http://shinobar.net/
oreore
記事: 8
登録日時: 15/11/23(月) 12:50

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by oreore »

色々な要因が絡むので混乱しますよね
私もわかる範囲のことを書き込んで混乱に拍車をかけようと思います :lol:
何を当たり前のことを、的な部分や間違っている部分も多々有ると思いますがご容赦下さい


まずファイルシステムから見ると、precisesave.4fsとかって結局の所"あるFS上のファイルとして別のFSを作ったもの"なんですよね
なのでPuppyとか関係なくfallocateやddで元となるFS(例としてFAT32)上に任意の大きさの"targetfile"を作り、

コード: 全て選択

mkfs.ext4 targetfile
としてやればそれと同等の"FAT32上に、Ext4のFSのデータを持つ、targetfileというファイル"が自分で作れます(普通のパーティションと同じようにマウントしたりして使えます)

つまりFS的な最大値としては、"元となるFSの一ファイルあたりの最大値""そこに作ろうとしているFSの最大値"のうちの小さい方ということになると思います


次にそれを扱うアプリケーションの側から見ると、今でも32bitのアプリケーションは大きいファイルを扱えるように作らないと2GiB(2^31=2147483648bytes)以上のファイルを開こうとした時に「大きすぎて開けない」と怒られます
(もっともコンパイル時にオプション一つ渡したりするだけだし作る側の問題で普通は対応しているので、ユーザーが意識する必要は殆どないと思いますが)
ですがこちらの方は2GiB以上も作れているということですので問題ないということだと思います

ということで最終的には前述のFS的な上限が個人保存ファイルサイズの最大値となるのではないでしょうか
数TBのファイルをガチで作って試したりはちょっと躊躇してしまうので確認は出来ませんが 笑


Ext2の上限として2GiBと書いてあるのは、damboardさんのリンク先にも少し書いてあるのとシノバーさんの仰るように、大昔の、そもそもkernelがLFSに対応する以前の話かなと私も思います

あ、あとブロックサイズは

コード: 全て選択

tune2fs -l precisesave.4fs
で確認できるかと思います
アバター
ルビー
記事: 1240
登録日時: 14/11/24(月) 12:12

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by ルビー »

シノバー さんが書きました:pupsaveの標準値が 512MBというのは、Barryさんの説明で「バックアップを取るにも適当な大きさ」というのがありました。
日常的にバックアップ取るには、それくらいがちょうど良いです。
あまりでかいと、時間掛かって面倒になってきます。
アバター
タロ兵衛
記事: 875
登録日時: 08/07/08(火) 00:11
お住まい: よこはま
連絡する:

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by タロ兵衛 »

「バックアップに適量」
・・・すごい説得力ですね。

ちなみに。わたくし的には、設定とpetインストール用「のみ」に使ってます。
太ってきたらリマスター。
neo実験君こと次期メインマシン
Intel Core i5-8400 2.80GHz
xenialpup64 7.5+lang_pack_ja-xenial64e
アバター
タロ兵衛
記事: 875
登録日時: 08/07/08(火) 00:11
お住まい: よこはま
連絡する:

Re: 個人保存ファイルサイズの最大値が不明

投稿記事 by タロ兵衛 »

oreore さんが書きました: あ、あとブロックサイズは

コード: 全て選択

tune2fs -l precisesave.4fs
で確認できるかと思います
有り難うございます。

試したところ、4096とでました。(tune2fs -l /dev/sda1)
これで、http://www.nongnu.org/ext2-doc/ext2.htmlに在った
ブロックサイズとファイルサイズの最大量が一致しました。

インストール先のファイルシステム(FATとかNTFSとか)の最大値と、*fs(ext*)の最大値(現在では2T)の小さい方が、
個人保存サイズの最大値であることがわかり、スッキリしました。

2T越えの試験は流石に・・・
しかし、現代の技術はずごいですね。個人レベルの予算で、やろと思えばできてしまうのですね。
・・・でも、やりませんよ。m(_ _)m
neo実験君こと次期メインマシン
Intel Core i5-8400 2.80GHz
xenialpup64 7.5+lang_pack_ja-xenial64e
返信する