Yukinobu Hamuro
hamur****@adm*****
2004年 10月 26日 (火) 19:25:53 JST
まちのさん、羽室です。 ># 今は仕事でAS/400(の使いかた)と格闘しております... 懐かしいマシンです。 多くの企業でオフコンはまだまだ現役なのでしょうね。 >PHPの対応を待つので良いと思います。 >そこまでMUSASHI側で対応させに行くには絶対的にリソースがないでしょう。 ># 大垣さんが頑張る!? とは行かないでしょうから。 はい、私も当面はPHPの対応待ちで良いと思います。 >> ある利用者からMUSASHIのスクリプトを動かしていて、超2GBファイルの問題に関する報告がありました。 >> 全く同じデータとスクリプトを利用して、Turbo10の環境では問題なく動作するのですが、 >> 他の環境（すみません詳しく覚えておりません）では、あるMUSASHIコマンドの実行時にエラーとなっていました。 > >どの環境(というかkernelのバージョン)とかが重要かと思います。 >少なくともこの1年でリリースされているdistributionでは >システムレベル(kernelその他)ではover2GBには対応しているはずです。 電話連絡だったので詳しい情報は忘れました。 FedoraCore1であったような記憶が。。。 確認しておきます。 >それ(trコマンドでover2GB)はTurbo10Dとかでも扱えませんか? ># 調べりゃわかるけど聞く方が早そうなので。 >でもこの手のコマンドは設計上の制限(古いままなので)がかかるかもしれないので >今でも2GBの制限を受けてるかもしれません... 確かTurbo10でもダメだったような記憶が。。。(最近物忘れが激しく困っています) ただ、詳しい確認までは行いませんでしたので、時間があるときに調べておきます。 >> ただtrを外しても、同様のエラーでこけるなどしていました。 >> ファイルシステムはext3を利用していたので問題ないと思われます。 > >ext3を使っていてもglibcだのkenrelなどが64bit対応されていないと >扱える1ファイルの上限は2GBだっtあはずです。 ># kernel2.2.x系だかでmpegファイルとかの扱いでよくはまったという話を聞きました。 なるほど。 最近のgccでは、intのサイズが64bitになっているということではないですよね？ intサイズが32bitの環境(CPU or コンパイラ?)において64bit整数をどのように扱うか、その一般的な方法をご存知ですか？ ちなみにこちらの環境(32bitマシン+vine 3.0)では"int"も"long"も"long int"も32bitです。 >> 今後超2GBファイルの扱いに関する詳しい調査が必要と思われます。 > >コマンドレベルで対応しているかどうかは見る必要がありそうですが >その条件としてkenrel-2.2.x系のモノは除外しておけば >後は個別で使用する良く使うコマンド系のみでもよいのではないでしょうか? はい、コマンドレベルでの対応を重点的に見る必要があると思います。 特にawk,sed,trなどは今でもデータ変換の時に良く利用していますので。 あと最も重要なbashですね(特にパイプ)。 >しかし出来ればover2GBのようなファイルをtextutilsのようなコマンド群で >まるまる処理する設計の見直しを行う方がスジは良さそうですが >対応にはリソースがかかり過ぎるでしょうかねぇ? ># sortの件もありますが、この手の処理は例えば商用のツールでは ># 独自のアルコリズムとかを使用しているのでしょうか。 ># RDBとかの処理系でもありそうなのですが、何か参考に出来そうなモノはないのかな? MUSASHIで問題となる箇所は、入出力件数のカウンタくらいだと思います。 2G行(20億行)はさすがに扱ったことはありませんが。 ただ、MUSASHIについてもより詳細なチェックが必要と思われます（時間があるときに着手します）。 これまでの経験でtextutilsのコマンドが必要になるのはデータ変換においてでした。 MUSASHIのコマンドでより細かな変換をサポートした方が早そうです。 ただ、bashの問題は残りますが。。。 いずれにせよ、不確かな情報で混乱させてもいけませんので、こちらで詳細なチェックを実施します。 >P.S. >おうちのデスクトップPCが死亡しました。 >HDDが死にかけていたので土曜日に増設メモリと買って買えったのですが >完全に電源も入らなくなってしまいました... >どうやらマザーか電源(こちらも容量不足だったし)も買わないと復帰は無理そうです。 >あーぁかなり出費がイタい。 よくあるケースですね。 昔は、よく自分でどうにかしようと悪戦苦闘していたのですが、 このごろは、自分で復旧するのはあきらめて業者任せにしています。 出費はかさみますが。。。 ---- Yukinobu Hamuro hamur****@adm*****
