追記：2009/06/10時点でも公式のソースは直ってない。新パッチ参照。

2008/10/05現時点での CVS からビルドした奴や 0.4.5-DEV として
出回ってる mp4box バイナリは4G以上のファイル出力で落ちる
バグある。

src/isomedia/stbl_write.c
 
--- stbl_write.c_    2008-08-20 22:57:55 +0900
+++ stbl_write.c    2008-09-27 21:57:54 +0900
@@ -1565,8 +1565,8 @@
         if (offset > 0xFFFFFFFF) {
             co64 = (GF_ChunkLargeOffsetBox *) gf_isom_box_new(GF_ISOM_BOX_TYPE_CO64);
             if (!co64) return GF_OUT_OF_MEM;
-            co64->nb_entries = stco->nb_entries + 1;
-            co64->offsets = (u64*)malloc(co64->nb_entries * sizeof(u64));
+            co64->nb_entries = co64->alloc_size = stco->nb_entries + 1;
+            co64->offsets = (u64*)malloc(co64->alloc_size * sizeof(u64));
             if (!co64->offsets) {
                 gf_isom_box_del((GF_Box *)co64);
                 return GF_OUT_OF_MEM;

でも当てとく必要がある。そのうち直されるんかも。