By

文章目录

前几天在维护一个nodejs写的命令行工具，要增加一个压缩zip文件时加密码功能。压缩文件时使用了archiver库，加密码使用了archiver-zip-encrypted库。在windows系统上测试时，发现会概率的出现以下异常：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
events.js:174 
throw er; // Unhandled 'error' event 
^

Error: file data stream has unexpected number of bytes 
at ByteCounter. (
xxx\node_modules\yazl\index.js:162:99) 
at ByteCounter.emit (events.js:194:15) 
at endReadableNT (_stream_readable.js:1103:12) 
at process._tickCallback (internal/process/next_tick.js:63:19) 
Emitted 'error' event at: 
at ByteCounter. (xxx\node_modules\yazl\index.js:162:85) 
at ByteCounter.emit (events.js:194:15) 
at endReadableNT (_stream_readable.js:1103:12) 
at process._tickCallback (internal/process/next_t

我的本机环境是：

1
2
npm：6.9.0
node: v10.16.3

在另外一个同事的windows系统上测试，他那边是上面异常必现，对应的node版本是v10.15。

具体使用的代码不贴了，基本上是参照官方demo来写的，压缩完成最后调用代码如下所示：

1
2
3
4
5
6
archive.finalize().then(() => {
    // 到这里认为是压缩完成，进行后续处理，实际并没有，参照后面分析
    anotherProcess();
}).catch(err => {
    // 压缩出现异常处理...
});

出现异常后一一检查代码和官方demo不一样的地方，并没有发现什么异常之处，网上搜索也没有发现这种异常记录。由于刚接触JS，不是很熟，就从问题开始下手，找到出现问题的代码，开始调试。

错误日志中提示是在yzal/index.js文件中发生异常，找到出现异常的代码如下所示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
function pumpFileDataReadStream(self, entry, readStream) {
  var crc32Watcher = new Crc32Watcher();
  var uncompressedSizeCounter = new ByteCounter();
  var compressor = entry.compress ? new zlib.DeflateRaw() : new PassThrough();
  var compressedSizeCounter = new ByteCounter();
  readStream.pipe(crc32Watcher)
            .pipe(uncompressedSizeCounter)
            .pipe(compressor)
            .pipe(compressedSizeCounter)
            .pipe(self.outputStream, {end: false});
  compressedSizeCounter.on("end", function() {
    entry.crc32 = crc32Watcher.crc32;
    if (entry.uncompressedSize == null) {
      entry.uncompressedSize = uncompressedSizeCounter.byteCount;
    } else {
      // 异常从这里抛出来的
      if (entry.uncompressedSize !== uncompressedSizeCounter.byteCount) return self.emit("error", new Error("file data stream has unexpected number of bytes"));
    }
    entry.compressedSize = compressedSizeCounter.byteCount;
    self.outputStreamCursor += entry.compressedSize;
    writeToOutputStream(self, entry.getDataDescriptor());
    entry.state = Entry.FILE_DATA_DONE;
    pumpEntries(self);
  });
}

从上面代码可以看出来：uncompressedSizeCounter.byteCount是从pumpFileDataReadStream()函数readStream参数中获取的属性值，而entry.uncompressedSize也是函数的entry参数中获取的属性。接着找pumpFileDataReadStream()函数是从哪里调用的。

通过输出日志得出pumpFileDataReadStream()函数是在以下面的代码中被调用的：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
ZipFile.prototype.addFile = function(realPath, metadataPath, options) {
  var self = this;
  metadataPath = validateMetadataPath(metadataPath, false);
  if (options == null) options = {};

  var entry = new Entry(metadataPath, false, options);
  self.entries.push(entry);
  fs.stat(realPath, function(err, stats) {
    if (err) return self.emit("error", err);
    if (!stats.isFile()) return self.emit("error", new Error("not a file: " + realPath));
    // 这里是文件的大小
    entry.uncompressedSize = stats.size;
    if (options.mtime == null) entry.setLastModDate(stats.mtime);
    if (options.mode == null) entry.setFileAttributesMode(stats.mode);
    entry.setFileDataPumpFunction(function() {
      // readStream在这里创建的
      var readStream = fs.createReadStream(realPath);
      entry.state = Entry.FILE_DATA_IN_PROGRESS;
      readStream.on("error", function(err) {
        self.emit("error", err);
      });
      // 在这里被调用
      pumpFileDataReadStream(self, entry, readStream);
    });
    pumpEntries(self);
  });
};

从上面代码可以看出来entry.uncompressedSize是stats.size，即文件的大小，readStream是创建的文件流。但是在什么情况下两者会不一样呢？感觉只可能在文件还没有读取完，但是是什么原因导致这种情况发生？由于对JS接触的时间不长，没有进行深入分析。最后在抛出异常的上面一行用console.log将两个属性的大小值都输出，代码如下所示：

1
2
3
4
5
6
7
if (entry.uncompressedSize == null) {
      entry.uncompressedSize = uncompressedSizeCounter.byteCount;
} else {
  // 增加日志输出
  console.log("entry size: " + entry.uncompressedSize + ", uncompressedSize: " + uncompressedSizeCounter.byteCount);
  if (entry.uncompressedSize !== uncompressedSizeCounter.byteCount) return self.emit("error", new Error("file data stream has unexpected number of bytes"));
}

在archive.finalize()时和output写入流的close事件时(详细参照官方的示例代码)，分别加上日志输出，代码如下所示：

1
2
3
4
5
6
7
8
9
10
11
12
13
archive.finalize().then(() => {
  // 到这里认为是压缩完成，进行后续处理，实际并没有，参照后面分析
  console.log("finalize");
  // anotherProcess();
}).catch(err => {
    // 压缩出现异常
});

output.on('close', function() {
  console.log('close');
  // 这个业务函数与上面finalize函数中的是互斥，不会同时存在
  anotherProcess();
});

最后分别将anotherProcess()函数加到两个异步回调中执行，发现在close事件执行时，两个size输出的大小一致，都是文件的大小。而在finalize场景测试发现uncompressedSize要小于文件的大小。最后将anotherProcess()函数放在close事件回调函数中执行，问题解决。

文章目录