请问一下，查询万条数据，内存不断增长的解决方法。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 965 天前的主题，其中的信息可能已经有所发展或是发生改变。

node+mongoose ，利用 pm2 管理项目，内存限制 512MB 。业务是查询记录，然后导出 excel 。目前是手动将万条数据 id ，1000 条一组跑循环查询，放入数组，最后拿数组生成文件。但每次都内存超出，项目重启了。

查询

内存

mongoose

pm2

14 条回复 • 2022-04-11 10:14:53 +08:00

Dnlyao

2022-04-08 10:25:44 +08:00

let ids = []
let total = await TradeRecord.find(conditions).select('id').sort({'tradeAt': -1})
for (let item of total) {
ids.push(item._id)
}
for (let index = 1; index <= Math.floor(ids.length / 10) + 1; index++) {
let tradids = []
let i = index - 1 > 0 ? (index - 1) * 10 : 0
if ((index * 10) < ids.length) {
tradids = ids.slice(i, index * 10)
} else {
tradids = ids.slice(i)
}
if (tradids.length > 0) {

let ret = await TradeRecord.find({_id: {$in: tradids}})
.select('device organization restaurant user deploySite consumeInterval amount mainAccountAmount subsidyAmount giveFreeAmount balance subsidyBalance giveFreeBalance tradeAt sn deviceSerial subAccount supermarketConsume payMethod consumeType consumePayMethod deviceMode ')
.populate('organization', 'name')
.populate('restaurant', 'name')
.populate('deploySite', 'name')
.populate({
path: 'user',
select: 'department name type jobNumber cardUid fingerprint',
populate: {path: 'department', select: 'name'}
})

rowsbase.push(...ret)
}
}
}

代码如上