为Fastify Node js实施负载保护

如何解决为Fastify Node js实施负载保护

故事：

作为一名开发人员，我想为Fastify实现负载保护，以便可以保护服务器负载免于服务器崩溃。

上下文：

对严重性能问题进行根本原因分析可能需要一些时间。对于实时部署的项目，值得为服务器或服务添加过载保护。过载保护的思想是监视事件循环延迟（除其他事项外），如果超过阈值，则响应“ 503 Service Unavailable”。这允许负载平衡器故障转移到其他实例，或者在最坏的情况下意味着用户将不得不刷新。 under-pressure模块可以为Fastify提供最小的开销。

问题：

under-pressure插件的主要目的是保护服务器免受高负载的侵害。我使用autocannon创建了一个假负载，服务器突然开始抛出此错误：

<--- JS stacktrace --->

==== JS stack trace =========================================

    0: ExitFrame [pc: 00007FF7D342A9AC]
Security context: 0x01b3e02408d1 <JSObject>
    1: _write [000001EBE7CBA7B1] [_stream_transform.js:~169] [pc=000002737CBBD07D](this=0x02fe03573099 <LineStream map = 00000149AA79E209>,0x00f819d83789 <Uint8Array map = 000002F9BBE3F279>,0x00c0496035d9 <String[#6]: buffer>,0x02fe03575639 <JSBoundFunction (BoundTargetFunction 000003C5D37BC781)>)        
    2: ondata [000002FE03577FC9] [_stream_readable.js:~712]...

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
 1: 00007FF7D28A363F napi_wrap+128063
 2: 00007FF7D2842836 v8::base::CPU::has_sse+35142
 3: 00007FF7D28434F6 v8::base::CPU::has_sse+38406
 4: 00007FF7D3059F4E v8::Isolate::ReportExternalAllocationLimitReached+94
 5: 00007FF7D3042021 v8::SharedArrayBuffer::Externalize+833
 6: 00007FF7D2F0E57C v8::internal::Heap::EphemeronKeyWriteBarrierFromCode+1436
 7: 00007FF7D2F197D0 v8::internal::Heap::ProtectUnprotectedMemoryChunks+1312
 8: 00007FF7D2F162F4 v8::internal::Heap::PageFlagsAreConsistent+3204
 9: 00007FF7D2F0BB13 v8::internal::Heap::CollectGarbage+1283
10: 00007FF7D2F0A184 v8::internal::Heap::AddRetainedMap+2452
11: 00007FF7D2F31E1F v8::internal::Factory::NewRawTwoByteString+95
12: 00007FF7D2F349CB v8::internal::Factory::NewStringFromUtf8+187
13: 00007FF7D305681A v8::String::NewFromUtf8+298
14: 00007FF7D27A9ABF node::tracing::TraceEventHelper::SetAgent+40751
15: 00007FF7D285A46D v8::internal::Malloced::operator delete+1661
16: 00007FF7D342A9AC v8::internal::SetupIsolateDelegate::SetupHeap+45852
17: 000002737CBBD07D

期望：

本来可以防止负载的fastify插件破坏了fastify服务器，需要其他插件的帮助或其他实现负载保护的方法

交叉发布到Github：https://github.com/fastify/under-pressure/issues/64

解决方法

如问题中所指出，所使用的配置正在禁用保护。

无论如何，我认为您应该评估它是否是外部API。

如果它是外部fastify-rate-limit，则最好限制每个租户可以对端点执行的每秒请求。 这对企业也有好处，因为您可以为每个客户提供不同的门槛。

正如您所指出的，内部API可以使用under-pressure，根据我的经验，最好的配置是：

const v8 = require('v8')

console.log(v8.getHeapStatistics())

fastify.register(require('under-pressure'),{
  maxEventLoopDelay: 200,// are you using sync method?!
  maxHeapUsedBytes: v8.getHeapStatistics().heap_size_limit,maxRssBytes: v8.getHeapStatistics().total_available_size
})

通过这种方式，该插件将适应使用所有default或自定义内存设置：

node --max-old-space-size=4096 server.js

请注意，Nodejs 12按照official post

中的说明使堆空间适应其运行的系统。

此更新将基于可用内存配置JavaScript堆大小，而不是使用V8为浏览器使用的默认值。在以前的版本中，除非进行配置，否则V8默认将32和64位平台上的最大堆大小分别限制为700 MB或1400 MB。根据可用内存配置堆大小可确保Node.js不会尝试使用超出可用内存的内存，并且不会在内存耗尽时终止。 这在处理大型数据集时特别有用。和以前一样，如果默认值不适用于您的应用程序，则仍然可以将max-old-space-size设置为使用其他限制。