在腾讯云 CDN 上服务被恶意攻击跑了 2T 流量

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

工单节点使用指南

• 请用平和的语言准确描述你所遇到的问题

• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类，尊重是相互的

• 如果是关于 V2EX 本身的问题反馈，请使用反馈节点

这是一个创建于 2636 天前的主题，其中的信息可能已经有所发展或是发生改变。

主要问题是，我在腾讯云 CDN 后台是设置了 QPS 限制为 100 （在发现攻击以后将 QPS 设置为 10 ）。检查了日志，攻击者主要使用 Vutlr 的肉鸡发动攻击，攻击者 IP 数量不超过 10 个，但是在遭受攻击的 1 小时之内攻击者发起了 4000 万次请求。简单的计算都能知道，这绝对远远不止 100 QPS。也就是说，腾讯云后台的 IP 访问限频配置 完全形同虚设。所以，我想确切了解一下，腾讯云 CDN 的 IP 访问限频配置 是否真的有效，是否真的能够抵御恶意刷流量的 CC 攻击。如果的确是腾讯云 CDN 没有抵抗 CC 攻击的能力、或者是技术故障，腾讯云客服给我报出的 690 元费用，我理应获得 50% 到 60% 的费用减免。

顺便说一句，腾讯云后台工单日常只会回复 您好，已经反馈后台，有新进展会工单反馈您，请您耐心等候。 。然而并没有给我有效的反馈，也没有确切告诉我腾讯云 CDN 节点上是否对 CC 攻击进行了拦截。

腾讯云客服甚至连是我接入的哪个域名受到了攻击都无法确定。。。

第 1 条附言 · 2017-09-15 00:01:29 +08:00

攻击者的几个 IP，其中部分购买了 Vutlr 高防。
45.76.232.143
45.76.232.146
45.63.92.168
45.32.95.61
45.63.124.112
45.76.147.80

第 2 条附言 · 2017-09-15 00:40:28 +08:00

假设我自己没有做任何 QPS 限制，那么是我自认倒霉，我也心安理得付 690 块钱。

实际上就是我之前就考虑了我可能遭遇 CC，提前设置了 100QPS。
当攻击发生十分钟以后，我甚至将 QPS 阈值降到了 10，但是攻击丝毫没有得到缓解。
直到攻击一小时后腾讯云放出上一小时的日志，我拉黑了六个 B 段 IP 才结束了攻击。

我在腾讯云后台的工单中，腾讯云客服和工程师一直支支吾吾和搪塞，拒绝告诉我他们节点关于 QPS 拦截相关的事实。

<-- 以上摘抄修改至我在 #5 的回复 -->

我问了问其它使用腾讯云 CDN 的人，他们也反应的确腾讯云的 QPS 限制就是形同虚设、毫无作用。

我认为，我要求费用减免丝毫不过分，毕竟这直接是腾讯云 CDN 节点的技术问题。我需要腾讯云专门的工程师给我一个令人信服的答案。

第 3 条附言 · 2017-09-15 15:24:58 +08:00

在 QQ 上和腾讯云客服上交流了一下，问题解决了。
总体来说腾讯云客服这一次的态度挺好的，他们的说法是在控制台的说明不明确导致了误解，给予了我一定量的补偿。我也同意这样的处置结果。
所以，大家可以散了。

CDN

攻击

qps

腾讯

52 条回复 • 2018-03-06 01:37:05 +08:00

mokeyjay

2017-09-15 00:02:24 +08:00

呜哇，心疼~

liuminghao233

2017-09-15 00:04:19 +08:00 via iPhone

计流量的 cdn 被 cc 肯定要吃亏的

UnisandK

2017-09-15 00:14:03 +08:00

既然设置了频率限制还被刷了，这个腾讯云是该担一部分责任了，关注一下

Xrong

2017-09-15 00:16:03 +08:00

老铁直接上百度云加速吧，对比下价格和服务你会发现真是国内良心厂家了。。。

neoFelhz

2017-09-15 00:20:35 +08:00 via Android

@UnisandK 假设我自己没有做任何 QPS 限制，那么是我自认倒霉，我也心安理得付 690 块钱。

实际上就是我之前就考虑了我可能遭遇 CC，提前设置了 100QPS。
当攻击发生十分钟以后，我甚至将 QPS 阈值降到了 10，但是攻击丝毫没有得到缓解。
直到攻击一小时后腾讯云放出上一小时的日志，我拉黑了六个 B 段 IP 才结束了攻击。

我在腾讯云后台的工单中，腾讯云客服和工程师一直支支吾吾和搪塞，拒绝告诉我他们节点关于 QPS 拦截相关的事实。

我认为，我要求 60% 的费用减免丝毫不过分，毕竟这很可能是腾讯云 CDN 节点的技术问题。

0ZXYDDu796nVCFxq

2017-09-15 00:24:50 +08:00 via iPhone

QPS 限制应该只能做到单机 /单集群吧，或者单机根据来源 IP 限制
全网节点怎么限制？需要实时共享全国 /全球服务器请求信息再决定是否响应请求，这除非有黑科技

所以如果对所有 IP 进行攻击，并不是全网 100 QPS
另外如果网站有较大的文件，QPS 作用不大

Zohar

2017-09-15 00:34:09 +08:00 via Android

心疼(´Д⊂ヽ

neoFelhz

2017-09-15 00:36:39 +08:00 via Android

@gstqc 他攻击的文件大小只有 92kb，肉鸡 IP 只有 10 个不到，其中大部分我都 append 了。
攻击者同时攻击了我绑定在又拍云上的另一个域名，但是又拍云只跑了 22G 流量攻击请求就被 QPS 阈值拦截了。
这不是黑科技，这是能实现的。

atc

2017-09-15 00:46:30 +08:00

心疼 lz
在别的地方也看到过企鹅云因攻击产生高额账单的事情，事实证明它技术就是不行，限制根本没卵用

hundan

2017-09-15 00:48:17 +08:00 via Android

我得说，我测试的时候是有效的。
之前我搭建了一个 hexo 放在腾讯云托管，加 cdn，qps 开启调到 10。然后，页面成功出错，在一秒内加载第十一个医院的时候出现了加载失败的情况，当时导致页面空白了。
因此我觉得，还是有点用的。

hundan

2017-09-15 00:49:17 +08:00 via Android

医院→资源

xcold

2017-09-15 00:50:48 +08:00

服务器层面做限流意义太小了~还是得靠机房和网络出口

MangozZ

2017-09-15 01:06:43 +08:00

流量计费 690 就不错了。。。
如果是宽带计费，分分钟彪到 9000.

https://www.qcloud.com/document/product/228/562
[DDoS 攻击或 CC 攻击造成带宽 /流量剧增时，10Gbps 以上部分予以免除。]
10Gbps=￥ 9000

togodo

2017-09-15 08:19:58 +08:00

腾讯一直是这个吊样子

whx20202

2017-09-15 09:12:19 +08:00

又拍云就是很给力啊 QOS 这块做的很好，我当时建站也考虑到了，然后就在阿里云提工单，但是阿里云的功能并不完善，最后选择了又拍云

又拍云还专门打电话我问是不是被攻击过，为何看重这点选择他们

metorm

2017-09-15 09:15:55 +08:00 via Android

心疼……

neoFelhz

2017-09-15 09:18:09 +08:00 via Android

@whx20202 #15
没错。我的另一个绑定在又拍云的域名昨天晚些时候也被 CC 攻击了，HTTPS 请求数 1700W，流量 64G，然而这部分攻击的流量根本没有算在我的账单里面。

tencentcloud

2017-09-15 09:21:06 +08:00

您好，您反映的问题正在为您核实跟进，请您留意稍后客服人员联系

tencentcloud

2017-09-15 09:21:47 +08:00

@neoFelhz 您好，您反映的问题正在为您核实跟进，请您留意稍后客服人员联系

chairuosen

2017-09-15 09:24:07 +08:00

看开一点，起码不是 800PB

Norie

2017-09-15 09:33:19 +08:00

估计你没有充云钻，开 SVIP 吧

woshinide300yuan

2017-09-15 09:53:06 +08:00

开个每日上限能死吗~ 各云 CDN 厂家都没有这个设定！

coolcoffee

2017-09-15 10:14:18 +08:00

@woshinide300yuan 会。不赚钱，公司就死了

18725769609

2017-09-15 10:26:59 +08:00 via Android

一般来说被打都是立刻关闭 CDN 封堵 IP 楼主以后自己长点心吧，这种问题腾讯云应该也会给你解决耐心等待吧

TestSmirk

2017-09-15 10:37:44 +08:00

吓得我赶紧看了一下我的 cdn,目前还稳定在 10mb 每天.

youxiachai

2017-09-15 10:38:54 +08:00

又拍云实力抢镜...

1024MB

2017-09-15 10:45:44 +08:00

腾讯云不是 10Gbps 以上部分予以免除嘛，耐心等待不就好了，在这里发这些有什么用，又不是不给处理，你来讨个公道什么的。在说了，处理问题本来就需要时间，又不是神。

wzh015

2017-09-15 10:48:31 +08:00

对于分布式 CDN 攻击现在大部分厂商及服务商都是无解的，一堆包扔过来，你知道那个是正常用户，那个是攻击包。道高一尺魔高一丈，有啥办法。而且感觉又拍云才是是楼主想表达的？

tanm

2017-09-15 10:53:37 +08:00

设置了还被刷，是因为攻击是瞬间的，服务商 5 分钟同步一次数据，那很大可能就是会有超出的，这个目前所有厂商好像都是一样计算的，最后要以实际发生的攻击计费。又拍云攻击的流量没有算在你的账单里面，会不会是 T+1 计费？另外告诉你个不需要提交工单的，网宿讨论组喊话需要了解可以交流下。。。

neoFelhz

2017-09-15 11:00:58 +08:00 via Android

@wzh015 #28 我怀疑你语文阅读没有过关。
我说了，攻击者只有 10 个 IP，一小时创造了 4000w 请求，远远超过了 100QPS。
腾讯云的日志是第二小时提供上一小时的日志的，所以我不得不在第二小时等日志出了才一口气拉黑了 6 个段结束了攻击。

wibile

2017-09-15 11:08:55 +08:00

@wzh015 理解力感人。。。。

wzh015

2017-09-15 11:11:31 +08:00

@neoFelhz 加了 CDN 能服务器能查看实时的访问 IP 吗？这个我不清楚诶？？？所以你是怪腾讯云提供的访问日志晚了？你是需要实时提供访问 ip 日志的？

youxiachai

2017-09-15 11:15:33 +08:00

@wzh015 上面有个又拍云成功案例...就是因为又拍云这样的小厂都能搞定..反而..腾讯这样大厂搞不定...lz 觉得说不过去..

0ZXYDDu796nVCFxq

2017-09-15 11:16:49 +08:00

@neoFelhz 其实攻击可能是这样发生的：
攻击者先抓了 CDN 全部的 IP
然后对所有 IP 发起请求，降低单个目标 IP 的请求频率
这样每个来源 IP 和目标 IP 的 QPS 只需要十来个，都能达到一小时 4000 万
比如 CDN 有 100 个 IP，那 40000000 / 100 个 CDN IP / 3600 秒 / 10 个攻击 IP = 11.1 QPS

主要的问题在于 QPS 限制的逻辑和架构

1024MB

2017-09-15 11:17:33 +08:00

@youxiachai 也就是说又拍云才是楼主想要说的重点？

youxiachai

2017-09-15 11:18:34 +08:00

@1024MB 因为上面有人说..这玩意技术上实现不了...lz 才举了又拍云这个例子...

8355

2017-09-15 11:36:57 +08:00

我们挂 app 下载的 OSS 高峰一个月也就 2T 多一点还是安卓推广以及更新频繁的时候主要下载 app 出的流量
贼恐怖哇

neoFelhz

2017-09-15 11:57:25 +08:00

@gstqc #33 腾讯云如果不是大客户，分配到的节点都很可怜的。
而且，我在后台检查了 CDN 后台的访客来源和 DNS 上的解析记录，他们都是通过正常 CNAME 解析拿到 IP 后发动攻击的。

talebook

2017-09-15 12:06:39 +08:00

作为腾讯云 CDN 团队研发人员，我来讲下：

1、腾讯云 CDN 的 IP 限频就是单 IP 单节点的 QPS 限制，不是全网的，分布式攻击的确会被刷流量。我们在 wiki 文档中有详细说明 https://www.qcloud.com/document/product/228/6420
2、我们检查了了后台的配置记录，基本上是 QPS 调整后，17:30 开始攻击流量就被限制住了（表现为 514 飙涨，200 剧降，流量剧降）

PS：我们之所以不做全局唯一 QPS 的限制，产品的考虑是：攻击经常是发生在单个 IP 的，分布式的限制能够让其他不被攻击的节点继续正常服务。全局 QPS 我们也是能做（实际上某些客户就是在用了），但是基于产品策略的考虑，我们没有公开出来。

PPS：我们控制台上的确没有做好引导提示，正在让前端小哥发版本修改了；我们尝试电话联系楼主，一直没打通电话。麻烦请楼主私信我。

@neoFelhz

neoFelhz

2017-09-15 12:18:56 +08:00

@talebook #38 我已经在腾讯云工单上说明了可以在 11:45 联系我，或者可以通过 QQ 和我联系。

zjlin1984

2017-09-15 12:31:39 +08:00

路过

techeek

2017-09-15 12:35:29 +08:00

刚刚细心看了下官方的文档，结合楼主的问题，得出如下结论，不吹不黑。
1、企鹅家（腾讯云）的 CDN 的 IP 限频是单 IP 单节点 QPS 限制，不是全网的，分布式攻击肯定会被刷流量。
2、100Qps 改成 10Qps 配置生效就需要时间，不是马上就生效的。
3、配置有没有帮助防护攻击，可以拉日志看下 514 数量，就知道有没有效。
个人见解，如有不对，希望各位提出。

Genteure

2017-09-15 12:39:57 +08:00

@talebook #39 产品的考虑是：攻击经常是发生在单个 IP 的，分布式的限制能够让其他不被攻击的节点继续正常服务。

这句话没有太理解。为什么全局限制会导致单个 IP 收到攻击时影响其他节点呢？
一个（请求者的） IP 在已经对 A 节点发起攻击的情况下，B 节点就算拒绝掉同 IP 来的请求也无所谓的吧？完全不需要考虑让 B 节点在这种情况下正常服务该 IP 发来的请求。

talebook

2017-09-15 13:14:06 +08:00 via iPhone

@Genteure QPS 不是按客户端 client_ip 统计的。

全局 QPS 限制是指，黑客攻击 A 节点，触发 QPS 限制后，如果有正常用户访问没被攻击的 B 节点，那么依旧会被限制住。

我们现在提供的是单节点单 IP 维度的 QPS，也就是说 A B 节点是独立统计 QPS 的，黑客攻击 A 节点，触发 QPS 限制后；如果有正常用户访问没被攻击的 B 节点，会能继续访问成功。

Genteure

2017-09-15 13:42:13 +08:00

@talebook #44
所以是假设设置了 10 QPS 的限制
用户 A （ IP A ）一秒访问了 10 次
用户 B （ IP B ）同一秒访问同一个节点就会被限制
这样的？
emmmmmm......

那你们文档上写的可是
“通过对每一个 IP 在每一个节点每一秒钟访问次数进行限制”（ https://www.qcloud.com/document/product/228/6420 ）

oneoo

2017-09-15 13:42:28 +08:00

提供单节点单 IP 唯独的 QPS 控制，是技术难度和实现成本都最低的方式。其实能有得提供也不错了，普通厂商连这个都没

而又拍提供的是单节点内 QPS 控制，在节点内使用共享计数器来进行统计的，实现难度和成本都高一些。当然跨节点，实现全局 QPS 控制我们在努力开发中，相信很快能提供给大家使用。

这点事没必要绕来绕去的，多点真诚~