rwt的文章 第2页

2019年12月

CentOS7 关闭ipv6

rwt 发布于 2019-12-26

1.在/etc/sysctl.conf添加以下1行 echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf sysctl -p 2.ifconfig查看没有ipv6了 [root@controller...

阅读(1124)赞 (0)

2019年8月

分布式服务限流实战,已经为你排好坑了

8

rwt 发布于 2019-08-09

一、限流的作用 由于API接口无法控制调用方的行为,因此当遇到瞬时请求量激增时,会导致接口占用过多服务器资源,使得其他请求响应速度降低或是超时,更有甚者可能导致服务器宕机。 限流(Rate limiting)指对应用服务的请求进行限制,例如某一接口的请求限制为100个每秒,对超过...

阅读(1158)赞 (0)

2019年7月

SQL on Hadoop在快手大数据平台的实践与优化

40

rwt 发布于 2019-07-11

一、SQL on Hadoop介绍 SQL on Hadoop,顾名思义它是基于Hadoop生态的一个SQL引擎架构,我们其实常常听到Hive、SparkSQL、Presto、Impala架构,接下来,我会简单的描述一下常用的架构情况。 1、HIVE HIVE,一个数据仓库系统。...

阅读(1677)赞 (0)

2019年6月

Kafka如何实现每秒上百万的高并发写入?

5

rwt 发布于 2019-06-26

这篇文章来聊一下Kafka的一些架构设计原理,这也是互联网公司面试时非常高频的技术考点。 Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。 那么Kafka到底是如何做到这么高...

阅读(1428)赞 (0)

2019年6月

分布式消息队列差异化总结,太全了!

rwt 发布于 2019-06-19

本文将对Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ从17 个方面综合对比作为消息队列使用时的差异。 一、资料文档 Kafka:资料数量中等。有Kafka作者自己写的书,网上资料也有一些。 RabbitMQ:资料数量多。有一些不错的书,网上资料多...

阅读(1104)赞 (0)

2019年6月

荷兰ING银行DevOps转型之旅

rwt 发布于 2019-06-12

荷兰 ING 银行于 2015 年 6 月首次在总部引入敏捷的工作方式,并在一年后将其扩展到极少运用敏捷方法的IT基础设施和运营领域。这一举措不仅让银行 IT 运营更快速、更稳定,也大大提升了工作效率和员工参与度。 本次访谈中,麦肯锡的 Vito Di Leo 采访了荷兰 ING...

阅读(1111)赞 (0)

2019年6月

数据库并发2万就跪了?你需要这份指导性的知识框架

4

rwt 发布于 2019-06-12

2W 和 2K 差别有那么大吗? 嗯,真是有的。2K 并发的 MIS 系统也经常有无法访问,timeout 的异常,处理这些异常已经够很多朋友苦恼的了。2W+ 的并发那需要懂的知识框架就更复杂了。 前几年在一家拥有 500 多万直销顾问的团队做电商平台。平时的流量很平稳,基本都在...

阅读(1266)赞 (0)

2019年6月

当云服务融入分布式缓存系统架构,会擦出怎样的火花?

4

rwt 发布于 2019-06-06

在互联网技术中有两大支点,其中一个就是缓存,而分布式缓存系统更是大型互联网应用的利器。面对不断增长的海量数据、不可预知的流量模式以及快速响应时间的需求,这正是云计算服务的动态性之关键优势。 那么,当云服务融入分布式缓存系统架构,会碰撞出怎样的火花呢? 一、大型互联网应用中的缓存 ...

阅读(1113)赞 (2)

2019年4月

百 PB 级 Hadoop 集群存储空间治理

3

rwt 发布于 2019-04-29

现在这个世道,随便什么公司什么人都张嘴闭嘴大数据,连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。 但也真有不少公司是真的有足够大的数据量的,也确实是在用心做大数据。这些公司通常规模不小,但盈利不一定理想。就算能稳定盈利,也一定有不小的成本压力。因为,大数据,如果真的够大...

阅读(1204)赞 (0)