一提到快手,你可能脑海中会有两个场景:其一是在三四线城市,一些无所事事的人在一遍又一遍的拍着吃灯泡、跳泥坑等“搞笑”段子;其二是大爷大妈们在休息的时候,看着手机视频在那傻笑。 这至少是我身边的很多人对快手的印象,也是我在接触快手之前一直以为的事实。我看了一段时间快手之后,发现事实大大超过了我的想象。

Read More

大部分和大数据有过交集的工程师,应该都对流式计算(Streaming Processing)有所了解。 我对流式计算接触有限,只是在2016年的时候写过几个Spark Streaming的Job,以及测试过Apache Flink的一些基础用法。 好在计算机从业者的思维是一层一层的抽象,虽然抽象的方向不一样,但是不同的技术之间总是有很多共通的地方。 这里我把所接触到的和流式计算相关的零碎信息,抽象成构建Streaming Pipeline需要思考的三个问题。 如果把流式计算所要处理的Event/Message/Record比作水,这三个问题可以描述为水的顺流、汇集和回流。

Read More

我有这样的感觉,自己不经意间说的某些话,经常会被后来的经历或者感受反反复复的证实。大概在工作一年多的时候,大老板喊了几个人做日常的沟通,期间他问了一个问题,让我们每个人回答一下。这个问题是,什么是一个领域。我从来没有想过这个问题。当时我给的回答是,领域是一组类似需求的抽象。然后我又补了一句,不管这种需求是技术上的,还是非技术上的。

Read More

聊聊狗 2019-02-02

快过年了,我担心不太好打到车,就早早地就叫了车。结果就是提前三个小时到达了登机口。北京是熟悉的雾霾天。好在雾霾在进入了呼吸道的同时,也遮盖了原本灰尘遍布的树木高楼,让大家对雾霾的散去充满了期待。我想起了前阵子收到的一条微信提醒,说是我的公众号很久没有活跃过了(事实是从来没有活跃过),就百无聊赖的想聊聊我对狗的看法,当然也是因为,狗年就要结束了。

Read More

Java的好处之一是有大量的库可供开发者使用,然而,这些库通常都有较多版本,并且也往往会依赖其他的库。 使用Maven或者其他构建工具时,经常需要将这些依赖打包成一个Jar包,或者自己的Jar包与其他的Jar包同时放到Classpath中。 这些时候,很容易就会产生一个常见的问题,就是依赖的库不同的版本间会有冲突。

Read More