越努力越幸运

至尊宝：长夜漫漫无心睡眠，我以为只有我睡不着，原来晶晶姑娘呢也睡不着！

分布式文件系统GFS（google File Syste）

Google三大论文

论文地址：https://blog.csdn.net/together_cz/article/details/66969003 GFS是一个大规模分布式文件系统，具有容错的特性（机器崩溃后的处理），并且具有较高性能，能够响应众多的客户端。 1. 设计背景 因为机器众多，难免会有机器崩溃 存储的文件比较大 在文件后追加操作较多 主要包括两种读取 （read）操作：...

Posted by zhanghaichao on November 30, 2018

分布式存储系统BigTable

Google三大论文

Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级得数据。 1.数据模型 Bigtable是一个稀疏的，分布式的，持久化存储的多维度排序Map，Map的key是行关键字，列关键字以及时间戳组成，Map的value是一个未经解析的字节数组。 行(字符串) 同一个行关键字的读或者写都是原子的，Bigtab...

Posted by zhanghaichao on November 30, 2018

分布式处理框架MapReduce

Google三大论文

MapReduce是一个编程模型，用于大规模数据集（大于1TB）的并行运算。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值 1.定义 把Map和Reduce分开，它实现的主要思想也是依赖于Map(映射)和Reduc...

Posted by zhanghaichao on November 30, 2018

HBASE概述

在Java使用HBASE

物理视图 Java API configuration HBaseConfiguration是每一个hbase client都会使用到的对象，它代表的是HBase配置信息。它有两种构造方式： public HBaseConfiguration() public HBaseConfiguration(final Configuration c) 默认的构造方式会尝试从hbas...

Posted by zhanghaichao on November 30, 2018

qps计算

qps计算

qps(query per second),每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，在因特网上，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。 概念 pv 是指页面被浏览的次数，比如你打开一网页，那么这个网站的pv就算加了一次； tps是每秒内的事务数，比如执行了dml操作，那么相应的tps会增加； qps是指每秒内查询次数，比如执...

Posted by zhanghaichao on November 20, 2018

Java使用Protocol Buffers

高效数据压缩格式

1、介绍 pb是用于将结构化的数据序列化、反序列化。经经常使用于网络传输。 效率高 生成的是字节码文件 与json、xml等类似 2、编译器安装 github下载地址（v2.5.0） https://github.com/protocolbuffers/protobuf/tree/v2.5.0 releases版本i地址（v2.5.0） https://github.com...

Posted by zhanghaichao on November 20, 2018

FLink DataStream

在Java中使用flink流处理

数据源（Data Sources） StreamExecutionEnvironment.addSource(sourceFunction)来创建数据源。 通过实现SourceFunction来编写自定义的非并行数据源 通过实现ParallelSourceFunction接口或继承RichParallelSourceFunction来编写自定义并行数据源。 ...

Posted by zhanghaichao on November 20, 2018

vim 中的＂:wq＂和＂:x＂的区别

vim命令应用

“:x” 和 “:wq” 的区别如下： :wq 强制性写入文件并退出（存盘并退出 write and quite）。即使文件没有被修改也强制写入，并更新文件的修改时间。 :x 写入文件并退出。仅当文件被修改时才写入，并更新文件修改时间；否则不会更新文件修改时间。 这两者一般情况下没什么不一样，但是在编程方面，对编辑源文件可能会产生重要影响。因为文件即使没有修改，”:wq” 强...

Posted by zhanghaichao on October 16, 2018

Linux下文件加密压缩和解压

压缩命令应用

方法一：用tar命令 对文件加密压缩和解压 压缩： tar -zcf - filename |openssl des3 -salt -k password | dd of=filename.des3 此命令对filename文件进行加码压缩 生成filename.des3加密压缩文件， password 为加密的密码 解压： dd if=filename.des3 |open...

Posted by zhanghaichao on September 19, 2018

Leetcode——一手顺子

算法题解

题目描述： 爱丽丝有一手（hand）由整数数组给定的牌。 现在她想把牌重新排列成组，使得每个组的大小都是 W，且由 W 张连续的牌组成。 如果她可以完成分组就返回 true，否则返回 false。 示例 1： 输入：hand = [1,2,3,6,2,3,4,7,8], W = 3 输出：true 解释：爱丽丝的手牌可以被重新排列为 [1,2,3]，[2,3,4]...

Posted by zhanghaichao on September 19, 2018

FEATURED TAGS
markdown 标记语言 图像处理 算法 论文 Java springboot Json Linux 小工具 Hadoop 大数据 flink 流处理 数据压缩 杂项 数据库 Nosql 分布式
ABOUT ME

我们一起玩，顺便赚点钱，然后活到一百岁

✉️ zhanghaichao961@gmail.com

FRIENDS