目录
Hash
加密:(对称加密、非对称加密)
对称加密:
非对称加密
Base64
压缩与解压缩
序列化
Hash定义
散列函数(英语:Hash function)又称散列算法、哈希函数,是一种从任何一种数据中创建小的数字“指纹”的方法。散列函数把消息或数据压缩成摘要,使得数据量变小,将数据的格式固定下来。该函数将数据打乱混合,重新创建一个叫做散列值(hash values,hash codes,hash sums,或hashes)的指纹。散列值通常用一个短的随机字母和数字组成的字符串来代表。好的散列函数在输入域中很少出现散列冲突。在散列表和数据处理中,不抑制冲突来区别数据,会使得数据库记录更难找到。 —— Wikipedia-Hash
简单来说就是 Hash 这种算法可以把任意数据转换成指定的大小范围(通常在256字节以内)的数据。
作用
Hash 把数据压缩成摘要,因此最主要用途是数字指纹。
实际用途
- 唯一性验证:Java 中的 hashCode() 方法。
- 数据完整性验证:从网络下载文件时,为防止文件传输中丢失,文件提供方都会给出完整文件的 hash 值,用于完整性校验
- 快速查找:HashMap
- 隐私保护:当重要数据必须暴露时,可以选择暴露它的 Hash 值(MD5、SHA2等),例如网站登录时,可以只保存用户密码的 Hash 值,每次登录时只需将密码的 Hash 值和数据库中的 Hash 值作比较,网站无需存储用户密码,这样在网站数据被盗时可以有效防止撞库等风险
Hash 算法是一种单向的函数。它可以把任意数量的数据转换成固定长度的“指纹”,这个过程是不可逆的。而且只要输入发生改变,哪怕只有一个bit,输出的 hash值也会有很大不同。这种特性恰好合适用来用来保存密码。因为我们希望使用一种不可逆的算法来加密保存的密码,同时又需要在用户登陆的时候验证密码 是否正确。
还需要注意的是用来保护密码的hash函数跟数据结构课上见过的hash函数不完全一样。比如实现hash表的hash函数设计的目的是快速,但是不够安 全。只有加密hash函数(cryptographic hash functions)可以用来进行密码的hash。这样的函数有SHA256, SHA512, RipeMD, WHIRLPOOL等,推荐sha256。
我们平常最常听到的hash是指hash值,最常用的是md5的hash值,网上也有很多破解md5明文的网站。
如果你准备写认证系统,那么我参考freebuf上的文章做如下推荐:https://www.freebuf.com/articles/web/28527.html
存储一个密码:
1, 使用CSPRNG生成一个长的随机盐。 (盐的长度与hash值的长度相同,256位)
2, 将密码和盐拼接在一起,使用标准的加密hash函数比如SHA256进行hash
3, 将盐和hash记录在用户数据库中
验证一个密码:
1, 从数据库中取出用户的盐和hash
2, 将用户输入的密码和盐按相同方式拼接在一起,使用相同的hash函数进行hash
3, 比较计算出的hash跟存储的hash是否相同。如果相同则密码正确。反之则密码错误。
Hash 是编码吗?
不是。Hash 是单向过程,Hash 值不可逆向成数据(4GB 大小的一个 mkv 文件,Hash 值也只是一个字符串而已,不可能从这个字符串恢复成原文件),因此 Hash 不属于编码。
Hash 是加密吗?
不是。加密和解密是对应的,Hash 是单向过程,无法进行逆向操作,因此 Hash 不属于加密。
加密:(对称加密、非对称加密)加密的目的就是让密文是不可逆的,除非你掌握了相关密钥。
加解密的算法分为2种:对称加密算法和非对称加密算法
对称加密:通信双方使用同一个秘钥,使用加密算法配合上秘钥来加密,解密时使用加密过程的完全逆过程配合秘钥来进行解密。
- 原理:使用密钥和加密算法对数据进行转换,得到无意义的数据即密文;使用密钥和解密算法对密文进行逆向转换,得到原数据
- 经典算法:DES(56位秘钥,秘钥太短而逐渐被弃用),AES(128位、192位、256位秘钥,现在最流行)
- 对称加密作用:加密通信,防止信息在不安全网络上被截获后,信息被人读取或篡改
对称加密(如AES)的破解:
破解思路:
- 拿到一组或多组原文-密文对
- 设法找到一个秘钥,这个秘钥可以将这些原文-密文对中的原文加密为密文,以及将密文解密为原文的组合,即为成功破解
反破解:
一种优秀的对称加密算法的标准是,让破解者找不到比穷举法(暴力破解法)更有效的破解手段,并且穷举法的破解时间足够长(比如数千年)
非对称加密非对称加密可以说是现代计算机网路通讯的安全基石,无论你是否了解或者听说过它,只要你使用联网的电子设备,就会用到它。
非对称加密算法有公钥和私钥。使用时建议使用RSA2048,这个安全的(RSA1024目前是安全的,不过随着技术的发展,就不好说了)
如果用私钥对信息进行加密,是做为加密来使用的,也就是说让密文不可破解
如果用公钥对信息进行加密,就是为了做签名来使用的,签名的目的是使得这个过程不可篡改,不可抵赖,不可伪造,下面简单介绍一下签名:
签名:百度上的以sha编码加密为例(1) 被发送原文用HASH产生128bit的数字摘要。
(2) 发送方用自己的私用密钥对摘要再加密,这就形成了数字签名。
(3) 将原文和加密的摘要同时传给对方。
(4) 对方用发送方的公共密钥对摘要解密,同时对收到的文件用SHA编码加密产生又一摘要。
(5) 将解密后的摘要和收到的文件在接收方重新加密产生的摘要相互对比。如两者一致,则说明传送过程中信息没有被破坏或篡改过。否则不然。
- 原理:使用公钥对数据进行加密得到密文;使用私钥对数据进行解密得到原数据。
- 经典算法:RSA,ElGamal
使用非对称加密通信,可以在不可信网络上将双方的公钥传给对方,然后在发消息前分别对消息使用对方的公钥来加密和使用自己的私钥来签名,做到不可信网络上的可靠秘钥传播及加密通信。
用一个简单的例子来解释一下非对称加密:A 要发送一个消息110
给 B,B 自己先生成一对密钥(公钥p 和 私钥q),这对密钥有一个对应关系,那就是 p+q=10,这里假设(p=4;q=6),B 把公钥 4 发给 A,A 再把110
每位加 4 变成密文554
发给 B,然后 B 拿到密文554
之后使用私钥每位加 6 变成111110
然后把每一位的结果 -10 得到110
,这样 B 就拿到了原文。
同理,B 如果要给 A 发送消息,那么 B 就用 A 的公钥加密消息发给 A,然后 A 再用自己的私钥解密消息就好了,所以非对称加密的安全关键就是私钥不对外公开并且只有自己的私钥才能解自己的公钥,这样就解决了对称加密通讯中密钥传输丢失的风险,因为 A 根本不需要把私钥发送给 B,而发送出去的公钥不能用来解密消息。以上示例的整个通讯过程就是非对称加密通讯的核心思想。
上图的模型中加密算法就是加法,公钥就是 4,私钥就是 6,其中加密算法和公钥是公开的,示例模型中拿到公钥和密文是可以推导出原数据的,而实际应用中的加密算法十分复杂并且通过公钥和密文无法推导出原数据,具体可以参考非对称加密算法 RSA 的算法原理。
签名和验证
通过了解非对称加密我们可以知道同一对密钥中私钥是可以解公钥的,那么思考一下公钥是否可以解私钥?我们不妨仔细看一下非对称加密解密过程:
如上图所示,A 通过公钥+加密算法得到 B,B 通过私钥+加密算法得到 C,因为 C = A,所以用公钥再加密一下 C 就可以得到 B 而形成一个循环,所以公钥也可以解私钥加密的数据。
于是,我们就可以用私钥给数据做签名,然后对方收到签名数据用公钥解密做校验;在实际应用中由于文件大小的不可控,给文件直接签名效率很低,所以一般都是给文件的 hash 值做签名,因为 hash 的最主要用途就是数字指纹,因此通过比对两个文件的 hash 值是否相等来校验两个文件是否相等是普遍的文件校验手段。通过非对称加密来签名和校验文件的过程如下:
从上图中不难看出,我们给数据签名的目的只有一个:保证接受方收到的数据就是我发出去的数据,中途没有丢失或被篡改。 我们从大部分网站上下载一些文件,为安全起见一般他们都会给出文件的 hash 值,用来和你下载到本地的文件做完整性和一致性的校验。 所以给文件签名的逻辑就是:我要发送一个文件给对方,那我怎么保证我的文件不会被篡改或丢失?把文件的 hash 也发过去。那我怎么保证我的 hash 不会被篡改?把 hash 进行签名和文件一起发过去。
非对称加密的优缺点:
- 优点:可以在不安全网络上传输秘钥
- 缺点:计算复杂,因此性能相比相比对称加密差很多
非对称加密破解思路:
Base64
定义
Base64是一种基于64个可打印字符来表示二进制数据的表示方法。由于 {\displaystyle 2^{6}=64} {\displaystyle 2^{6}=64},所以每6个比特为一个单元,对应某个可打印字符。3个字节有24个比特,对应于4个Base64单元,即3个字节可由4个可打印字符来表示。它可用来作为电子邮件的传输编码。在Base64中的可打印字符包括字母A-Z、a-z、数字0-9,这样共有62个字符,此外两个可打印符号在不同的系统中而不同。一些如uuencode的其他编码方法,和之后BinHex的版本使用不同的64字符集来代表6个二进制数字,但是不被称为Base64。 —— Wikipedia-Base64
简单理解就是 Base64 是一种能将二进制数据转换成有 64 个字符组成的字符串的编码算法。
算法
将原数据每 6 位对应成 Base 64 索引表中的一个字符并编排成一个字符串(每个字符 8 位)。
Base64 索引表:
编码“Man”
末尾补齐
用途
- 将二进制数据的存储方式和传输途径进行了扩充(例如可以把图片经过编码保存到文本文件、可以通过聊天对话框或短信形式发送、可以在 URL 中加入简单的二进制数据)
- 普通的字符串在经过 Base64 编码后结果会变得肉眼不可读,因此适用于一定条件下的防偷窥
缺点
因为自身原理(6 位变 8 位),因此每次 Base64 编码之后,数据都会增大约 1/3,所以会影响存储和传输性能。
变种:Base58
比特币使用的编码方式,去掉了 Base64 中的数字 “0”,大写字母 “O”,大写字母 “I”,和小写字母 “l”,以及 “+” 和 “/” 符号,用于比特币地址的表示。
Base58 对于 Base64 的改动,主要目的在于用户的便携性。由于去掉了难以区分的字符,使得 Base58 对于“人工抄写”更加友好。另外,去掉了“+”、“/”号后也让大多数如软件可以方便的双击选取。
压缩与解压缩含义
- 压缩:将数据使用更具有存储优势的编码算法进行编码。
- 解压缩:将压缩数据解码还原成原来的形式,以方便使用。
目的
减小数据占用的存储空间。
示例
将下面的文本内容压缩:
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaabbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
使用某种算法压缩后结果为:
compress:a:1024;b:105
注:实际应用场景中的压缩算法非常复杂,上面只是一种演示原型。
压缩是编码吗?
是。所谓编码,即把数据从一种形式转换为另一种形式。压缩过程属于编码过程,解压缩过程属于解码过程。
常见的压缩算法
JPEG、MP3、MP4 等。
序列化把数据对象(一般是内存中的,例如 JVM 中的对象)转换成字节序列的过程。对象在程序内存里的存放形式是散乱的(存放在不同内存区域、并且由引用进行连接),通过序列化可以把内存中的对象转换成一个字节序列,从而使用 byte[] 等形式进行本地存储或网络传输,在需要的时候进行重新组装(反序列化)来使用。
目的
让内存中的对象可以被存储和传输。