【C++】哈希(2万字)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
目录
前言
unordered系列关联式容器
unordered_map
unordered_map的文档介绍
unordered_map的接口说明
unordered_set
底层结构
哈希概念
哈希冲突
哈希函数
哈希冲突解决
闭散列
线性探测的实现并改造
二次探测
开散列
开散列概念
开散列实现并改造 + 迭代器的实现
开散列增容
开散列与闭散列比较
不同的类型转换成整型的操作
MyOrderedMap.h
MyOrderedSet.h
哈希的应用
位图
位图概念
位图的实现
位图应用
布隆过滤器
布隆过滤器提出
布隆过滤器概念
布隆过滤器的插入
布隆过滤器的查找
布隆过滤器删除
布隆过滤器优点
布隆过滤器缺陷
布隆过滤器的面试题
哈希切割
总结
前言
世上有两种耀眼的光芒,一种是正在升起的太阳,一种是正在努力学习编程的你!一个爱学编程的人。各位看官,我衷心的希望这篇博客能对你们有所帮助,同时也希望各位看官能对我的文章给与点评,希望我们能够携手共同促进进步,在编程的道路上越走越远!
提示:以下是本篇文章正文内容,下面案例可供参考
unordered系列关联式容器
在C++98中,STL提供了底层为红黑树结构的一系列关联式容器,在查询时效率可达到$log_2 N$,即最差情况下需要比较红黑树的高度次,当树中的节点非常多时,查询效率也不理想。最好 的查询是,进行很少的比较次数就能够将元素找到,因此在C++11中,STL又提供了4个 unordered系列的关联式容器,这四个容器与红黑树结构的关联式容器使用方式基本类似,只是其底层结构不同,本文中只对unordered_map和unordered_set进行介绍, unordered_multimap和unordered_multiset学生可查看文档介绍。
unordered_map
unordered_map的文档介绍
unordered_map文档介绍
- unordered_map是存储键值对的关联式容器,其允许通过keys快速的索引到与其对应的value。
- 在unordered_map中,键值通常用于惟一地标识元素,而映射值是一个对象,其内容与此键关联。键和映射值的类型可能不同。
- 在内部,unordered_map没有对按照任何特定的顺序排序,为了能在常数范围内找到key所对应的value,unordered_map将相同哈希值的键值对放在相同的桶中。
- unordered_map容器通过key访问单个元素要比map快,但它通常在遍历元素子集的范围迭 代方面效率较低。
- unordered_maps实现了直接访问操作符(operator[]),它允许使用key作为参数直接访问 value。
- 它的迭代器至少是前向迭代器。
unordered_map的接口说明
1. unordered_map的构造
| 函数声明 | 功能介绍 |
| unordered_map | 构造不同格式的unordered_map对象 |
2. unordered_map的容量
| 函数声明 | 功能介绍 |
| bool empty() const | 检测unordered_map是否为空 |
| size_t size() const | 获取unordered_map的有效元素个数 |
3. unordered_map的迭代器
| 函数声明 | 功能介绍 |
| begin | 返回unordered_map第一个元素的迭代器 |
| end | 返回unordered_map最后一个元素下一个位置的迭代器 |
| cbegin | 返回unordered_map第一个元素的const迭代器 |
| cend | 返回unordered_map最后一个元素下一个位置的const迭代器 |
4. unordered_map的元素访问
| 函数声明 | 功能介绍 |
| operator[] | 返回与key对应的value,没有一个默认值 |
注意:该函数中实际调用哈希桶的插入操作,用参数key与V()构造一个默认值往底层哈希桶中插入,如果key不在哈希桶中,插入成功,返回V(),插入失败,说明key已经在哈希桶中, 将key对应的value返回。
5. unordered_map的查询
| 函数声明 | 功能介绍 |
| iterator find(const K& key) | 返回key在哈希桶中的位置 |
| size_t count(const K& key) | 返回哈希桶中关键码为key的键值对的个数 |
注意:unordered_map中key是不能重复的,因此count函数的返回值最大为1
6. unordered_map的修改操作
| 函数声明 | 功能介绍 |
| insert | 向容器中插入键值对 |
| erase | 删除容器中的键值对 |
| void clear() | 清空容器中有效元素个数 |
| void swap(unordered_map&) | 交换两个容器中的元素 |
7. unordered_map的桶操作
| 函数声明 | 功能介绍 |
| size_t bucket count()const | 返回哈希桶中桶的总个数 |
| size_t bucket size(size_t n) const | 返回n号桶中有效元素的总个数 |
| size_t bucket(const K& key) | 返回元素key所在的桶号 |
unordered_set
unordered_set文档介绍
底层结构
unordered系列的关联式容器之所以效率比较高,是因为其底层使用了哈希结构。
哈希概念
顺序结构以及平衡树中,元素关键码与其存储位置之间没有对应的关系,因此在查找一个元素 时,必须要经过关键码的多次比较。顺序查找时间复杂度为O(N),平衡树中为树的高度,即 O($log_2 N$),搜索的效率取决于搜索过程中元素的比较次数。
理想的搜索方法:可以不经过任何比较,一次直接从表中得到要搜索的元素。
如果构造一种存储结构,通过某种函数(hashFunc)使元素的存储位置与它的关键码之间能够建立 一一映射的关系,那么在查找时通过该函数可以很快找到该元素。
当向该结构中:
- 插入元素:根据待插入元素的关键码,以此函数计算出该元素的存储位置并按此位置进行存放
- 搜索元素:对元素的关键码进行同样的计算,把求得的函数值当做元素的存储位置,在结构中按此位置取元素比较,若关键码相等,则搜索成功
该方式即为哈希(散列)方法,哈希方法中使用的转换函数称为哈希(散列)函数,构造出来的结构称 为哈希表(Hash Table)(或者称散列表)
例如:数据集合{1,7,6,4,5,9};
哈希函数设置为:hash(key) = key % capacity;capacity为存储元素底层空间总的大小。
用该方法进行搜索不必进行多次关键码的比较,因此搜索的速度比较快。
哈希冲突
对于两个数据元素的关键字$k_i$和 $k_j$(i != j),有$k_i$ != $k_j$,但有:Hash($k_i$) == Hash($k_j$),即:不同关键字通过相同哈希函数计算出相同的哈希地址,该种现象称为哈希冲突 或哈希碰撞。
比如:5、25、45分别去%20,映射的位置都是5。
哈希函数
引起哈希冲突的一个原因可能是:哈希函数设计不够合理。
哈希函数设计原则:
- 哈希函数的定义域必须包括需要存储的全部关键码,而如果散列表允许有m个地址时,其值域必须在0到m-1之间
- 哈希函数计算出来的地址能均匀分布在整个空间中
- 哈希函数应该比较简单
常见哈希函数:
1. 直接定址法--(常用)一一映射
- 取关键字的某个线性函数为散列地址:Hash(Key)= A*Key + B
- 优点:简单、均匀
- 缺点:需要事先知道关键字的分布情况
- 使用场景:适合查找比较小且连续的情况
2. 除留余数法--(常用)
- 设散列表中允许的地址数为m,取一个不大于m,但最接近或者等于m的质数p作为除数, 按照哈希函数:Hash(key) = key% p(p 在实践当中string经常做key,所以做特化
template
struct HashFunc
{
size_t operator()(const string& s)
{
size_t hash = 0;
for (auto e : s)
{
hash += e;
hash *= 131;
}
return hash;
}
};
// stoi:只有阿拉伯的字符串数字"1224546"才能用stoi;像"比特"就不能用stoi
// 将字符串强制转换成整型
//struct HashFuncString
//{
// size_t operator()(const string& s)
// {
// // "abcd"
// // "bcad"
// // "aadd"
// size_t hash = 0;
// for (auto e : s)
// {
// // 将字符串中的每个字符ascll码值加起来
// hash += e;
// hash *= 131;// 这样可以避免ascll码值相加相等的情况
// }
//
// return hash;
// }
//};
// 参数三:默认缺省的仿函数Hash,没有传确定的仿函数,就用缺省的发仿函数HashFunc
template
class HashTable // 类模板名:哈希表
{
public:
HashTable(size_t size = 10)
{
_tables.resize(size);// 使用resize的话,size和capcacity就相等了
}
HashData* Find(const K& key)
{
Hash hs; // 仿函数的对象
// 线性探测
size_t hashi = hs(key) % _tables.size();
while (_tables[hashi]._state != EMPTY)
{
if (key == _tables[hashi]._kv.first
&& _tables[hashi]._state == EXIST)
{
return &_tables[hashi];
}
++hashi;// 如果++超出size,则取模从头再来
hashi %= _tables.size();
}
return nullptr;
}
bool Insert(const pair& kv)
{
// 如果已经有了,就返回false
if (Find(kv.first))
return false;
// 扩容的问题 不强制类型转换成double的话,会有7/10==0的情况
//if ((double)_n / (double)_tables.size() >= 0.7)
if (_n * 10 / _tables.size() >= 7)
{
// 方法一:
//size_t newSize = _tables.size() * 2;
// 不能在原表的空间上扩容空间,因为这样会使映射关系混乱
//vector newTables(newSize); // 需要重新开辟一块新空间
遍历旧表,重新映射到新表,那么就得此处再次写一遍线性探测的代码,再让两个表交换一下
....
//_tables.swap(newTables);
// 方法二:
HashTable newHT(_tables.size() * 2);
// 遍历旧表,插入到新表
for (auto& e : _tables)
{
if (e._state == EXIST)
{
newHT.Insert(e._kv);
// 这里新表调用Insert()函数,并不会陷入死循环,因为空间*2倍之后,不会再次进入if判断条件了
// 直接复用线性探测的代码
}
}
_tables.swap(newHT._tables);// 交换两表,那么旧表出了作用域就会调用析构函数,旧表数据会被释放
}
Hash hs;
// 线性探测
size_t hashi = hs(kv.first) % _tables.size(); // 除和取模都不能除或取模0
// 这里要模取的是size,而不是capacity;假设表中的capacity和size是不一样的,
// 放值是需要[]的,[]会检查i _state = DELETE; // 直接改状态就相当于删除了
return true;
}
else
{
return false;
}
}
private:
vector _tables;
size_t _n = 0; // 实际存储的数据个数
};
思考:哈希表什么情况下进行扩容?如何扩容?
- 哈希冲突越多,效率就越低。
- 负载因子/载荷因子 = 实际存进去数据个数/表的大小。
- 闭散列(开放定址法):负载因子一般会控制在0.7左右。
线性探测优点:实现非常简单。
线性探测缺点:一旦发生哈希冲突,所有的冲突连在一起,容易产生数据“堆积”,即:不同关键码占据了可利用的空位置,使得寻找某关键码的位置需要许多次比较,导致搜索效率降低。
二次探测
线性探测的缺陷是产生冲突的数据堆积在一块,这与其找下一个空位置有关系,因为找空位置的方式就是挨着往后逐个去找,因此二次探测为了避免该问题,找下一个空位置的方法 为:$H_i$ = ($H_0$ + $i^2$ )% m, 或者:$H_i$ = ($H_0$ - $i^2$ )% m。其中:i = 1,2,3…, $H_0$是通过散列函数Hash(x)对元素的关键码 key 进行计算得到的位置,m是表 的大小。
对于下图中如果要插入44,产生冲突,使用解决后的情况为:
研究表明:当表的长度为质数且表装载因子a不超过0.5时,新的表项一定能够插入,而且任 何一个位置都不会被探查两次。因此只要表中有一半的空位置,就不会存在表满的问题。在 搜索时可以不考虑表装满的情况,但在插入时必须确保表的装载因子a不超过0.5,如果超出必须考虑增容。
因此:闭散列最大的缺陷就是空间利用率比较低,这也是哈希的缺陷。
开散列
开散列概念
开散列法又叫链地址法(开链法),首先对关键码集合用散列函数计算散列地址,具有相同地址的关键码归于同一子集合,每一个子集合称为一个桶,各个桶中的元素通过一个单链表链接起来,各链表的头结点存储在哈希表中。
从上图可以看出,开散列中每个桶中放的都是发生哈希冲突的元素。
开散列实现并改造 + 迭代器的实现
template struct HashFunc // 仿函数:将key转换成整型 { size_t operator()(const K& key) { return (size_t)key;// 不传参数三,默认将key强转成整型 } }; // 特化 ---> 在实践当中string经常做key,所以做特化 template struct HashFunc { size_t operator()(const string& s) { size_t hash = 0; for (auto e : s) { hash += e; hash *= 131; } return hash; } }; // 哈希桶 namespace hash_bucket { // T -> K // T -> pair template struct HashNode { HashNode* _next; T _data; HashNode(const T& data) :_next(nullptr) , _data(data) {} }; // 编译器有一个原则:先定义或先声明,再使用。 // 在使用一个变量、类型、函数,要先定义或先声明,再使用。因为编译器为了提高编译速度,有一个原则, // 比如:在使用一个变量、类型或函数时,编译器只会向上找,不会向下找,只向上找,编译速度会快很多。 // 下面__HTIterator类模板中使用了HashTable,在上面没有HashTable的定义, // 所以编译器会报错,因为编译器不认识HashTable。 // 类里面是不受影响的,因为类里面的规则,是在整个类域里面进行查找,编译器把类域当成一个整体。 // 那我们如果把整个HashTable类模板放在__HTIterator类模板之前,也会有问题, // 因为HashTable类模板中也使用了__HTIterator类型,这个地方就是一个经典的互相引用。 // 那么这时候就只能增加一个前置声明 // 前置声明(声明中不能有缺省值) template class HashTable; template struct __HTIterator { typedef HashNode Node; typedef HashTable HT; typedef __HTIterator Self; Node* _node; HT* _ht; __HTIterator(Node* node, HT* ht) :_node(node) , _ht(ht) {} T& operator*() { return _node->_data; } T* operator->() { return &_node->_data; } // 返回的是哈希表中对应的元素 Self& operator++() { // 当前哈希表所在位置的桶没有走完 if (_node->_next) { // 当前桶还是节点 _node = _node->_next; } else { // 当前桶走完了,找下一个桶 KeyOfT kot; Hash hs; // _tables是HashTable的私有,所以_tables无法使用。我们可以采用友元的方法 size_t hashi = hs(kot(_node->_data)) % _ht->_tables.size(); // 找下一个桶 hashi++; while (hashi _tables.size()) { if (_ht->_tables[hashi]) { _node = _ht->_tables[hashi]; break; } hashi++; } // 后面没有桶了 if (hashi == _ht->_tables.size()) { _node = nullptr; } } return *this; } bool operator!=(const Self& s) { return _node != s._node; } }; // 参数三:仿函数,对于set来说,返回key;对于map来说,返回pair中的key // 参数四:转换成整型的仿函数 template class HashTable { // 迭代器想要使用哈希表,就得把迭代器变成哈希表的友元 template friend struct __HTIterator;// 普通类的友元,只有这一行代码;类模板的友元,得把模板参数声明一下 typedef HashNode Node; public: typedef __HTIterator iterator; iterator begin() { for (size_t i = 0; i _next; delete cur; cur = next; } _tables[i] = nullptr; } } pair Insert(const T& data) { KeyOfT kot; // 此时Find()函数返回的是迭代器,不能转换成bool值,所以要拿迭代器进行比较 // 之前Find()函数返回的是节点的指针,可以隐式类型转换成bool值 /* if (Find(kot(data)) != end()) return false;*/ iterator it = Find(kot(data)); if (it != end()) return make_pair(it, false); Hash hs; // 负载因子到1就扩容 if (_n == _tables.size()) { // 创建一个新表 vector newTables(_tables.size() * 2, nullptr);// 调用HashTable的构造函数 for (size_t i = 0; i _next;// 保存下一个节点 // 头插到新表 size_t hashi = hs(kot(cur->_data)) % newTables.size(); cur->_next = newTables[hashi]; newTables[hashi] = cur; cur = next;// 查看下一个节点应该挂到那个桶中 } _tables[i] = nullptr;// 将旧表置空 } _tables.swap(newTables);// 交换两表之后,旧表出了作用域就被释放掉 } size_t hashi = hs(kot(data)) % _tables.size(); Node* newnode = new Node(data); // 头插 newnode->_next = _tables[hashi]; _tables[hashi] = newnode; ++_n; return make_pair(iterator(newnode, this), true); } iterator Find(const K& key) { KeyOfT kot; Hash hs; size_t hashi = hs(key) % _tables.size(); Node* cur = _tables[hashi]; while (cur) { if (kot(cur->_data) == key) { return iterator(cur, this); } cur = cur->_next; } return iterator(nullptr, this); } bool Erase(const K& key) { KeyOfT kot; Hash hs; size_t hashi = hs(key) % _tables.size(); Node* prev = nullptr; Node* cur = _tables[hashi]; while (cur) { if (kot(cur->_data) == key) { // 删除 if (prev) // 不是桶中的第一个节点 { prev->_next = cur->_next; } else // 是桶中的第一个节点 { _tables[hashi] = cur->_next; } delete cur; --_n; return true; } prev = cur; cur = cur->_next; } return false; } private: vector _tables; // 指针数组 size_t _n; }; }开散列增容
桶的个数是一定的,随着元素的不断插入,每个桶中元素的个数不断增多,极端情况下,可能会导致一个桶中链表节点非常多,会影响的哈希表的性能,因此在一定条件下需要对哈希表进行增容,那该条件怎么确认呢?开散列最好的情况是:每个哈希桶中刚好挂一个节点, 再继续插入元素时,每一次都会发生哈希冲突,因此,在元素个数刚好等于桶的个数时,可 以给哈希表增容。
开散列与闭散列比较
应用链地址法处理溢出,需要增设链接指针,似乎增加了存储开销。事实上: 由于开地址法必须保持大量的空闲空间以确保搜索效率,如二次探查法要求装载因子a second; } iterator find(const K& key) { return _ht.Find(key); } bool erase(const K& key) { return _ht.Erase(key); } private: hash_bucket::HashTable _ht; }; void test_map1() { unordered_map dict; dict.insert(make_pair("sort", "")); dict.insert(make_pair("left", "")); dict.insert(make_pair("right", "?")); for (auto& kv : dict) { //kv.first += 'x'; kv.second += 'y'; cout
- 设散列表中允许的地址数为m,取一个不大于m,但最接近或者等于m的质数p作为除数, 按照哈希函数:Hash(key) = key% p(p 在实践当中string经常做key,所以做特化
template
struct HashFunc
{
size_t operator()(const string& s)
{
size_t hash = 0;
for (auto e : s)
{
hash += e;
hash *= 131;
}
return hash;
}
};
// stoi:只有阿拉伯的字符串数字"1224546"才能用stoi;像"比特"就不能用stoi
// 将字符串强制转换成整型
//struct HashFuncString
//{
// size_t operator()(const string& s)
// {
// // "abcd"
// // "bcad"
// // "aadd"
// size_t hash = 0;
// for (auto e : s)
// {
// // 将字符串中的每个字符ascll码值加起来
// hash += e;
// hash *= 131;// 这样可以避免ascll码值相加相等的情况
// }
//
// return hash;
// }
//};
// 参数三:默认缺省的仿函数Hash,没有传确定的仿函数,就用缺省的发仿函数HashFunc
template
class HashTable // 类模板名:哈希表
{
public:
HashTable(size_t size = 10)
{
_tables.resize(size);// 使用resize的话,size和capcacity就相等了
}
HashData* Find(const K& key)
{
Hash hs; // 仿函数的对象
// 线性探测
size_t hashi = hs(key) % _tables.size();
while (_tables[hashi]._state != EMPTY)
{
if (key == _tables[hashi]._kv.first
&& _tables[hashi]._state == EXIST)
{
return &_tables[hashi];
}
++hashi;// 如果++超出size,则取模从头再来
hashi %= _tables.size();
}
return nullptr;
}
bool Insert(const pair& kv)
{
// 如果已经有了,就返回false
if (Find(kv.first))
return false;
// 扩容的问题 不强制类型转换成double的话,会有7/10==0的情况
//if ((double)_n / (double)_tables.size() >= 0.7)
if (_n * 10 / _tables.size() >= 7)
{
// 方法一:
//size_t newSize = _tables.size() * 2;
// 不能在原表的空间上扩容空间,因为这样会使映射关系混乱
//vector newTables(newSize); // 需要重新开辟一块新空间
遍历旧表,重新映射到新表,那么就得此处再次写一遍线性探测的代码,再让两个表交换一下
....
//_tables.swap(newTables);
// 方法二:
HashTable newHT(_tables.size() * 2);
// 遍历旧表,插入到新表
for (auto& e : _tables)
{
if (e._state == EXIST)
{
newHT.Insert(e._kv);
// 这里新表调用Insert()函数,并不会陷入死循环,因为空间*2倍之后,不会再次进入if判断条件了
// 直接复用线性探测的代码
}
}
_tables.swap(newHT._tables);// 交换两表,那么旧表出了作用域就会调用析构函数,旧表数据会被释放
}
Hash hs;
// 线性探测
size_t hashi = hs(kv.first) % _tables.size(); // 除和取模都不能除或取模0
// 这里要模取的是size,而不是capacity;假设表中的capacity和size是不一样的,
// 放值是需要[]的,[]会检查i _state = DELETE; // 直接改状态就相当于删除了
return true;
}
else
{
return false;
}
}
private:
vector _tables;
size_t _n = 0; // 实际存储的数据个数
};



