HBaseHBase是一个基于HDFS的非关系型数据库（海量数据存储） HBase的特点 1.海量数据存储，HBase中的表可以容纳上百亿行x上百万列的数据。 2.列式存储，HBase中的数据是基于列进行存储的，能够动态的增加和删除列。 3.准实时查询，HBase在海量的数据量下能够接近准实时的查询（百毫秒以内） 4.多版本，HBase中每一列的数据都有多...
删除海量数据时，如果想要提升性能，需要考虑的一个重要因素就是：如何减少日志操作？ 1. 全表删除全表删除的方式通常有3种：DROP, TRUNCATE, DELETE(1) DROP/TRUNCATEDROP和TRUNCATE是DDL操作，日志量都很少(只有回收数据页的记录，不记录页内每条数据的明细)，都释放所有数据页，以及重置IAM、PFS、GAM、SG...
一、背景 人脸识别是近年来最热门的计算机视觉领域的应用之一，而且现在已经出现了非常多的人脸识别算法，如：DeepID、FaceNet、DeepFace等等。人脸识别被广泛应用于景区、客运、酒店、办公室、工地、小区等场所，极大的方便了人们的生活。在安防领域，人脸识别也展现出巨大的活力，通过人脸识别对摄像头采集的图像进行处理，可以更快的发现可疑人员。 1:1人...
探讨怎么在有着1000万条数据的ms sql server数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构：create table [dbo].[tgongwen] ( --tgongwen是红头文件表名 [gid] [int] identity (1, 1) not null ,--本表的i...
一、写在开头 vivo 云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力，底层存储采用 MySQL 数据库进行数据存储。 随着 vivo 云服务业务发展，云服务用户量增长迅速，存储在云端的数据量越来越大，海量数据给后端存储带来了巨大的挑战。云服务业务这几年最大的痛点，就是如何解决用户海量数据的存储问题。 二、面临挑战 2017-2018年，...
海量小文件存储（简称LOSF，lots of small files）出现后，就一直是业界的难题，众多博文(如[1])对此问题进行了阐述与分析，许多互联网公司也针对自己的具体场景研发了自己的存储方案（如taobao开源的TFS，facebook自主研发的Haystack），还有一些公司在现有开源项目(如hbase，fastdfs，mfs等)基础上做针对...