一、Hadoop的数据压缩 1.概述 在进行MR程序的过程中，在Mapper和Reducer端会发生大量的数据传输和磁盘IO，如果在这个过程中对数据进行压缩处理，可以有效的减少底层存储(HDFS)读写的字节数，，并且通过减少Map和Reduce阶段数据的输入输出来提升MR程序的速度，提高了网络带宽和磁盘空间的效率； 数据压缩可以有效的节省资源，它是MR程序...
一、实验目的：熟悉变换编码的图像压缩方法 二、实验内容：以所给图像为例，采用dct进行图像压缩编码，通过改变模板矩阵中非零元素的个数，得到不同缩编码图像, 根据公式 ，编写程序计算原图像和dct变换后得到的图像之间的均方误差。用到的matlab函数为im2double,dctmtx,blkproc。 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~...
一. protocol buffers 是什么？ Protocol buffers 是一种语言中立，平台无关，可扩展的序列化数据的格式，可用于通信协议，数据存储等。 Protocol buffers 在序列化数据方面，它是灵活的，高效的。相比于 XML 来说，Protocol buffers 更加小巧，更加快速，更加简单。一旦定义了要处理的数据的数据结构之...
C#编程总结（十三）数据压缩 在进行文件存储或者数据传输时，为了节省空间流量，需要对数据或文件进行压缩。在这里我们讲述通过C#实现数据压缩。 一、GZipStream压缩 微软提供用于压缩和解压缩流的方法。 此类表示 GZip 数据格式，它使用无损压缩和解压缩文件的行业标准算法。 这种格式包括一个检测数据损坏的循环冗余校验值。 GZip 数据格式使用的算法...
最近做一个数据库数据的导入导出的工具，在解决了数据导入的自动表排序问题后，客户要求对传输的数据加密和解密 1. 先测试了当前的数据大小变化和加密(RSA)耗费时间： 常规导出的业务数据 在不加密的情况下才采用二进制存储大概300K左右 加密后，采用二进制存储数据膨胀到了8M左右 加密的时间稍微长了一下，正常导出需要几秒钟，现在多了几十秒。...
一、写在开头 vivo 云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力，底层存储采用 MySQL 数据库进行数据存储。 随着 vivo 云服务业务发展，云服务用户量增长迅速，存储在云端的数据量越来越大，海量数据给后端存储带来了巨大的挑战。云服务业务这几年最大的痛点，就是如何解决用户海量数据的存储问题。 二、面临挑战 2017-2018年，...