阿里云对象存储服务,OSS使用经验总结,图片存储,分页查询

摘要:
阿里云OSS-使用经验总结、存储、帐户权限、分页、缩略图、帐户切换。在最近的项目中,选择了阿里云OSS。在功能上,对象存储的云服务也称为“云存储”,即:存储(上传)、下载、访问、批量查询。对象存储、文件存储和其他存储使场景更具体。我不明白这个问题。提交工单和阿里云的工单服务非常好。

阿里云OSS-使用经验总结,存储,账号-权限,分页,缩略图,账号切换


最近项目中,需要使用云存储,最后选择了阿里云-对象存储服务OSS。
总的来说,比较简单,但是仍然遇到了几个问题,需要总结下。


1.OSS总的使用介绍
  https://help.aliyun.com/document_detail/oss/sdk/java-sdk/manage_object.html?spm=5176.docoss/api-reference/abstract.6.264.Zq5Hof
  和其它各种技术类似,帮助文档常见的栏目主要是:新手指南(入门)、产品简介、API手册(讲某个接口的用法)、SDK(API的具体化,具体到编程语言)
  最佳实践、计量付费等。
  
2.服务的价值
  之前用过又拍云,听说过七牛云存储。
  总的来说,不同的云厂商做得都差不多,功能总体一致,细节有所差异。
  访问量大的公司,还是最好比较下服务的细节,测试下各家的性能。
  
  就功能来说,对象存储的云服务或者就统一叫做“云存储”,不就是:存储(上传)、下载、访问(图片,直接在网页中展示)、批量查询。
  周边功能,账户权限、文件权限等。
  
  具体到文件存储,和本地Java的API,第三方的API都类似,只不过这个时候,存储的实际物理位置在远程服务器上。
  高端一点的说法,就是“云”。
  
3.OSS和云存储
  云存储,是一种广泛的称谓。
  对象存储,文件存储,其它存储,则场景更加具体一些。
  云数据库,本质还是云存储,只是不是标准文件罢了。
  
4.API和SDK
  官方文档:https://help.aliyun.com/document_detail/oss/api-reference/abstract.html?spm=5176.docoss/sdk/java-sdk/manage_object.6.196.zg3gsg
  配置账号和密码,建立远程连接,执行操作,关闭连接。
  太多太多的SDK,都是这么几步。
  
5.遇到的几个问题
  a.账户权限

    用自己的账号,阿里云的AccessKeyId和AccessSecret,没有遇到任何问题。
但是,用别人给的账号,创建bucket和批量查询的时候,总是提示没有权限。
第1次遇到权限问题的时候,还不能确认,以为是某个地方没有配置正确。再次遇到的时候,就提交了工单,和官方的技术支持人员确定了。
不懂的问题,提交工单,阿里云的工单服务,还是很不错的。

问题原因:别人给的账号密码,是子账户,分配权限不够。

新手入门,直接使用最高权限就好。
更深入的权限管理,RAM和STS使用指南,可参考
https://help.aliyun.com/document_detail/oss/practice/ram_guide.html?spm=5176.docoss/api-reference/abstract.6.179.H0uY1x
  
  b.图片
    普通的文本文件,图片,都是文件,存储方式没啥区别。
需要注意的是,在云端,图片逻辑上是“目录”存储,实际物理层次不是,可以根据前缀prefix,来模拟目录。

图片,可以有额外的云服务,比如图片缩略图、缩放、反转、水印、防盗链等。
    目前遇到的问题是,大尺寸的高清图片,缩略图的宽度很小时,不够清晰,而官网上的缩略图案例却还比较清晰,不清楚为啥。

  c.分页访问
    官方API,是根据nextMarker(可以理解为下1页开始的id),来分页的,每页最多获得1000条。
没有提供,一次性获得所有图片的接口,只能多次迭代,拿到所有的key。

在实际需要中,后端管理系统,想分页查看图片列表,但是由于阿里云的API功能有限,只能有“上一页”和“下一页”。
类似“1 2 3 4 5 .. 100 101”这种分页展示方式,只能自己去实现。

我在做的时候,是通过多次迭代获得所有图片列表,缓存到Redis中,然后手动实现分页来做的。


6.自己封装的代码
   只贴自己的核心代码,周边的实体类和第三方jar,不再列出。
   
 
 import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.lang.reflect.InvocationTargetException;
import java.util.ArrayList;
import java.util.List;


import org.apache.commons.beanutils.BeanUtils;
import org.apache.commons.lang3.StringUtils;
import org.springframework.web.multipart.MultipartFile;


import com.aliyun.oss.ClientConfiguration;
import com.aliyun.oss.OSSClient;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.model.GetObjectRequest;
import com.aliyun.oss.model.ListObjectsRequest;
import com.aliyun.oss.model.OSSObject;
import com.aliyun.oss.model.OSSObjectSummary;
import com.aliyun.oss.model.ObjectListing;
import com.aliyun.oss.model.PutObjectRequest;

//阿里云对象存储服务OSS工具
public class OssUtil {


	// 演示,创建Bucket的时候,endpoint不能带上.
	// 图片上传和简单的图片访问也可以用这个。
	public static String endpoint = "http://oss-cn-hangzhou.aliyuncs.com";


	// 图片处理,需要用单独的地址。访问、裁剪、缩放、效果、水印、格式转换等服务。
	// public static String endpointImg = "http://img-cn-hangzhou.aliyuncs.com";


	public static String accessKeyId = "hi";
	public static String accessKeySecret = "hi";
	public static String bucketName = "hi";


	// 单例,只需要建立一次链接
	private static OSSClient client = null;
	// 是否使用另外一套本地账户
	public static final boolean MINE = false;


	static {
		if (MINE) {
			accessKeyId = "hi2";
			accessKeySecret = "hi2";
			bucketName = "hi2";
			endpoint = "http://oss-cn-shanghai.aliyuncs.com";
		}
	}


	//配置参数
	static ClientConfiguration config() {
		ClientConfiguration conf = new ClientConfiguration();
		conf.setMaxConnections(100);
		conf.setConnectionTimeout(5000);
		conf.setMaxErrorRetry(3);
		conf.setSocketTimeout(2000);
		return conf;
	}


	//客户端
	public static OSSClient client() {
		if (client == null) {
			ClientConfiguration conf = config();
			client = new OSSClient(endpoint, accessKeyId, accessKeySecret, conf);
			makeBucket(client, bucketName);
		}
		return client;
	}


	//创建Bucket
	public static void makeBucket(String bucketName) {
		OSSClient client = client();
		makeBucket(client, bucketName);
	}


	//创建Bucket
	public static void makeBucket(OSSClient client, String bucketName) {
		boolean exist = client.doesBucketExist(bucketName);
		if (exist) {
			p("The bucket exist.");
			return;
		}
		client.createBucket(bucketName);
	}


	//上传一个文件,InputStream
	public static void uploadFile(InputStream is, String key) {
		OSSClient client = client();
		PutObjectRequest putObjectRequest = new PutObjectRequest(
				OssUtil.bucketName, key, is);
		client.putObject(putObjectRequest);
	}


	//上传一个文件,File
	public static void uploadFile(File file, String key) {
		OSSClient client = client();
		PutObjectRequest putObjectRequest = new PutObjectRequest(
				OssUtil.bucketName, key, file);
		client.putObject(putObjectRequest);
	}


	//下载一个文件到本地
	public static OSSObject downloadFile(String key) {
		OSSClient client = client();
		GetObjectRequest getObjectRequest = new GetObjectRequest(
				OssUtil.bucketName, key);
		OSSObject object = client.getObject(getObjectRequest);
		return object;
	}


	//上传某个文件到某个目录,key是自动生成的
	public static String uploadFile(MultipartFile file, String dir)
			throws IOException {
		if (null != file && !file.isEmpty() && file.getSize() > 0) {
			String fileName = UuidUtil.get32UUID()
					+ "."
					+ StringUtils.substringAfterLast(
							file.getOriginalFilename(), ".");
			String ymd = DateUtil.getDays();
			String key = dir + ymd + "/" + fileName;
			OssUtil.uploadFile(file.getInputStream(), key);
			return key;
		}
		return null;
	}


	//删除某个文件
	public static void delete(String key) {
		if (BackendConst.OSS_DELTE_IMG) {
			try {
				client().deleteObject(OssUtil.bucketName, key);
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
	}


	//创建目录,不能以斜杠“/”开头
	public static void makeDir(String keySuffixWithSlash) {
		OSSClient client = client();
		/*
		 * Create an empty folder without request body, note that the key must
		 * be suffixed with a slash
		 */
		if (StringUtils.isEmpty(keySuffixWithSlash)) {
			return;
		}
		if (!keySuffixWithSlash.endsWith("/")) {
			keySuffixWithSlash += "/";
		}
		client.putObject(bucketName, keySuffixWithSlash,
				new ByteArrayInputStream(new byte[0]));
	}


	// 实时的分页查询
	public static OssPage listPage(String dir, String nextMarker,
			Integer maxKeys) {
		OSSClient client = client();
		ListObjectsRequest listObjectsRequest = new ListObjectsRequest(
				bucketName);
		if (StringUtils.isNoneBlank(dir)) {
			listObjectsRequest.setPrefix(dir);
		}
		if (StringUtils.isNoneBlank(nextMarker)) {
			listObjectsRequest.setMarker(nextMarker);
		}
		if (maxKeys != null) {
			listObjectsRequest.setMaxKeys(maxKeys);
		}
		ObjectListing objectListing = client.listObjects(listObjectsRequest);


		List<OSSObjectSummary> summrayList = objectListing.getObjectSummaries();
		List<OssItem> itemList = summaryToItem(summrayList);
		OssPage page = new OssPage();


		String newxNextMarker = objectListing.getNextMarker();
		page.setNextMarker(newxNextMarker);
		page.setSummrayList(itemList);
		return page;
	}


	//把OSS的对象,转换成自己的。因为OSS的对象没有实现Serialiable,不能序列化。
	private static List<OssItem> summaryToItem(
			List<OSSObjectSummary> summrayList) {
		List<OssItem> itemList = new ArrayList<OssItem>();
		for (OSSObjectSummary summary : summrayList) {
			OssItem item = new OssItem();
			try {
				BeanUtils.copyProperties(item, summary);
				itemList.add(item);
			} catch (IllegalAccessException | InvocationTargetException e) {
				e.printStackTrace();
			}
		}
		return itemList;
	}


	//一次迭代,获得某个目录下的所有文件列表
	public static List<OssItem> listAll(String dir) {
		OSSClient client = client();
		List<OssItem> list = new ArrayList<OssItem>();
		// 查询
		ObjectListing objectListing = null;
		String nextMarker = null;
		final int maxKeys = 1000;


		do {
			ListObjectsRequest listObjectsRequest = new ListObjectsRequest(
					bucketName).withPrefix(dir).withMarker(nextMarker)
					.withMaxKeys(maxKeys);
			objectListing = client.listObjects(listObjectsRequest);


			List<OSSObjectSummary> summrayList = objectListing
					.getObjectSummaries();
			List<OssItem> itemList = summaryToItem(summrayList);
			list.addAll(itemList);
			nextMarker = objectListing.getNextMarker();
		} while (objectListing.isTruncated());
		return list;
	}


	public static void p(Object str) {
		System.out.println(str);
	}


	public static void print(OSSException oe) {
		p("Caught an OSSException, which means your request made it to OSS, "
				+ "but was rejected with an error response for some reason.");
		p("Error Message: " + oe.getErrorCode());
		p("Error Code:       " + oe.getErrorCode());
		p("Request ID:      " + oe.getRequestId());
		p("Host ID:           " + oe.getHostId());
	}
}


7.图片展示和缩略图
展示图片,需要使用单独的域名
${imgDomain}/${imgUrl}@100w @100w是缩略图语法
http://b.img-cn-hangzhou.aliyuncs.com/product/xiaolei.jpg@100w


oss.properties
oss.endpoint = http://oss-cn-hangzhou.aliyuncs.com
oss.accessKeyId=hi
oss.accessKeySecret=hi
oss.bucketName=b


oss.fileDomain=http://b.oss-cn-hangzhou.aliyuncs.com
oss.imgDomain=http://b.img-cn-hangzhou.aliyuncs.com



8.小结
  先去官网看文档,大概1天可以实现基础功能。
  图片批量查询、高端的账户权限配置、图片服务(缩略图、CDN、防盗链、自定义域名),稍微麻烦一点.
  按道理来讲,一周可以掌握绝大部分内容。
  先快速浏览文档,把项目中最需要的先实现,更多高端功能,用到的时候,再深入研究也是不错的。
  
  在遇到问题的时候,网上搜索了下,基本还没有资料,只能去官网,实现不行,就提交工单,和权威的官方技术支持人员交流。

免责声明:文章转载自《阿里云对象存储服务,OSS使用经验总结,图片存储,分页查询》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇第10章 数据库恢复技术 | 数据库知识点整理USACO Milking Cows下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

QT基础三

4.1The Central Widget QMainWindow的中央区域可以被任何类型的widget占据。 4.2Subclassing QTableWidget QTableWidget会自动创建QTableWidgetItem来存储用户的输入。 QTableWidgetItem类并不是widget,而是一个纯粹的data class。 QTabeW...

阿里云更改域名解析的 IP 地址

前言 由于之前事比较多,阿里的 ECS 过期了,重新买了个学生服务器,这里记录更改域名解析的 IP 地址。 步骤 打开 “域名服务 -> 域名列表” ,点击要修改信息的域名的 “解析” 。 分别点击 “www” 和 “@” 两项的 “修改” ,并修改其中的 “记录值” 为新的 IP 地址。 可以在等待一段时间后,通过 ping 命令查...

五大典型场景中的API自动化测试实践

一、API 测试的基本步骤 通常来讲,API 测试的基本步骤主要包括以下三大步骤: 1、准备测试数据; 2、通过通用的或自己开发的API测试工具发起对被测API的request; 3、验证返回结果的response。 常用的API测试工具有命令行工具cURL、图形界面工具Postman或SoapUI,支持API性能测试的JMeter等。 二、API复杂场景...

win 10 pip Could not find a version that satisfies the requirement selenium (from versions: ) No matching distribution found for selenium

一、当出现这个错误的时候一顿百度。 1.从新卸载Python,安装3.6,还是不行 2.从新卸载pip,单独安装.直接下载get-pip.py文件,执行命令pythonget-pip.py,还是不行 3.也在Python/Script/下回复过文件,不行 4.加上--trusted-host 执行 pip install xrld -ihttps://p...

容器知识的重点总结

什么是容器 数组也是一种容器,可以存放对象或基本数据类型,数组的劣势在于不灵活,容器需要事先定义好,不能随着需求而改变而扩容。而容器则可以随时扩容来装对象,容器也称为集合。 容器的结构 单例集合 将数据一个一个的进行存储 双例集合 基于 key 和 value 的结构存储数据 Collection 接口 LIst接口:有序,可重复 ArrayList 容...

大数据平台Hive数据迁移至阿里云ODPS平台流程与问题记录

一、背景介绍 最近几天,接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务。而申请的这个ODPS平台是属于政务内网的,因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的,所以不能使用数据采集工作流模板。 然而,考虑到原大数据平台数据量并不是很大,可以通过将原大数据平台数据导出到CSV文件,然后再将CSV文件导入到ODPS平...