如何上传数据到S3服务 - Web 界面

大家都知道，s3是aws2006年就推出的基本存储服务，可以说现在市面上所有的公有云存储都是它的模仿者，那么学习如何利用S3这个服务就非常重要了，作为最早推出的两个公有云服务之一（另一个是EC2），它在整个公有云生态中的重要性非常之高，是很多其他的服务的底层支持。

-- D.C

web界面上传数据到s3

• 登录aws console， 搜索栏中搜索s3，点击进入。

• 点击新建桶（Create bucket），想好一个简单易懂的名字,这个名字最好和你要放的内容有关联，一目了然，比如我的桶名叫lovevideo ,用于放一些可以反复鉴赏的视频文件，嗯嗯。

• 写入桶名，Region默认，接着会让我选择一个现有的桶，干什么呢？如果我愿意，可以把一个已经存在的桶属性，复制到这个即将创建的新桶上，节约时间哦！但是这里我不选，下一步。

• 这一步就是做桶的一些设置，让我们来看看都有哪些？这里我除了打标签，其他都没选。点击下一步。

选项	中文名	解释
versioning	版本控制	如果选择，就会保留每个文件的不同版本，比如a文件连续被覆盖了2次，那么S3上就会有3份不同版本的a文件，我随时可以选择将现在的a文件恢复到哪个版本，防止误改误删，那是极好的，但是会占用存储空间哦~
Server access logging	服务器访问日志记录	启用该服务之后，aws会帮我们详细记录我们在日常使用过程中对s3 存储桶提出的各种请求，日志会保存到与源存储桶相同的 AWS 区域的存储桶中。对于大多数的应用程序来说，有log日志会方便很多，特别是对于储存一些比较敏感的数据，安全性和访问权限审核方面的合规性就显得非常重要了。 每个访问日志记录都提供有关单个访问请求的详细信息，如请求者、存储桶名称、请求时间、请求操作、响应状态和错误代码（如果相关）。 勾选之后：需要指定一个目标存储桶，用于存放日志文件；还需要指定一个日志对象前缀，用于以后更方便的查找这些日志对象，如我指定前缀为logs/ ,那么s3创建的所有日志对象都是以logs/ 开头，如 logs/2013-11-01-21-32-16-E568B2907131C0C0 对应的格式为TargetPrefixYYYY-mm-DD-HH-MM-SS-UniqueString 关于钱：开启这个服务不会额外收费，但是会产生日志文件的S3存储费用，一般可以忽略。
Tags	打标签	没什么好说的啦~打就是了
Object-level logging	对象级日志	是否启用对象级别的API调用监控。利用的是AWS CloudTrail服务，所以会产生额外费用哦，穷人点我 :-) CloudTrail 会捕获对Amazon S3 的 API 调用事件，包括来自 Amazon S3 控制台的调用和对 Amazon S3 API 的代码调用。如果打勾创建跟踪，则可以使 CloudTrail 事件持续传送到 Amazon S3 存储桶（包括 Amazon S3 的事件）。如果不配置跟踪，我们也可以在 CloudTrail 控制台的 Event history (事件历史记录) 中查看最新事件。 通过使用 CloudTrail 收集的信息，我们可以确定向 Amazon S3 发出了什么请求、发出请求的 IP 地址、何人发出的请求、请求的发出时间以及其他详细信息，特别适用于喜欢疑神疑鬼的同学。
Default encryption	默认加密	一旦选择，那么每个扔到这个桶里的对象都会被自动加密。 提供两个加密选项: AES-256 和 AWS-KMS, 前者是S3帮你加密，后者是aws的kms服务帮你加密。
Object lock	对象锁定	顾名思义，锁定桶和桶里的对象，防止被修改和删除。 使用它有个前提，先要开启版本控制 。一旦启用，放入其中的对象就会在一定周期内或无限期被锁定，而我们无法将其删除。 满足WORM（一次写入，多次读取）存储法规要求，可在受 SEC 17a-4、CTCC 和 FINRA 法规约束的环境中使用。 更多点我
CloudWatch request metrics	CloudWatch监控请求指标	使用CloudWatch来监控S3的请求指标，每分钟更新一次，针对异常指标，我们还可以设置警报，和自动处理措施（如果可能的话）。 我们还可以通过设置过滤条件来监控特定前缀或标签的对象。 请求指标包括但不限于：AllRequests，GetRequests，PutRequests，DeleteRequests ...

• 接下来就是安全性设置，默认新建的桶是对所有公开访问都拒绝，所以这里直接点击下一步。

• Review 一遍没问题，点击创建，deng~deng~deng！deng！我的爱情动作片终于有一个家了！

• 点击桶名lovevideo 进去，啥都没有，赶紧传点东西进去！点击Upload 上传文件，或者创建文件夹 来给我的文件分分类，比如日本，韩国，大陆，台湾，美国，泰国。。。

• 点击Upload之后，就会出现弹窗，选择好文件以后，我们可以直接保持默认设置直接点击左下角的Upload ，或是点击下一步，设置权限。

Manage Users : 设置拥有者权限；

Access for other AWS account ： 设置其他aws账号能对这个文件做什么。比如说有一部新出的岛国动作片很好看，我就可以把它分享给你的aws账号了。（这里先埋个坑，事实上没这么简单，还记得public block那个权限么）

点击下一步。

要注意的是，这种web界面的上传方式一般针对的是小文件，单个最大文件是5GB。一般来说，aws推荐上传大于100MB就要考虑上分段上传了。（分段上传API） 分段上传的好处是，通过把文件切片，分段进行上传，提高了吞吐量的同时，也能从任何网络问题中快速恢复，还有一点比较有意思，就是可以在我不知道文件大小的时候就开始上传，怎么理解？我可以在创建对象的时候就同时把它上传，有点烧脑，同学们自己体会下。

• 设置存储属性，从选项我们可以看到aws提供7种存储模式，常用的一般是前6种，业界最多了。从下表可以看到aws的确是业界良心，除了S3 单区 之外，其他都是默认3个以上的可用区备份，这样就把数据丢失的概率降到极低，相比很多同行买个机房入网就对外说是可用区强太多了。还有一点就是价格，国内几家云商我也用过，官网虚标的价格简直没法参考，因为私下里打折太厉害，aws这点做得不错，明码标价，我可以直接拿过来给公司做个三年的预算。

属性	解释	比如
S3 标准存储(宁夏为例） S3 Standard	访问：活动，频繁访问 延迟：毫秒级访问 备份：≥ 3 AZ 起算: ¥0.1629/GB	待分析的fastq，bam，vcf等数据
S3 智能分层存储 S3 Intelligent-Tiering	访问：访问频率可变 延迟：毫秒级访问 备份：≥ 3 AZ 起算: ¥0.1030029/GB 至 ¥0.1629/GB 逐对象监控计费：连续 30 天未访问的对象移至不频繁访问层，一旦被访问又移回频繁访问层 最小存储期限：30天 (没存满30天就删除，收取30天的费用，考虑好哦！) 最小对象大小：128KB（小于128KB 始终放在频繁访问层）	懒人模式，不确定1-3个月会不会分析的bam，vcf等数据
S3 标准存储，不频繁访问 S3 Standard-IA	访问：不常访问 延迟：毫秒级访问 备份：≥ 3 AZ 起算: ¥0.1030029/GB 数据获取按GB计费 最小存储时长: 30天 最小对象大小：128KB （小于 128 KB，S3 会收取 128 KB 的费用）	1-3个月内还可能访问的fastq，bam，vcf等数据
S3 单区 – 不频繁访问 S3 One Zone-IA	访问：不常访问数据，易重构建， 延迟：毫秒级访问 备份：1 AZ，数据无法灵活地应对由于地震和洪水灾害而造成可用区物理丢失的情况。 起算: ¥0.08240232/GB 数据获取按GB计费 最小存储时长：30天 最小对象大小：128KB	bam，vcf等可再生数据
Amazon S3 Glacier 存储 S3 Glacier	访问：归档数据 延迟：恢复在线延时3-5小时 备份：≥ 3 AZ 起算: ¥0.03006/GB 数据获取按GB计费 最小存储时长： 90天 最小对象大小：40KB	bcl，至少3个月内不会再碰的fastq，bam，vcf等数据
Amazon S3 Glacier Deep Archive 存储 S3 Glacier Deep Archive	访问：深度归档数据 延迟：恢复在线延时10+小时 备份：≥ 3 AZ 起算: ¥0.01082/GB 数据获取按GB计费 最小存储时长：180天 最小对象大小： 40KB	bcl，至少半年内不会再碰的fastq，bam，vcf等数据，目前全行业最便宜。

这里，我们选择Standard就行了，毕竟好片还是要经常拿出来经常欣赏欣赏的 (x_x)。点击下一步 ， 再点击上传，可以看到底部的上传进度条了 Operations 0 In progress 1 Success 0 Error, 文件上传成功。

web界面从S3下载数据

• 从s3下载数据就比较简单了，点击文件名，进入对象描述界面, 点击下载 。

• 点击另存为，跳出弹窗，右键点击弹窗里的文件名小泽.avi，点击链接另存为, 就可以保存到不容易被爸爸妈妈发现的地方了。

• 有兴趣的同学可以看点击其他tab看看，如属性，权限，Select from, 有些已经讲过，有些还没有，先自行搜索理解，再在群里讨论吧~

适合你的，才是最好的。