财讯中国

Amazon DynamoDB发布十年 可在任意规模环境提供个位数毫秒响应时间

来源:TechWeb 2022-02-10 14:10:04

2月10日消息,十年前,亚马逊云科技正式推出Amazon DynamoDB,一种快速、灵活的 NoSQL 数据库服务,可在任意规模环境中提供一致的个位数毫秒响应时间。

亚马逊首席技术官Werner Vogels曾表示:“我们非常高兴推出Amazon DynamoDB,一种快速、可靠且具有成本效益的 NoSQL 数据库服务,专为互联网规模的应用程序而设计。” Amazon DynamoDB代表了亚马逊在大型非关系型数据库和云服务技术领域15年持续投入的成果。

亚马逊云科技数据库、数据分析、机器学习副总裁Swami Sivasubramanian是Amazon DynamoDB开发的主要贡献者。

Amazon DynamoDB发布十年之际,Swami分享了Amazon DynamoDB的起源、前身以及未来。

以下为Swami分享内容:

关于Dynamo的起源

Swami:我们在2007年发表了Dynamo论文,探讨这个话题之前,我们需要先追溯到2004、2005 年。那时我正在攻读博士学位,(并随后于2006年从阿姆斯特丹自由大学获得计算机科学博士学位),也在考虑我将在哪里工作。看到亚马逊正在快速成长,并不断突破常规,打破界限,我选择了以亚马逊研究工程师实习生的身份加入亚马逊。

那时亚马逊云科技还不存在,加入亚马逊后,我很快意识到作为一家电子商务公司,亚马逊实际上也是一家科技公司。为了支持自身电子商务业务相关的各类运营场景和工作负载,亚马逊涌现出了大量创新技术、专利和发明,这种情形在全球任何一家公司都难得一见。

在亚马逊担任工程师时,我和团队曾在假期流量高峰期间经历过一次严重的扩展失败。这是由数据库事务死锁而导致的,其背后正是亚马逊当时使用的商业关系型数据库。故障发生后,我们一群工程师们一起编写了一份错误更正文档,对发生了什么、学到了什么、如何解决问题以及如何避免问题再次发生等进行了详细说明。

我当时问了一个问题:“为什么我们要为这些工作负载使用关系型数据库?本质上,它们并不需要 SQL 级别的复杂性和事务保证。”

这导致我们开始重新思考如何设计底层数据存储。当时,还没有可伸缩的非关系型数据库,这是我们开始着手搭建Amazon Dynamo原型并撰写论文的原因。事实上,Amazon Dynamo 并不是工程师们当时唯一思考和研究的架构。我们意识到我们还需要一个可扩展的存储系统,Amazon S3 就诞生于此。同时,还需要一个更易于管理的关系型数据库,能够自动进行复制、故障切换和备份/恢复,这也是 Amazon RDS 的由来。

最初撰写Dynamo论文时,我们就定了一条规则,即“在开发原始设计时不对外发布”,而是先将Dynamo运行于支持多个Amazon.com服务的实际生产环境中。这样,Dynamo论文就会是一种端到端的可用方案,并有实际应用经验。Werner和我对此感受非常强烈,因为我们不希望仅仅撰写一篇学术论文而已。10年后,我们非常荣幸的是Dynamo论文还获得了ACM的时间考验奖,这是由ACM主办的The SIGOPS Hall of Fame Award,从2016年开始评选过去十年科技圈最具影响力的论文名人堂。

构建Amazon DynamoDB的初衷及其过去十年的演进

Swami:Amazon DynamoDB背后的想法来自于与SmugMug、Flickr等客户首席执行官的对话和讨论。他们是最早带有互联网属性的公司,而在当时类似这样的互联网公司正在快速走向市场。他们的典型特征包括在线用户数量呈爆炸式增长、数据模式不固定,追求快速交付和轻运维等。传统关系型数据库将所有数据存储在一个盒子中,无法高效地扩展,这迫使用户需要对其数据库重新分片,然后还需要管理所有的分区和重新分区等,这让用户面临巨大的运维挑战和压力。

这对我们来说并不新鲜,构建原始Amazon Dynamo的初衷正是应对这些挑战。当时,Amazon Dynamo还不是一项服务,而是一个由亚马逊工程师构建的软件系统。在一次客户咨询会议上,时任Flickr 首席执行官Don MacAskill表示:“你们已经启用了 Amazon Dynamo,验证了可扩展非关系型数据库系统的可行性,为什么不能把它作为外部服务提供给我们使用?”

当时,所有亚马逊云科技的相关管理人员都在场,实际上,这也是我们问自己的一个问题。Flickr并不是唯一需要它的客户,越来越多的客户想要可扩展的数据库,无需处理分区和重新分区等复杂的运维工作,同时他们还需要极高的可用性。于是,我们开始认真思考构建一个不受SQL API限制的、可扩展的云数据库。

Amazon DynamoDB与原始Amazon Dynamo不尽相同,它实际上是通过几个原始Amazon Dynamo组件搭建的一项易于使用的云服务。客户不再需要配置集群,只需创建一个表存储数据,即可轻松实现无缝缩放。管理员不必执行任何操作,甚至无需安装单个库来操作数据库。

Amazon Dynamo到Amazon DynamoDB的演变非常重要,亚马逊真正以前所未有的方式拥抱云,获得它的弹性和可扩展性。

我们在2012年1月18日正式发布Amazon DynamoDB,该服务一经推出就大受欢迎,Flickr等公司率先使用该服务。Amazon DynamoDB强大的弹性、个位数毫秒的延迟性能等深受客户青睐。我们进行了大量创新,从协议层一直到SSD存储的底层存储层等各项功能。

这里不得不提的一个有趣的用例,也是最早将DynamoDB投入生产的客户之一,他们做的是超级碗(Super Bowl:全国橄榄球联盟决赛——全美直播的体育界春晚)广告投放。 因为Amazon DynamoDB具备强大的弹性,可以无缝地扩展到每秒100,000次写入,并在超级碗活动结束后缩减,这样客户就不会担心产生额外的成本。当年,这在技术领域是个大事。现在大家习以为常的横向扩展与弹性,对当时的数据库而言,那是无法想象的。

那是一个大胆的设想。Amazon DynamoDB专为云而构建的架构让所有横向扩展用例成为可能。现在,Amazon DynamoDB正为多个高流量Amazon站点和系统提供支持,包括 Alexa、亚马逊全球电商网站和所有亚马逊运营中心。2021年,在亚马逊长达66小时的Prime会员日大促期间,上述站点和系统进行了数万亿次API调用,Amazon DynamoDB以低至个位数毫秒延迟的高性能表现,无感支持峰值达每秒8,920万个请求,同时确保系统的高可用性。

Amazon DynamoDB自2012年问世以来,我们为其增加了大量创新功能,不仅涉及底层可用性、持久性、安全性和规模等特性,还包括易用性等。

Amazon DynamoDB不止步于键值存储,还支持基于哈希的分区和基于范围的分区,并且增加了对二级索引的支持,支持更复杂的查询功能,同时不影响规模或可用性。

现在,Amazon Kinesis Data Streams也适用于Amazon DynamoDB,捕获可扩展的流式数据。我认为任何数据库都不应该是孤岛,更不能是死胡同。它应该支持生成变化的数据流,然后将这些数据流连接到分析应用程序或其他数据存储。

同时,我们也针对备份和恢复等功能全面创新。对于像Amazon DynamoDB 这样具有数百万个分区的大型数据库系统而言,备份和恢复并非易事,我们致力于通过创新让客户获得更好的体验。

我们还为Amazon DynamoDB添加了创建全局表的功能,以便客户可在轻松实现数据库负载全球覆盖的同时,获得近乎本地运行的读写性能。此外,Amazon DynamoDB还扩展了事务处理能力。所有这些创新都致力于不断提升Amazon DynamoDB的可用性和可扩展性。

我们同时致力于为客户提供更高的成本效益。客户通常需要长期存储数据,虽然这些旧数据可能很少被访问,但它必须保持高度可用,以便不时之需。例如,社交媒体用户很少访问旧的内容和图片,但一旦有这类访问请求,需要确保可以立即为用户提供这些内容。这种不经常访问的数据可能会给客户带来高昂的存储费用,而且这类数据的数量还在不断增长。过去,为了优化成本,客户会通过编写代码的方式,将旧的、访问频率较低的数据从Amazon DynamoDB 移动到存储成本较低的如Amazon S3中。

在2021 re:Invent全球大会上,我们推出了Amazon DynamoDB Standard-Infrequent Access表类,一种新的经济高效的表类,用于存储不经常访问的数据,同时保持Amazon DynamoDB的高可用性和性能。

不忘初心,我们始终将DynamoDB的最初愿景作为指引,持续创新,为客户提供更易于查询的用例,支持进行复杂全局事务复制等,不断扩展能力范围,同时持续优化管理成本。

展望Amazon DynamoDB的未来十年

Swami:十年前,当我们推出Amazon DynamoDB 时,客户才刚刚开始对云本身有了更好的理解,它的好处是什么,可以做什么。

如今,就客户构建IT应用程序而言,云已经成为的新常态,规模也是新常态,每个应用程序都需要基于不确定性构建。我们将继续代表客户进行创新,Amazon DynamoDB本身也在这个持续变革的旅程中。我们将继续朝着端到端的现代化数据战略迈进。正如之前提到的,数据库不应该是孤岛。

客户将不再只想在数据库中存储和查询数据,他们需要分析这些数据来创造价值,无论是通过创建更好的个性化推荐引擎,还是使用机器学习运行预测分析的预测系统。将数据流点对点无缝连接,并继续让Amazon DynamoDB更安全、高可用,性能更强且易于使用,这些都将是我们永无止境的追求。

关键词: AmazonDynamoDB 技术创新 响应时间 个位数毫秒

相关新闻

Amazon DynamoDB发布十年 可在任意规模环境提供个位数毫秒响应时间
Amazon DynamoDB发布十年 可在任意规模环境提供个位数毫秒响应时间
2022-02-10 14:10:04
苹果VR/AR设备有望采用专一操作系统 价格或将超过2000美元
苹果VR/AR设备有望采用专一操作系统 价格或将超过2000美元
2022-02-10 14:07:14
英特尔CEO称预计芯片供应紧张至少将会持续两年时间 2030年或将好转
英特尔CEO称预计芯片供应紧张至少将会持续两年时间 2030年或将好转
2022-02-10 14:03:41
iPhone忘记锁屏密码怎么办?官方发布简单实用快速解除安全锁定小技巧
iPhone忘记锁屏密码怎么办?官方发布简单实用快速解除安全锁定小技巧
2022-02-10 14:00:48
三星发布会曝光Windows11新功能:一键打开安卓设备最近使用三个APP
三星发布会曝光Windows11新功能:一键打开安卓设备最近使用三个APP
2022-02-10 13:59:37
Win11正式版更新修复大量问题 修复设备运行缓慢及安全修复
Win11正式版更新修复大量问题 修复设备运行缓慢及安全修复
2022-02-10 13:57:56
第一款不配充电器的骁龙8旗舰!三星Galaxy S22售价5100元起
2022-02-10 13:51:05
Redmi K50电竞版预热,现已上架颜值拉满
2022-02-10 13:38:48
卢伟冰:Redmi K50用力过猛 全面驯龙
2022-02-10 13:38:39
三星Galaxy S22黑科技:一个功能让内存增加8GB
2022-02-10 13:38:30
非常方便!刘作虎分享OPPO Find N分屏新增一实用场景
2022-02-10 13:38:21
Redmi K50电竞版官方图曝光:背部有奔驰AMG联名LOGO
2022-02-10 13:38:12
三星Tab S8平板国内价格公布:最贵12499
2022-02-10 13:38:02
三星:为提高市场占有率 Galaxy S22系列不涨价
2022-02-10 12:24:08
中国移动居然涨停了 股价创A股上市以来新高
2022-02-10 12:24:02
OPPO Reno 7国际版发布:全系采用联发科天玑芯
2022-02-10 12:23:55
200g一加10 Pro塞进5000mAh大电池 团队拼了:做不到就离职
2022-02-10 12:23:49
Windows 11 Build 22543揭示新版任务管理器会引入更多功能
2022-02-10 12:23:43
PS5迎来第二个测试版软件更新 可体验Hey PlayStation语音命令
2022-02-10 12:23:37
Android 12L让Chrome在大屏设备上使用率提高18倍
2022-02-10 12:23:30
马斯克抱怨数月后 拜登终于承认特斯拉在电动车行业的地位
2022-02-10 12:23:24
消息人士称软银计划Arm年底前IPO 更倾向于在纽约上市
2022-02-10 12:23:18
适用于Android和Windows的Microsoft Defender Preview发布
2022-02-10 12:23:12
苹果发布iOS 15.4新测试版 改进新细节一览
2022-02-10 12:23:05
国行Switch又一大作上线:育碧任天堂招牌IP联手打造
2022-02-10 12:22:59
东芝公布HDD路线图:2023年发布30TB版本
2022-02-10 12:22:53
vivo NEX 5配置曝光:7英寸E5材质屏幕 支持LTPO 2.0
2022-02-10 12:22:46
联想拯救者2022游戏本充电规格公布
2022-02-10 12:22:40
微软Defender全面换新:采用Win11同款设计
2022-02-10 12:22:34
Intel显卡实物曝光:设计相当成熟
2022-02-10 12:22:26
消息称5nm RTX 40显卡架构变化不大 但性能不挤牙膏
2022-02-10 12:22:19
曝努比亚Z40 Pro将首发IMX787镜头:接近1英寸大底
2022-02-10 12:22:13
年轻人的第一台宝马!曝燃油版MINI将国产
2022-02-10 12:22:07
微软听取用户意见:继续改进Windows 11任务栏 更好用了
2022-02-10 12:22:01
三星隔空无线充电专利曝光:Galaxy S22无缘
2022-02-10 12:21:54
中国手游全球收入最新排行出炉!《王者荣耀》重回iOS榜首
2022-02-10 12:21:47
首个国产大飞机C919订单已达850架 售价预计只要0.8亿美元
2022-02-10 12:21:40
三星发布Galaxy S22 Ultra手机:首次自带S Pen
2022-02-10 12:21:32
三星发布安卓平板之王Tab S8 Ultra:14.6寸巨无霸
2022-02-10 12:21:25
超窄边框43英寸大屏!一加Y1S系列智能电视渲染图曝光
2022-02-10 12:21:18
微软对Windows最新承诺:绝不垄断封闭应用商店
2022-02-10 12:21:10
三星Galaxy S22国行价格来了:顶配高达12599元!
2022-02-10 12:21:03
最快2月25日发货 三星Galaxy S22全系中华区配送时间已确定
2022-02-10 12:10:12
特斯拉设计师吐槽苹果缺乏创新:没有值得期待的东西
2022-02-10 12:10:06
年轻人的第一辆敞篷车仅5万:宏光MINIEV实车图曝光
2022-02-10 12:10:00
一张图看懂三星Galaxy S22系列机型所有配置
2022-02-10 12:09:52
2月11日发售 Garmin本能 2系列起价2880元
2022-02-10 12:09:46
索尼PS5最新测试版本公布:新增语音命令 UI变化很大
2022-02-10 12:09:39
那些常规的操作雷区 你中了几个?
2022-02-10 12:09:33
马斯克当选美国国家工程院院士,凭啥?
2022-02-10 12:09:26
梦幻跑车!卢伟冰预热Redmi K50电竞版:跑车般的设计 颜值拉满
2022-02-10 12:09:18
小米公布3卡针专利:网友看后一脸懵
2022-02-10 12:09:11
马斯克后悔了!称停产旧款Model X真是个愚蠢的决定
2022-02-10 12:09:04
确认改名!moto edge X30即将在海外上市
2022-02-10 12:08:56
小米90后新人爆料,K50经过了七八轮调整
2022-02-10 12:08:48
做不到就离职!高管讲述一加10 Pro背后的故事
2022-02-10 12:08:39
马斯克后悔了:不应该停产旧款Model X
2022-02-10 12:08:31
合理选择路由器,组建手机工作室网络
2022-02-10 12:08:22
Redmi K50电竞版首张真机图亮相 颜色取名为冰斩
2022-02-10 12:08:11
约3152元人民币 传音尼日利亚发布Infinix Zero 5G
2022-02-10 12:08:02
支付宝公布“十年十亿”支持女足进展:援建15个青训中心、新增1000场青少赛事
2022-02-10 10:42:48
银行“睡眠账户”排查升级:余额低于10元或被清理
2022-02-10 10:42:42
中国移动A股上午触及涨停,总市值超过1.4万亿
2022-02-10 10:42:36
小米印度“断腕”:大洗牌 送别一号员工
2022-02-10 10:42:29
月薪5000的大厂视频审核员:工作安排掐点到分钟 上厕所都要报备
2022-02-10 10:42:23
三星将在元宇宙里发布Galaxy S22旗舰
2022-02-10 10:42:16
一加不大可能在2022下半年之前发布UnifiedOS
2022-02-10 10:42:10
开源固件基金会发布状态更新 必要基础设施已基本就绪
2022-02-10 10:42:04
腾讯内部人士回应:怒怼管理层应届生已自行离职 网传消息失实
2022-02-10 10:41:58
腾讯否认永不录用怒怼管理层应届生 公关总监张军:造谣成本太低
2022-02-10 10:41:52
华为移动路由服务升级包开卖:每月2000GB流量 年包套餐首销569元
2022-02-10 10:41:46
马斯克的柔情一面:我也失去过孩子
2022-02-10 10:41:40
专家给出最佳饮食方案 最多可延长预期寿命10年
2022-02-10 10:41:34
梦想客机生产停滞 波音交付量仍然低迷
2022-02-10 10:41:27
安徽:外卖员、快递员等新业态就业者须与平台签订劳动合同
2022-02-10 10:41:21
TikTok政策更新关注未成年与LGBTQ安全、适龄内容等问题
2022-02-10 10:41:15
杭州小女孩一个半月游戏充值十多万 当事人:为了报复
2022-02-10 10:41:08
Google Doodle向开创性的女性职业棒球运动员托尼·斯通致敬
2022-02-10 10:41:02
32/43英寸OnePlus TV Y1S系列智能电视渲染图曝光
2022-02-10 10:40:56
Mesa的“TURNIP”Vulkan开源驱动已为高通Adreno提供加速支持
2022-02-10 10:40:50
加密货币时代的“雌雄大盗”被捕 事涉价值45亿美元的比特币窃案
2022-02-10 10:40:44
AMD正招募更多人才以改善Linux客户端平台
2022-02-10 10:40:38
时速187km失控撞墙起火 4年前特斯拉事故致死案再审
2022-02-10 10:40:31
Windows 11 Build 22543揭示新版任务管理器会引入更多功能
2022-02-10 10:40:24
摩根大通:根据比特币与黄金的波动率之差 前者公允价值为3.8万美元
2022-02-10 10:40:19
Android 12L让Chrome在大屏设备上使用率提高18倍
2022-02-10 10:40:13
报道称TikTok上出现大量鼓励多动症自我诊断和药物治疗的广告
2022-02-10 10:40:07
小米公布新款手机“卡针”外观专利:居然有3根针
2022-02-10 10:40:01
捷波朗Enhance Plus听力增强真无线耳机将于2月25日上市
2022-02-10 10:39:55
适用于Android​和Windows的Microsoft Defender Preview发布
2022-02-10 10:39:48
Destinus拟建造一架氢动力的高超音速货运飞机
2022-02-10 10:39:41
软银孙正义:没料到出售Arm会遭到如此强大的反对
2022-02-10 10:39:34
澳大利亚北领地将从2月21日起全面开放“无隔离”入境
2022-02-10 10:39:27
三星内讧可能会拖慢QD-OLED相关产品上市进度
2022-02-10 10:39:19
Redmi K50电竞版预热汇总 联名奔驰2月16日发布
2022-02-10 10:39:16
英特尔开源Linux驱动更新 深入支持Vulkan ANV光追方案
2022-02-10 10:39:11
苹果将支持戴口罩Face ID!iOS 15.4公测版发布
2022-02-10 10:39:06
vivo NEX 5配置曝光:7英寸E5材质屏幕 支持LTPO 2.0
2022-02-10 10:39:01
【手慢无】RTX 3070Ti原价预约开启 6天后开抢
2022-02-10 10:38:56
跨国界、避审查,加密货币在俄乌危机筹款中扮“重要角色”
2022-02-10 10:38:52

热门文章

热点专题