2024 亞馬遜云科技中國峰會(huì)第二天精彩繼續(xù)上演！亞馬遜云科技大中華區(qū)產(chǎn)品總經(jīng)理陳曉建分享了構(gòu)建和應(yīng)用生成式 AI 的多款重磅創(chuàng)新產(chǎn)品。亞馬遜云科技大中華區(qū)解決方案架構(gòu)總經(jīng)理代聞以橋梁設(shè)計(jì)做精巧比喻，從三個(gè)方向分享生成式 AI 時(shí)代下，架構(gòu)的演進(jìn)與迭代。

亞馬遜云科技在創(chuàng)新方面從未止步。當(dāng)下企業(yè)在擁抱生成式 AI 技術(shù)，開展應(yīng)用落地的過程中面臨新的挑戰(zhàn)，主要體現(xiàn)在：底層算力資源短缺；缺乏合適的工具，用于訪問和部署世界一流模型，從而進(jìn)行端到端的生成式 AI 應(yīng)用構(gòu)建；缺少匹配自身需求的，可開箱即用快速上手的應(yīng)用。為了幫助企業(yè)克服上述挑戰(zhàn)，亞馬遜云科技打造三層生成式 AI 技術(shù)棧，從而讓生成式 AI 普惠化。

生成式 AI 技術(shù)棧底層

可靠基礎(chǔ)設(shè)施，支撐基礎(chǔ)模型訓(xùn)練和推理陳曉建在此次峰會(huì)中表示，生成式 AI 應(yīng)用開始于基礎(chǔ)模型的訓(xùn)練和推理，這是兩種對(duì)算力有大量需求的工作負(fù)載，也是限制企業(yè)模型開發(fā)邁出步伐的關(guān)鍵制約因素。為了幫助企業(yè)降低經(jīng)濟(jì)壓力，亞馬遜云科技推出了一系列專門構(gòu)建的、高性價(jià)比的芯片和計(jì)算實(shí)例供企業(yè)選擇，用于運(yùn)行模型的訓(xùn)練和推理工作負(fù)載。

對(duì)于使用英偉達(dá) GPU 的客戶

亞馬遜云科技依然是卓越選擇

基于英偉達(dá)的全新 GPU 資源的系列實(shí)例建立在亞馬遜云科技的高性能存儲(chǔ)和網(wǎng)絡(luò)服務(wù)基礎(chǔ)之上，支持廣泛的編排選項(xiàng)和開源框架，通過 EFA 網(wǎng)絡(luò)，允許企業(yè)配置高達(dá)2萬個(gè) GPU 的超級(jí)集群來支持最大工作負(fù)載。而當(dāng)英偉達(dá)想建造世界上最快的 GPU 超級(jí)計(jì)算機(jī)時(shí)，他們同樣選擇了亞馬遜云科技。Project Ceiba 這個(gè)項(xiàng)目是亞馬遜云科技為英偉達(dá)構(gòu)建的 AI 超級(jí)計(jì)算機(jī)，由英偉達(dá)和亞馬遜云科技聯(lián)合開發(fā)，它搭載超過2萬個(gè)英偉達(dá)最新的 Grace 架構(gòu)的 Blackwell 200 超級(jí)芯片和亞馬遜云科技第四代 EFA 網(wǎng)絡(luò)，每個(gè)超級(jí)芯片可提供高達(dá) 800 Gbps 的網(wǎng)絡(luò)帶寬，其算力將能達(dá)到驚人的 414 exaflops。

為了給中國區(qū)的客戶提供運(yùn)行生成式 AI 工作負(fù)載的更好性價(jià)比，亞馬遜云科技正式在中國區(qū)域推出基于英偉達(dá) A10G GPU 的 Amazon EC2 G5 實(shí)例，幫助企業(yè)運(yùn)行高性價(jià)比的生成式 AI 工作負(fù)載。

自研芯片，提供生成式 AI 極致性價(jià)比

亞馬遜云科技每一代自研芯片都在持續(xù)提升性價(jià)比和能效，陳曉建表示，亞馬遜云科技在定制芯片領(lǐng)域的投資帶來了機(jī)器學(xué)習(xí)訓(xùn)練和推理成本的大幅下降，基于 Amazon Trainium 的 Trn1 EC2 實(shí)例和基于 Amazon Inferentia 芯片的 Inf2 EC2 實(shí)例，與基于英偉達(dá) GPU 的 Amazon EC2 實(shí)例相比，可分別將訓(xùn)練成本降低高達(dá)50%，推理成本降低高達(dá)40%。

重磅發(fā)布：國內(nèi)領(lǐng)先基礎(chǔ)大模型

上線 Amazon SageMaker JumpStart

除了芯片，訓(xùn)練和推理也需要合適的軟件工具。因此，亞馬遜云科技推出了 Amazon SageMaker，幫助企業(yè)微調(diào)和部署模型。而伴隨生成式 AI 時(shí)代的來臨，多卡并行訓(xùn)練已經(jīng)是業(yè)界常態(tài)，為此，亞馬遜云科技推出了 Amazon SageMaker HyperPod，專門助力大規(guī)模分布式訓(xùn)練，縮短基礎(chǔ)模型的訓(xùn)練時(shí)間。

此外，Amazon SageMaker 的另一項(xiàng)重要服務(wù)就是 Amazon SageMaker JumpStart，它可以幫助客戶獲取、微調(diào)和部署來自業(yè)界最新公開的可用預(yù)訓(xùn)練基礎(chǔ)模型，包括 Meta Llama 3、Cohere Command 等。此外，Amazon SageMaker JumpStart 還為機(jī)器學(xué)習(xí)從業(yè)者提供深度模型定制和評(píng)估功能，允許其通過已經(jīng)使用的環(huán)境輕松訪問基礎(chǔ)模型。

由此，亞馬遜云科技在峰會(huì)上宣布來自零一萬物的 Yi-1.5 6B/9B/34B 基礎(chǔ)模型和百川智能的 Baichuan-2 7B 基礎(chǔ)模型在中國區(qū)正式同步上線 Amazon SageMaker JumpStart，為本地企業(yè)和全球所有的開發(fā)者提供用于開發(fā)生成式 AI 應(yīng)用的更多基礎(chǔ)模型選擇。

Amazon Bedrock 

四大差異化價(jià)值讓生成式 AI 觸手可及

技術(shù)棧的中間層對(duì)于大部分企業(yè)來說更加重要，構(gòu)建生成式 AI 應(yīng)用通常是從選用既有的基礎(chǔ)模型開始，而不是直接參與構(gòu)建基礎(chǔ)模型。所以如何選擇更加適合自身業(yè)務(wù)的模型，便成為了企業(yè)首先需要作答的問題。

模型選擇

Amazon Bedrock 是一項(xiàng)全面托管的服務(wù)，用戶可以通過單一的 API 訪問來自 Al21 Labs、Anthropic、Cohere、Meta、Mistral Al、Stability AI 和亞馬遜等領(lǐng)先人工智能公司的高性能基礎(chǔ)模型。

值得一提的是最新推出的 Amazon Titan Text Embeddings V2 模型，它是亞馬遜云科技自研的 Embedding 模型，針對(duì) RAG 工作流程進(jìn)行了優(yōu)化。另一款最新推出的 Titan Text Premier 基礎(chǔ)模型是 Titan Text 系列中先進(jìn)的型號(hào)，旨在為各種企業(yè)應(yīng)用程序提供卓越的性能。

為了幫助企業(yè)在選擇模型時(shí)做出快速、合理的判斷，亞馬遜云科技正式推出了 Amazon Bedrock 模型評(píng)估功能，可將模型評(píng)估時(shí)間從數(shù)個(gè)星期壓縮至幾個(gè)小時(shí)。

模型定制

除了為企業(yè)提供來自世界領(lǐng)先人工智能公司的模型，Amazon Bedrock 還支持企業(yè)自定義模型的導(dǎo)入。企業(yè)可以將基于 Amazon SageMaker 或其他工具開發(fā)的存儲(chǔ)在 Amazon S3 里面的定制模型導(dǎo)入到 Amazon Bedrock 中，以完全托管的 API 形式進(jìn)行訪問，而無需管理底層基礎(chǔ)設(shè)施，收獲前所未有的生成式 AI 應(yīng)用程序構(gòu)建體驗(yàn)。目前，Amazon Bedrock 自定義模型導(dǎo)入已提供預(yù)覽版，支持 Llama、Mistral 和 Flan-T5 三種流行的開放模型架構(gòu)，同時(shí)還將在未來進(jìn)一步擴(kuò)展支持范圍。

生成式 AI 應(yīng)用可謂百花齊放，企業(yè)該如何脫穎而出？答案，就藏在數(shù)據(jù)之中。即在生成式 AI 應(yīng)用的構(gòu)建過程中，利用企業(yè)的自有數(shù)據(jù)，打造差異化競(jìng)爭(zhēng)優(yōu)勢(shì)。

從數(shù)據(jù)準(zhǔn)備到數(shù)據(jù)運(yùn)用，亞馬遜云科技打造了一套全面的數(shù)據(jù)服務(wù)體系，涵蓋數(shù)據(jù)庫、數(shù)據(jù)湖、數(shù)據(jù)治理、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和生成式 AI 五大維度。該體系可以幫助企業(yè)連接現(xiàn)有的數(shù)據(jù)源，定制面向生成式 AI 應(yīng)用構(gòu)建的高質(zhì)量企業(yè)數(shù)據(jù)資源，配合 Amazon Bedrock 提供的微調(diào)、持續(xù)預(yù)訓(xùn)練、檢索增強(qiáng)生成（RAG）等功能，打造與企業(yè)業(yè)務(wù)相關(guān)的生成式 AI 應(yīng)用。

為了進(jìn)一步幫助企業(yè)使用 RAG 技術(shù)優(yōu)化模型的個(gè)性化響應(yīng)，亞馬遜云科技正式推出了 Amazon Bedrock 的知識(shí)庫功能。作為一種完全托管的 RAG 功能，它允許企業(yè)使用上下文相關(guān)的內(nèi)部數(shù)據(jù)自定義基礎(chǔ)模型響應(yīng)。Amazon Bedrock 上的知識(shí)庫會(huì)自動(dòng)執(zhí)行端到端的 RAG 工作流程，使用者無需編寫自定義代碼來集成數(shù)據(jù)源和管理查詢。

應(yīng)用集成

在企業(yè)的生成式 AI 應(yīng)用構(gòu)建過程中，除了基礎(chǔ)模型提供的通用能力，企業(yè)還希望其能夠完成一些特定的任務(wù)，如預(yù)定旅行、提交保險(xiǎn)理賠等。為此，Amazon Bedrock 的 Agent 功能便提供了一種工具，允許開發(fā)人員定義特定的任務(wù)、工作流程或決策過程，增強(qiáng)控制和自動(dòng)化，同時(shí)確保與預(yù)期用例保持一致。

為了便于企業(yè)以高效協(xié)作的方式構(gòu)建生成式 AI 應(yīng)用程序，亞馬遜云科技還提供了一站式生成式 AI 應(yīng)用開發(fā)工作站 Amazon Bedrock Studio。借助 Amazon Bedrock Studio，開發(fā)者可以使用簡單易用的交互界面進(jìn)行模型選擇、模型評(píng)估，還可以與團(tuán)隊(duì)成員協(xié)作，共同試驗(yàn)，創(chuàng)建和完善生成式 AI 應(yīng)用。

負(fù)責(zé)任的 AI

在企業(yè)構(gòu)建生成式 AI 應(yīng)用的過程中，確保安全合規(guī)仍然是重中之重。以安全、可信和負(fù)責(zé)任的方式部署生成式 AI，同樣也是亞馬遜云科技的“行動(dòng)綱領(lǐng)”。

亞馬遜云科技致力于開發(fā)公平且準(zhǔn)確的人工智能和機(jī)器學(xué)習(xí)服務(wù)，并為客戶提供負(fù)責(zé)任地構(gòu)建人工智能和機(jī)器學(xué)習(xí)應(yīng)用程序所需的工具和指導(dǎo)，結(jié)合安全第一的理念和最佳實(shí)踐，幫助客戶創(chuàng)建以人為本的包容性 AI。亞馬遜云科技承諾以負(fù)責(zé)任的方式構(gòu)建服務(wù)，同時(shí)重點(diǎn)考慮公正性、隱私性和安全性、可解釋性、可治理性、穩(wěn)健性、透明性6大方面。

企業(yè)在構(gòu)建生成式 AI 應(yīng)用程序時(shí)，通常希望其客戶和應(yīng)用之間的交互是安全并遵守企業(yè)指導(dǎo)方針的。針對(duì)這一需求，亞馬遜云科技推出了 Amazon Bedrock 的 Guardrails 功能，它可以幫助企業(yè)輕松實(shí)施生成式 AI 應(yīng)用程序的保護(hù)措施，并根據(jù)自身需求和負(fù)責(zé)任Al政策進(jìn)行定制。同 Amazon Bedrock 上基礎(chǔ)模型原生提供的保護(hù)能力相比，Amazon Bedrock 的 Guardrails 功能可幫助企業(yè)用戶阻止多達(dá)85%的有害內(nèi)容。

生成式 AI 技術(shù)棧上層

開箱即用的生成式 AI 應(yīng)用

對(duì)于一部分企業(yè)來說，與其從構(gòu)建生成式 AI 應(yīng)用入手，不如直接使用生成式 AI 應(yīng)用，快速、輕松地獲得當(dāng)前主流基礎(chǔ)模型的優(yōu)勢(shì)，實(shí)現(xiàn)業(yè)務(wù)側(cè)的成功。為此，亞馬遜云科技構(gòu)建了強(qiáng)大的生成式 AI 助手 Amazon Q，幫助企業(yè)達(dá)成加速軟件開發(fā)、發(fā)揮業(yè)務(wù)數(shù)據(jù)價(jià)值等目標(biāo)。目前，Amazon Q Developer、Amazon Q Business、Amazon Q in Connect、Amazon Q in QuickSight 均已正式可用。

Amazon Q Developer

重塑軟件開發(fā)生命周期

Amazon Q Developer 可以協(xié)助開發(fā)人員完成從編碼、測(cè)試、升級(jí)應(yīng)用到故障排查、安全掃描和修復(fù)、優(yōu)化云資源等繁瑣重復(fù)的工作，讓開發(fā)者把更多時(shí)間專注于創(chuàng)新體驗(yàn)的開發(fā)，加快應(yīng)用部署速度。

在實(shí)際應(yīng)用中，Amazon Q Developer 共包含三大核心應(yīng)用場(chǎng)景。

大規(guī)模消除技術(shù)冗余；

提高開發(fā)人員生產(chǎn)力；

近乎實(shí)時(shí)生成代碼建議和推薦幫助開發(fā)人員更快、更安全地進(jìn)行構(gòu)建。

Amazon Q Business

讓每一個(gè)企業(yè)都用好生成式 AI

為了幫助企業(yè)發(fā)揮大量難以訪問和解析的數(shù)據(jù)的價(jià)值，亞馬遜云科技推出了具有從任意數(shù)據(jù)中獲取洞見能力的 Amazon Q Business。通過它，企業(yè)員工可以通過連接企業(yè)數(shù)據(jù)庫，來提問關(guān)于公司政策、產(chǎn)品信息、業(yè)務(wù)結(jié)果、代碼庫、人員等諸多問題，從而總結(jié)數(shù)據(jù)邏輯、分析趨勢(shì)并就數(shù)據(jù)進(jìn)行對(duì)話。

此外，陳曉建還特別提到了 Amazon Q Business 中的 Amazon Q Apps 的功能。在 Amazon Q Apps 的幫助下，員工可以用自然語言描述他們想要的應(yīng)用程序類型，或者只需告訴 Amazon Q Apps 從 Amazon Q 幫助解決問題的對(duì)話中執(zhí)行即可。

現(xiàn)場(chǎng)，亞馬遜云科技一名營銷人員要求 Amazon Q Apps 創(chuàng)建一個(gè)應(yīng)用程序，使用者只需輸入特定場(chǎng)景、使用的產(chǎn)品、業(yè)務(wù)挑戰(zhàn)和業(yè)務(wù)收益，就可以自動(dòng)生成一篇引人入勝的營銷文章。幾秒鐘后，Amazon Q Apps 就會(huì)創(chuàng)建可在整個(gè)組織中與其他營銷人員共享的該款應(yīng)用程序。

為了進(jìn)一步幫助企業(yè)借力生成式 AI，亞馬遜云科技正式宣布：Amazon Q Developer 和 Amazon Q Business 截止到6月30號(hào)免費(fèi)試用，歡迎各位開發(fā)者積極嘗試，共同體驗(yàn) Amazon Q 的強(qiáng)大能力。

創(chuàng)造更美好的科技未來

亞馬遜云科技全方位助力人才成長

在開發(fā)者社區(qū)構(gòu)建方面，為了讓更多的開發(fā)者有機(jī)會(huì)低門檻體驗(yàn)到前沿的生成式 AI 服務(wù)，亞馬遜云科技正式推出了云上探索實(shí)驗(yàn)室 CloudLab 平臺(tái)，所有的開發(fā)者只需掃碼進(jìn)入云上探索實(shí)驗(yàn)室，即可在24小時(shí)之內(nèi)盡情構(gòu)建。同時(shí)，還有為中國開發(fā)者量身定做的課程“從基礎(chǔ)到應(yīng)用：LLM 全景培訓(xùn)”，在中國峰會(huì)舉行期間，該課程將免費(fèi)提供。

生成式 AI 時(shí)代，構(gòu)建應(yīng)用有什么不一樣的方法？有何種新的架構(gòu)趨勢(shì)？亞馬遜云科技大中華區(qū)解決方案架構(gòu)總經(jīng)理代聞從橋梁發(fā)展歷程入手，提出橋梁的發(fā)展和構(gòu)建，是由基礎(chǔ)材料，建筑架構(gòu)和多元化需求三者共同作用的結(jié)果，而技術(shù)的發(fā)展往往也是如此。

基礎(chǔ)組件能力決定架構(gòu)設(shè)計(jì)

代聞提出，最基礎(chǔ)的組件，例如材料、技術(shù)往往決定了我們能采用的架構(gòu)。對(duì)于信息技術(shù)來說，最基礎(chǔ)的材料就是算力。

作為云計(jì)算行業(yè)的引領(lǐng)者，亞馬遜云科技深知技術(shù)架構(gòu)從來都不是一蹴而就的。回顧近20年的發(fā)展歷史，亞馬遜云科技一直持續(xù)在基礎(chǔ)技術(shù)方面不斷創(chuàng)新，來尋求技術(shù)上的持續(xù)突破。自2006年推出 Amazon EC2 服務(wù)以來，Amazon EC2 經(jīng)歷了令人矚目的創(chuàng)新之路。從最初的70種實(shí)例類型增長到超過750種，亞馬遜云科技在虛擬化技術(shù)和硬件加速方面正持續(xù)進(jìn)步。

此外，亞馬遜云科技在處理器領(lǐng)域的自研之路同樣引人注目。從2018年的 Amazon Graviton 到2023年的 Amazon Graviton4，亞馬遜云科技充分展示了在 Graviton 的研發(fā)中，性能、能效比以及針對(duì)特定工作負(fù)載優(yōu)化方面的重大進(jìn)展。

現(xiàn)如今，亞馬遜云科技的諸多托管服務(wù)都全面采用了 Graviton 架構(gòu)，如 Amazon DocumentDB、Amazon Aurora、Amazon RDS 等，這些服務(wù)不僅提高了性能，還降低了成本，為客戶提供了更高的性價(jià)比。

架構(gòu)體系創(chuàng)新拓展核心能力

代聞?wù)J為，構(gòu)建的風(fēng)險(xiǎn)管理意識(shí)非常重要，企業(yè)在構(gòu)建時(shí)，往往要面臨著大量的不確定性，各種風(fēng)險(xiǎn)因素層出不窮，因此架構(gòu)韌性成為了重中之重。通過單元化架構(gòu)，亞馬遜云科技將 IAM 拆分成細(xì)小的計(jì)算和存儲(chǔ)單元，實(shí)現(xiàn)了高可用性和極小的故障影響范圍。這種設(shè)計(jì)不僅保障了服務(wù)的穩(wěn)定性，也使得 IAM 能夠每秒處理超過10億個(gè) API 調(diào)用，成為全球范圍內(nèi)的領(lǐng)先服務(wù)。

多元技術(shù)融合驅(qū)動(dòng)架構(gòu)創(chuàng)新

代聞?wù)J為，架構(gòu)創(chuàng)新的第三大驅(qū)動(dòng)力量是多元技術(shù)融合。通過 Zero-ETL 集成，亞馬遜云科技消除了數(shù)據(jù)提取、轉(zhuǎn)換和加載的復(fù)雜性，使得用戶可以無縫地將數(shù)據(jù)從 Amazon DocumentDB 同步到 Amazon OpenSearch Service，或者將 Amazon DynamoDB 的數(shù)據(jù)直接用于 Amazon Redshift 的分析。這種無縫集成不僅簡化了數(shù)據(jù)流動(dòng)，也提高了數(shù)據(jù)的價(jià)值和業(yè)務(wù)的敏捷性。

此次峰會(huì)上，代聞宣布了以下重大發(fā)布：

隨著技術(shù)的不斷進(jìn)步，亞馬遜云科技將繼續(xù)推動(dòng)架構(gòu)的演進(jìn)，連接我們對(duì)未來的想象。通過創(chuàng)新的服務(wù)和架構(gòu)，突破技術(shù)壁壘，讓生成式 AI 更加普惠。