展會(huì )信息港展會(huì )大全

基于EasyAnimate模型的視頻生成最佳實(shí)踐
來(lái)源:互聯(lián)網(wǎng)   發(fā)布日期:2024-06-20 09:08:11   瀏覽:14506次  

導讀:EasyAnimate是阿里云PAI平臺自主研發(fā)的DiT的視頻生成框架,它提供了完整的高清長(cháng)視頻生成解決方案,包括視頻數據預處理、VAE訓練、DiT訓練、模型推理和模型評測等。本文為您介紹如何在PAI平臺集成EasyAnimate并一鍵完成模型推理、微調及部署的實(shí)踐流程。 背...

EasyAnimate是阿里云PAI平臺自主研發(fā)的DiT的視頻生成框架,它提供了完整的高清長(cháng)視頻生成解決方案,包括視頻數據預處理、VAE訓練、DiT訓練、模型推理和模型評測等。本文為您介紹如何在PAI平臺集成EasyAnimate并一鍵完成模型推理、微調及部署的實(shí)踐流程。

背景信息

本文為您介紹以下兩種視頻生成的方式:

方式一:使用DSW

DSW是為算法開(kāi)發(fā)者量身打造的一站式AI開(kāi)發(fā)平臺,集成了JupyterLab、WebIDE、Terminal多種云端開(kāi)發(fā)環(huán)境,其中,Gallery提供了豐富的案例和解決方案,幫助您快速熟悉研發(fā)流程。您可以打開(kāi)DSW Gallery中的案例教程,實(shí)現一鍵式運行Notebook,完成基于EasyAnimate的視頻生成模型的推理和訓練任務(wù),也可以進(jìn)行模型推理和微調等二次開(kāi)發(fā)操作。

方式二:使用快速開(kāi)始

快速開(kāi)始集成了眾多AI開(kāi)源社區中優(yōu)質(zhì)的預訓練模型,并且基于開(kāi)源模型支持零代碼實(shí)現從訓練到部署再到推理的全部過(guò)程,您可以通過(guò)快速開(kāi)始一鍵部署EasyAnimate模型并生成視頻,享受更快、更高效、更便捷的AI應用體驗。

費用說(shuō)明

如果您的賬號為DSW或EAS的新用戶(hù),可以免費試用相應產(chǎn)品。關(guān)于免費試用的額度、領(lǐng)取方式及注意事項等詳細信息,請參見(jiàn)新用戶(hù)免費試用。

說(shuō)明:在本教程中,僅支持使用DSW免費資源類(lèi)型ecs.gn7i-c8g1.2xlarge。

如果您的賬號非新用戶(hù),使用DSW和EAS會(huì )產(chǎn)生相應費用。更多計費詳情,請參見(jiàn)交互式建模(DSW)計費說(shuō)明、模型在線(xiàn)服務(wù)(EAS)計費說(shuō)明、快速開(kāi)始(QuickStart)計費說(shuō)明。

前提條件

創(chuàng )建PAI工作空間。具體操作,請參見(jiàn)開(kāi)通PAI并創(chuàng )建默認工作空間。

(可選)開(kāi)通OSS或NAS。具體操作,請參見(jiàn)開(kāi)始使用OSS、NAS入門(mén)概述。

方式一:使用DSW

步驟一:創(chuàng )建DSW實(shí)例

1. 進(jìn)入DSW頁(yè)面。

a. 登錄PAI控制臺。

b.在概覽頁(yè)面選擇目標地域。

c.在左側導航欄單擊工作空間列表,在工作空間列表頁(yè)面中單擊目標工作空間名稱(chēng),進(jìn)入對應工作空間內。

d.在工作空間頁(yè)面的左側導航欄選擇模型開(kāi)發(fā)與訓練>交互式建模(DSW),進(jìn)入DSW頁(yè)面。

2. 單擊創(chuàng )建實(shí)例。

3. 在配置實(shí)例向導頁(yè)面,配置以下關(guān)鍵參數,其他參數保持默認即可。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

4.單擊確定。

步驟二:安裝EasyAnimate模型

1.打開(kāi)DSW實(shí)例。

a.登錄PAI控制臺。

b.在左側導航欄單擊工作空間列表,在工作空間列表頁(yè)面中單擊目標工作空間,進(jìn)入對應工作空間。

c.在頁(yè)面左上方,選擇使用服務(wù)的地域。

d.在左側導航欄,選擇模型開(kāi)發(fā)與訓練>交互式建模(DSW)。

e.單擊目標DSW實(shí)例操作列下的打開(kāi),進(jìn)入DSW實(shí)例的開(kāi)發(fā)環(huán)境。

2.在Notebook頁(yè)簽的Launcher頁(yè)面,單擊快速開(kāi)始區域Tool下的DSW Gallery,打開(kāi)DSW Gallery頁(yè)面。

3.在DSW Gallery頁(yè)面中,搜索EasyPhoto: 基于EasyAnimate的AI視頻生成示例,單擊在DSW中打開(kāi),即可自動(dòng)將本教程所需的資源和教程文件下載至DSW實(shí)例中,并在下載完成后自動(dòng)打開(kāi)教程文件。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

4.下載EasyAnimate相關(guān)代碼和模型并進(jìn)行安裝。

在教程文件easyanimate.ipynb中,單擊開(kāi)始按鈕運行環(huán)境安裝節點(diǎn)命令,包括定義函數、下載代碼下載模型。當成功運行一個(gè)步驟命令后,再順次運行下個(gè)步驟的命令。

步驟三:推理模型

方式一:使用代碼進(jìn)行推理

單擊開(kāi)始按鈕運行模型推理>使用代碼進(jìn)行推理節點(diǎn)的命令進(jìn)行模型推理。您可在/mnt/workspace/demos/easyanimate/EasyAnimate/samples/easyanimate-videos目錄中查看生成結果。

您可以修改不同的參數來(lái)達到不同的效果,參數說(shuō)明:

基于EasyAnimate模型的視頻生成最佳實(shí)踐

方式二:使用WebUI進(jìn)行推理

1. 單擊開(kāi)始按運行模型推理>UI啟動(dòng)節點(diǎn)的命令,進(jìn)行模型推理。

2.單擊生成的鏈接,進(jìn)入WebUI界面。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

3. 在WebUI界面選擇預訓練的模型路徑、微調后的基模型和LoRA模型,設置LoRA權重,其它參數按需配置即可。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

4. 單擊Generate(生成),等待一段時(shí)間后,即可在右側查看或下載生成的視頻。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

步驟四:微調LoRA

EasyAnimate提供了豐富的模型訓練方式,包括DiT模型的訓練(LoRA微調和基模型的全量微調)和VAE的訓練。關(guān)于Gallery中內置的LoRA微調部分,更多信息,請參見(jiàn)EasyAnimate。

準備數據

單擊開(kāi)始按鈕執行模型訓練>數據準備節點(diǎn)的命令,即可下載示例數據,用于模型訓練。您也可以按照如下格式要求自行準備數據文件。

文件數據格式如下。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

其中,JSON文件數據格式和參數說(shuō)明如下。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

基于EasyAnimate模型的視頻生成最佳實(shí)踐

訓練模型

1. 將對應的訓練腳本中的DATASET_NAME及DATASET_META_NAME設置為訓練數據所在目錄及訓練文件地址。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

2. 單擊開(kāi)始按鈕執行啟動(dòng)訓練>LoRA訓練節點(diǎn)的命令。

3. 訓練完成后,將生成的模型移動(dòng)至models/Personalized_model文件夾,即可在UI界面中選擇,或單擊開(kāi)始按鈕執行LoRA模型推理節點(diǎn)的命令,指定lora_path進(jìn)行視頻生成。

方式二:使用快速開(kāi)始

步驟一:部署模型

1. 進(jìn)入快速開(kāi)始頁(yè)面。

a. 登錄PAI控制臺。

b.在左側導航欄單擊工作空間列表,在工作空間列表頁(yè)面單擊目標工作空間名稱(chēng),進(jìn)入對應工作空間內。

c.在左側導航欄單擊快速開(kāi)始,進(jìn)入快速開(kāi)始頁(yè)面。

2.在快速開(kāi)始頁(yè)面,搜索EasyAnimate 高清長(cháng)視頻生成,然后單擊部署,配置相關(guān)參數。

EasyAnimate目前僅支持使用bf16進(jìn)行推理,請選擇A10及其以上的顯卡。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

3. 單擊部署,在彈出的計費提醒對話(huà)框中,單擊確定,頁(yè)面將自動(dòng)跳轉到服務(wù)詳情頁(yè)面。

狀態(tài)變?yōu)?strong>運行中時(shí),即表示模型部署成功。

步驟二:使用模型

模型部署完成后,您可以使用WebUI及API兩種方式調用服務(wù)來(lái)生成視頻。

WebUI方式

1. 在服務(wù)詳情頁(yè)面,單擊查看WEB應用。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

2.在WebUI界面選擇預訓練的模型路徑,其它參數按需配置即可。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

3. 單擊Generate(生成),等待一段時(shí)間后,即可在右側查看或下載生成的視頻。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

API方式

1.在服務(wù)詳情頁(yè)面的資源詳情區域,單擊查看調用信息,獲取調用服務(wù)所需的信息。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

2. 通過(guò)接口更新Transformer模型,可在DSW實(shí)例或本地Python環(huán)境中執行。

如果已經(jīng)在WebUI中選擇模型,則無(wú)需發(fā)送請求重復調用。如遇請求超時(shí),請在EAS日志中確認模型已加載完畢。加載完成,日志中將提示Update diffusion transformer done。

Python請求示例如下。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

其中:

○:替換為步驟1中查詢(xún)到的服務(wù)訪(fǎng)問(wèn)地址。

○:替換為步驟1中查詢(xún)到的服務(wù)Token。

3. 調用服務(wù),生成視頻或圖片。

服務(wù)輸入參數說(shuō)明

Python請求示例

服務(wù)返回base64_encoding,為base64結果。

您可以在/mnt/workspace/demos/easyanimate/目錄中查看生成結果。

基于EasyAnimate模型的視頻生成最佳實(shí)踐

其中:

○:替換為步驟1中查詢(xún)到的服務(wù)訪(fǎng)問(wèn)地址。

○:替換為步驟1中查詢(xún)到的服務(wù)Token。

贊助本站

人工智能實(shí)驗室
相關(guān)內容
AiLab云推薦
展開(kāi)

熱門(mén)欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實(shí)驗室 版權所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動(dòng)態(tài) | 免責聲明 | 隱私條款 | 工作機會(huì ) | 展會(huì )港