WordArt Designer是一個基于gpt-3.5 turbo的藝術字生成框架,包含四個關鍵模塊:LLM引擎、SemTypo、Styltypo和TextTypo模塊。由gpt-3.5 turbo驅動的LLM引擎可以解釋用戶輸入,從而將抽象概念轉化為具體的設計。
SemTypo模塊使用語義概念優化字體設計,在藝術轉換和可讀性之間取得平衡。在SemTypo的基礎上,StyTypo模塊輔助生成精細的圖像。TextTypo模塊通過紋理渲染進一步生成創造性紋理字體。目前應用demo已上線至ModelScope創空間,其中對應文字變形、紋理渲染相關等模型也即將在11月開源至ModelScope,敬請期待。
創空間應用體驗
鏈接:https://modelscope.cn/studios/WordArt/WordArt/summary
阿里云開發者社區結果分享
鏈接:https://developer.aliyun.com/topic/vision/wordart?accounttraceid=1d19d366cfd64c07a8902ff7a5841b85smzy
藝術字設計是語言和設計的一個關鍵交叉點,在廣告、幼兒教育和歷史旅游等各個領域都有廣泛的應用。遺憾的是,對于非專業的設計師來說,掌握藝術字設計仍然是一個非常挑戰的任務。盡管之前已經有研究工作嘗試彌合業余設計師和專業藝術字設計之間的差距,但現有的解決方案主要是在預定義的概念中生成語義連貫和視覺上令人愉悅的藝術字。這些解決方案通常缺乏適應性、創造性和計算效率。
?
01 技術架構圖
WordArt Designer 系統主要涵蓋4個關鍵模塊,由大型語言模型(LLM)推動,如通義千問等,促進交互式、以用戶為中心的設計過程。如圖3所示,用戶定義他們的設計需求,包括設計概念和領域,例如,“珠寶設計中的貓”。
LLM引擎:負責解析用戶的設計需求,生成提示詞以指導SemTypo、StylTypo和TextTypo模塊,從而執行用戶的設計愿景;
SemTypo模塊: 負責根據LLM的提示創意詞進行文字的變形,其中涉及文字參數化、區域筆畫選擇、可微渲染等;
StylTypo模塊: 基于語義變形后的圖像生成更平滑更豐富細節的圖片;
TextTypo模塊: 基于LLM的提示創意詞進行文字紋理渲染,進一步生成帶紋理的創意藝術字;
為了實現WordArt的自動化設計以及提高最終圖片的質量,我們引入了一個質量評估反饋機制,確保進入紋理渲染模塊的變形圖片的創意性、藝術表達能力以及可擴展性。
02 最佳實踐
目前,WordART Designer對應的應用已經上線至ModelScope創空間:創新藝術字(https://modelscope.cn/studios/WordArt/WordArt/summary),主要包括以下的三個功能(對應創空間的三個tab頁面):
- 文字變形;
- 文字紋理;
- 創意文字生成。
下面對這三個部分逐一進行介紹。
01 文字變形
文字變形的功能是基于用戶輸入的創意效果,對用戶輸入的文字進行變形,并最終得到變形后的文字圖片。具體的操作步驟如下圖所示:
生成完成后,可以看到如下所示的界面,用戶可以針對生成的結果進行如下的操作:
- 對生成的結果進行切換瀏覽;
- 點擊“為變形字增加紋理”,將對應的圖片發送至【文字紋理】版塊(在下一小節介紹)進行紋理添加;
- 點擊“變形字生成矢量圖”,下載對應的矢量圖片。
02 文字紋理
文字紋理的功能是基于用戶輸入的紋理效果,對用戶輸入的文字添加紋理,并最終得到上了紋理的文字圖片。需要注意的事,用戶可以通過以下兩種方式來產生輸入文字圖片:
- 使用【文字變形】版塊生成的變形文字圖片作為輸入,如上一小節所介紹,通過點擊“為變形字增加紋理”將對應的圖片發送至本版塊;
- 直接輸入文字內容,并支持選擇不同的字體。
使用【文字變形】版塊生成的變形文字圖片作為輸入,具體的操作步驟如下:
生成完成后,可以看到如下所示的界面,用戶可以切換查看生成結果。
如果是直接輸入文字,具體的操作步驟如下:
生成完成后,可以看到如下所示的界面,用戶可以切換查看生成結果。
03 創意文字生成
有的用戶會覺得上述【文字變形】和【文字紋理】版塊的效果描述過于繁瑣,無法想到很好的描述詞,那不妨試試【創意文字生成】版塊。創意文字生成基于用戶輸入的創意字,利用大語言模型自動為用戶推薦文字變形創意和文字紋理創意,用戶僅需輸入創意字內容,就可以得到最終變形和紋理的效果圖。
具體的操作步驟如下:
生成完成后,可以看到如下所示的界面,用戶可以切換查看生成結果。
探索創作作品
?
?
?
?
?
?
?
本文來源魔搭ModelScope社區,如有侵權請聯系刪除
未經允許不得轉載:RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 基于ChatGPT的文本生成藝術框架—WordArt Designer
熱門信息
閱讀 (14728)
1 2023第三屆中國RPA+AI開發者大賽圓滿收官&獲獎名單公示閱讀 (13753)
2 《Market Insight:中國RPA市場發展洞察(2022)》報告正式發布 | RPA中國閱讀 (13055)
3 「RPA中國杯 · 第五屆RPA極客挑戰賽」成功舉辦及獲獎名單公示閱讀 (12964)
4 與科技共贏,與產業共進,第四屆ISIG中國產業智能大會成功召開閱讀 (11567)
5 《2022年中國流程挖掘行業研究報告》正式發布 | RPA中國