豐色 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

用自然語言生成代碼不算稀奇，但現在，這項技術涉及的業務范圍真是越來越廣了。

就有一個叫做Text2App的“AI”，你“喂”給它一串文字需求，它就能直接給你“消化”成安卓應用！

不信你看。

這是輸入的文字：

創建一個APP，上面有一個視頻、一個按鈕，一個文本轉語音的功能以及一個手機加速傳感器。點擊按鈕，播放視頻；搖晃手機，念出文字“happy Text2App”。

整個過程除了等編譯花上幾分鐘，無需別的代碼操作，就能直接生成下面這樣一個安卓應用：

不知廣大程序員們尤其是安卓開發，看完感覺如何？

介于文字描述和源碼之間的“中間語言”

Text2App這個框架出自加州大學洛杉磯分校和孟加拉國工程技術大學。

它不是直接將自然語言生成源碼，而是先生成中間語言，再由編譯器生成源碼。

為什么要先生成中間語言呢？

因為此前大多數根據文字描述生成程序的研究都是基于端到端的神經機器翻譯 (NMT) 模型，類似于Google 翻譯，將自然語言直接翻譯成源碼。

雖然其中一些效果還不錯，但大多數無法生成大一點的、上百行代碼的程序。

為了克服這個限制，研究人員就在這個過程發明了一個新的形式語言 （formal language）做“橋梁”。

它能“搞懂”復雜的源碼，并將用戶給定的自然語言轉換出一小部分tokens（標記），再形成一個簡單的程序表示代碼。

最后用研究人員開發的一個編譯器，就能把這個中間語言轉換成源碼。

最理解編程語言的還是編譯器，完全讓AI來生成復雜的程序還不行，所以離不開編譯器的大力支持。

當然，生成中間語言還是靠的神經機器翻譯模型。

下面是“文字描述轉換成APP”的具體流程：

文字描述：

Create an app with a textbox, a button named “Speak”, and a text2speech. When the button is clicked, speak the text in the text box.

上面這段自然語言首先被格式化（例如將“Speak”轉為“ ‘STRING0’:’Speak’ ”），然后交給一個有編碼器和解碼器的Seq2Seq神經網絡翻譯成簡單的應用程序表示（SAR）——這就是上面說的中間語言：

<complist> <textbox> <button> string0 </button> <text2speech> </complist><code> <button1clicked> <text2speech1> <textboxtext1> </text2speech1></button1clicked> </code>

再通過SAR編譯器將中間語言轉換成MIT App Inventor源碼文件(.scm/.bky)，由MIT打包成最終可用的安卓端應用程序即可。

下面是自然語言和中間語言（SAR）自動合成的示意圖，很直觀：

功能還比較初級

正如大家所料，這個框架還是比較初級，目前描述文字需要被限定在一個固定范圍：

只能描述11種組件：文本框、按鈕、標簽、播放器、時間選擇器……

能實現的事件、操作等倒是沒有明確限制，感興趣的可以具體測測能實現多少。

目前的功能也很單一，廣大安卓開發程序員們還遠遠不用擔心AI“搶飯碗”。

不過研究人員說了，最終目的是使Text2App 成為一個成熟的基于自然語言的APP開發平臺。

需要多久呢？還未可知。

論文地址：https://arxiv.org/abs/2104.08301
完整視頻及試玩鏈接：https://text2app.github.io/

參考鏈接：
https://techxplore.com/news/2021-06-text2app-framework-android-apps-text.html

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態