太獵奇了,，首個GPT-4驅動的人形機器人

twq19810302

讓GPT-4操縱人形機器人，事先不做任何編程or訓練,，能搞成啥樣兒,？
  V3 C9 x7 D/ t1 }! g
答案是：太 獵 奇 了！
" I4 T& }% \: M- a; g( j# E
3 b, Z; X+ ^: P/ R/ d& r這不,，要求機器人表演“在昏暗電影院里狂炫爆米花,，卻突然發(fā)現吃的是隔壁陌生人的😅”。

在GPT-4的操縱下,，機器人笑容凝固,，“尷尬”得搖頭扶額后仰：

但在尷尬之余,，竟然還不忘再抓一把塞嘴里,？？？又像是要求機器人“彈吉他”,。

# [. X! T/ w7 n' I; {7 ^GPT-4略思考一番,，開始操控機器人活動一番手指、隨后瘋狂甩頭,，好像是有點搖滾內味兒,。但仔細一看，甩頭的時候,，手指就完全不動了……

) ~- ~5 R8 l0 @8 i; k) B" O6 i

你要說這是神叨叨的地攤先生在掐指一算,，好像也沒什么不對（手動狗頭）。

總結一系列動作來看——

相比波士頓動力人形機器人,，一舉一動均由人為程序精細操縱,，這個GPT-4直接操控的機器人，表情猙獰,，動作詭異,，但一切行為又符合prompt的要求。

4 h" `7 Z3 ^! G( L/ Z

這一連串GPT-4操控機器人的視頻po到網上后,，不少網友直呼“恐怖谷效應犯了”：

原來,，這是首個由GPT-4驅動人形機器人的研究，來自東京大學和日本Alternative Machine公司,。

1 f3 ?9 l9 \. X4 ^% U

; M  ]3 U# N6 W% _# ?5 h3 B

依靠這項研究,，用戶無需事先給機器人編程，只需語言輸入,、也就是動動嘴皮和GPT-4聊上一會兒,，就能讓機器人根據指令完成行動。
7 Q, S; k& @% x. O0 a( \9 b' @

來具體講講把GPT-4和Alter3集成到一起,，是如何實現的,。
( Q, M4 ?5 G2 b; \6 G% O' }
" O, z8 r  [, Z2 G# k大體可以分為兩個步驟：

首先，先用prompt描述一下,，想要Alter3能夠完成什么行為或者動作,，比如“咱來張自拍吧”“自拍的時候胳膊再舉高一點”。
% }# b$ B5 @2 p2 B4 d; F
, t6 n6 B1 v' `& s0 U( `' k接收到輸入的GPT-4會生成一系列的思考步驟,，這些步驟詳細地闡述了要完成這個動作,，需要先后完成些啥。

這個過程被研究團隊稱為CoT的一部分,，即將一個復雜任務分解為一串更簡單的思考步驟,。

4 o8 O$ s$ N# c2 [然后，研究者們再祭出另一個prompt,，把分解后的詳細步驟轉化為Alter3可以聽懂的動作指令,。
$ i8 T# k( Q6 n2 ?6 A3 Q
1 o5 |+ u: J- _5 Q% W簡單理解就是把人們的指令描述轉化為Python代碼,，這些代碼可以直接用來控制Alter3的各個身體部位的具體運動參數。

有了轉化后的代碼,，Alter3想擠眉弄眼就擠眉弄眼,，想撇嘴就能撇嘴
7 g9 W& N9 `8 R1 `/ ?
研究團隊把這第二步也看成CoT的一部分，因為它完成的是“把一個抽象描述轉化為具體操作”,。
! Y6 E: x0 K/ {$ p4 b; c: c

, _' _4 Z+ {: s$ J! X3 n. i
% [: |3 o+ u2 B& Q

團隊表示,，CoT讓GPT-4能夠有效控制Alter3，命令它做各種復雜動作,，且不用額外的訓練或者微調,。

6 F. H6 v% W) _5 E4 F2 ?0 ^! \多說兩句，除了上述的兩個Prompt搞定機器人控制外,，研究團隊還順手完成了一些其它研究,。

8 ?! B# x; x+ ?: S) w2 r比如掰開了看Alter3在對話中的行為，主要針對其對話軌跡和語義時間演化,。

! z$ Z' n+ Q" t5 E3 u3 P針對對話軌跡,，研究團隊使用了一種叫UMAP（Uniform Manifold Approximation and Projection）的方法。團隊把對話內容嵌入二維空間,，從而方便觀察這個簡化版的對話發(fā)展過程,。
; {& ?. z1 A( q' F
' N+ Y% O* l0 Y5 `* E4 x% m2 X  F5 l他們發(fā)現，當對話順序固定時,，對話軌跡會呈現循環(huán)模式,，也就是老在重復同樣的話題。

而當對話順序隨機時,，對話內容更有發(fā)散性or創(chuàng)造性,。
2 ~2 s9 y& G" W' M
) W1 e/ k! s& z! }2 u& ?* u賊有趣的一點，研究發(fā)現GPT-4聊久了過后,，會傾向于反復說“再見”,。如果你不來點兒人為干預，它就會沉迷于想辦法跟你說再見,。

) c$ s% \4 x; X0 B% a而做語義時間演化分析的過程中,，團隊觀察了隨著時間變化，聊天內容的變化,。

# c# R: f7 L1 d+ @! ~9 e% w他們發(fā)現,，對話初期的一些關鍵詞，比如“藝術”或者“學習”啥的,，會聊著聊著就被GPT-4忘了,，取而代之的是諸如“文化”“人類”“抑制”之類的詞。
: w5 P8 s" y) ~( O
2 l" j8 N( \6 s5 }! f2 Z. d這表明對話內容是在逐漸發(fā)展變化的,。

當然,，如果你開始跟GPT-4說“再見”,，它就幾乎一心一意只想跟你說byebye～（doge）
, d& l+ x( Z5 n2 {* G8 {3 W/ @
這項火爆全網的研究，來自東京大學和日本Alternative Machine公司,。

一作Takahide Yoshida,，來自東京大學通用系統(tǒng)科學系,。

另外兩位作者升森敦士（Atsushi Masumori）和池上高志（Takashi Ikegami）,，都是既在東京大學，又屬于Alternative Machine公司,。

" z( u" @4 _* t+ I0 V4 K% _# p% C

最后,，不得不提到本次研究內容的主人公Alter3，它的幕后研究者也來自東京大學,，由東京大學AI研究學者池上高志和日本“機器人之父”石黑浩聯袂打造,。
7 l9 N6 a, T/ T) S/ F
0 k" X' |- U0 _0 g3 L6 VAlter3出生于2020年，是同系列機器人第三代產品,。
8 W  e6 O9 S5 J5 o9 ^% A
據了解,，Alter系列的兩次迭代都是在歌劇演唱中完成的。第3代的初亮相就是在東京新國立劇場指揮管弦樂隊并參加其他現場表演,。

6 |* h8 d" z) j3 ~4 n- Q; o! w

那個時候它的特色是增強了傳感器,，并改善了唱歌的表達能力和發(fā)聲系統(tǒng)。

以及身體里那粒能夠最終驅動43個氣動裝置的CPG,。
7 A+ n, B# i# E: N& e
CPG對數據的分析靈敏到什么程度呢,？就是如果Alter3呆的房間里如果溫度驟降，Alter3會因此打個冷顫,，表示自己有被冷到,。

) Z$ F! z. H  r2 ]
/ w4 I$ U4 O5 r+ ~! B3 I! d. @這或許也為現在接入GPT-4當腦子后的它，能夠活靈活現做表情,、完成動作提供了一些基礎吧,。


8 r2 |* s0 v# d' z! ^2 `

紫衣青衫

感覺能看到N年后的一點影子了，AI迭代下去智能提升,，控制機器軀殼

喂我袋鹽

紫衣青衫 發(fā)表于 2023-12-22 15:34
感覺能看到N年后的一點影子了,，AI迭代下去智能提升，控制機器軀殼

同意,，現在看上去還是智障,，將來還是會越來越智能的
7 L5 {5 i/ Y2 N

tiantianxs

厲害！科技的力量正在成長