把一隻機器狗搬進瀏覽器：它的走路策略只是四次矩陣乘法

前幾篇文章的模型都是在你的瀏覽器裡訓練出來的。這一篇不是。 下面這隻機器狗的大腦，是 Deep Robotics 用 GPU 在模擬器裡訓練好、再公開放在 GitHub 上的。真的 Lite3 機器狗身上跑的就是這種策略。

我做的事情只有兩件：把物理模擬器搬進瀏覽器，然後把那個大腦接上去。訓練它需要幾千隻狗同時在 GPU 裡摔上幾個小時，那不是一個網頁做得到的。但是「訓練好的東西到底是什麼、它靠什麼站著」，是可以在這裡動手拆開來看的。

模擬器加上機器狗的模型大約 4.5 MB，所以它不會自己載入，要你按下按鈕。

按下去之後，你會看到它以每秒半公尺左右的速度往前走。把搖桿推到底，它會以每秒 2 公尺跑起來；往下拉會倒退，勾選橫移還能像螃蟹一樣走。後面的儀器可以推它：150 牛頓，它踉蹌一下站穩；300 牛頓，它會四腳朝天。note 150 牛頓大約是 15 公斤重的力，推十分之一秒。Lite3 本身大約 12 公斤。我量到的是：175 牛頓以下怎麼推都不倒，275 牛頓以上一定倒；中間那一段，要看你推在它步伐的哪一個瞬間、以及你從哪一邊推。同樣是 250 牛頓，從一邊推 8 次倒 7 次，從另一邊推 8 次倒 4 次。

沒有任何一行程式碼在處理「被推了要怎麼辦」。

大腦只有四次矩陣乘法

公開的策略檔是一個 758 KB 的 ONNX 檔。打開來看，裡面沒有任何特別的東西：

它比上一篇的 Transformer 大十幾倍，但結構簡單得多：四層全連接層，前三層後面各接一個 ELU。所以這裡不需要任何推論函式庫，CNN 那篇寫的 dense 再加上一個新的 elu，就是全部：

act(obs: Float32Array): Float32Array {
  let x = tensor(obs, [1, 45]);
  this.layers.forEach(({ w, b }, i) => {
    x = dense(x, w, b);
    if (i + 1 < this.layers.length) x = elu(x);
  });
  return x.data;
}

ELU 和 ReLU 只差在負的那一半：ReLU 直接歸零，ELU 是一條平滑地趨近 −1 的曲線，$\mathrm{elu}(x) = e^x - 1$。

我拿原本的 ONNX 檔算出來的動作當標準答案，和這段程式的輸出比對，差距在小數第七位。note 物理那一邊也對過：同一個起始姿勢、同一個指令，瀏覽器裡的 WebAssembly 版 MuJoCo 和電腦上的 Python 版 MuJoCo 走十秒，終點都是 4.69 公尺。

這個網路每秒被呼叫 83 次，每次不到 0.2 毫秒。真正花時間的是物理。

它感覺得到什麼

那 45 個輸入是這隻狗對世界的全部認識。沒有相機，沒有地圖，它甚至不知道自己在哪裡、走了多快。

既然只有這六種感覺，最直接的問題就是：少了哪一種它會倒？下面每一組長條就是那一種感覺現在的讀數，按「蒙住」會把它歸零。

我量到的結果和我原本猜的很不一樣：

最後兩個最有意思。關節速度是它用來煞車的：感覺不到腿在動，它就以為自己還沒出力，於是越踩越用力。而「上一次的動作」是這個沒有記憶的網路唯一的節拍器。走路是一個週期性的動作，網路要知道現在輪到哪隻腳，靠的就是看自己上一拍做了什麼。把它拿掉，每一拍看起來都像第一拍，它就永遠停在起步的姿勢。

它輸出的不是力

12 個輸出也不是「每個馬達出多少力」。它們是目標角度，而且是相對於站姿的偏移：

縮放是髖關節側擺 0.125、其他關節 0.25 弧度，所以網路輸出 1，關節大約移動 14 度。真正算出力矩的是一個每毫秒跑一次的 PD 控制器：

$K_p$ 是彈簧有多硬，$K_d$ 是阻尼有多黏。力矩最多 30 牛頓公尺，這是馬達的極限。

這樣分工的原因是時間尺度。網路一秒想 83 次，馬達一秒要被指揮 1000 次。中間那 11 毫秒，是彈簧在替它撐著。

代價是：網路是在 $K_p = 30$、$K_d = 1$ 的身體裡長大的，它學到的每一個動作都默默假設了這副彈簧。換掉彈簧，它不會知道：

把 $K_p$ 拉到 10，實線就追不上虛線了，它會慢慢趴下去。拉到 100，實線幾乎貼著虛線，它也走得比你要求的快。我量到的速度：

彈簧變硬，同樣的目標角度會被更用力地執行，步伐變大，它就走得比你要求的快。它沒有壞掉，只是不準了。真的機器人上，每一顆馬達的實際增益都和規格書差一點，這就是其中一種「模擬裡好好的，上真機就怪怪的」。

推它

開頭說過，沒有任何一行程式碼在處理被推的情況。所以直接推推看，每一下都是從側面推十分之一秒。

我把力道從 100 牛頓掃到 400，每個力道在步伐的 8 個不同時間點、從兩邊各推一次：

中間那一段沒有一個乾淨的門檻。同樣 225 牛頓、同一個方向，我只是把推的時間點挪 60 毫秒，結果就從撐住變成倒地。兩邊也不對稱。在儀器裡用同樣的力道多推幾次，你會推出不一樣的結果。175 牛頓那一次，機身最多只歪了 6 度就回正了。

真實世界沒有這麼乾淨

模擬器裡，感測器沒有雜訊、訊號沒有延遲、地板摩擦係數剛好是 1。真機上三件事都不成立，所以我把它們一個一個弄髒。

延遲。 讓網路看到的永遠是幾拍之前的世界：

到 72 毫秒都沒有倒，但越走越慢。

雜訊。 在感測器讀數上加隨機誤差：±0.2 以下看不出差別；±0.3 還站得住，但速度掉到 0.2 到 0.35；±0.4 是邊界，我用 10 組不同的亂數各走 10 秒，4 次倒了，剩下 6 次只剩每秒 0.1 到 0.25 公尺；±0.5 十次全倒；±0.8 不到半秒就倒。

摩擦。 這是我最意外的一個。把地板從橡膠（μ = 1）換成比冰還滑（μ = 0.05），速度只從 0.47 掉到 0.44。腳確實在滑，著地的腳平均滑動速度從每秒 0.12 公尺升到 0.27，但它照走。要到 μ = 0.01 才明顯走不動。

這三個結果放在一起，其實在說同一件事。這種策略訓練的時候，模擬器會故意亂調摩擦、亂推機器人、在感測器上加雜訊，這叫 domain randomization，目的就是讓它不要太相信模擬器。note 我沒有查這個策略實際的訓練設定，所以「它訓練時隨機化過摩擦」是從行為反推的猜測，不是事實。你在這裡弄不倒它的那些方式，多半是有人已經在訓練時替你試過了；你弄得倒它的方式（蒙住關節角度、把彈簧換軟），則是訓練時沒人想過要防的。

這裡沒有的東西

這篇文章只有「執行」，沒有「學習」。那個 758 KB 的檔案是怎麼來的，這裡一個字都還沒說：

• 獎勵函數。 沒有人教它怎麼走。訓練時只有一個分數：速度跟上指令加分，摔倒、抖動、耗電、腳拖地扣分。走路的樣子是這個分數逼出來的。
• 幾千隻狗。 訓練用的是 PPO，在 GPU 上同時模擬幾千隻狗，每一隻都在不同的地形和不同的摩擦係數上摔。
• 只有平地。 官方的部署程式裡有樓梯地形，這裡沒有放。

要在瀏覽器裡重現訓練，需要的算力差了好幾個數量級。那是另一篇文章，而且需要一張 GPU。

授權與來源

• 走路策略：DeepRoboticsLab/Lite3_rl_deploy，BSD-3-Clause。
• 機器人模型與網格：DeepRoboticsLab/deep_robotics_model，BSD-3-Clause。碰撞網格換成了凸包，外觀網格減了面。
• 物理引擎：MuJoCo 的官方 WebAssembly 版，Apache-2.0。