
核心觀點:邊緣AI不是在相機參數表裡增加一個TOPS數字,而是重新分配動作捕捉的計算:相機先理解畫面,中心再重建空間。它可能降低多路影片集中處理的壓力、縮短現場回饋鏈路並強化本地控制,但也帶來同步、版本和設備運維的新要求。
一、為什麼多相機系統不能只靠「把影片都送到一台電腦」
動作捕捉場地擴大後,相機數量、解析度、幀率和人員數量都會增加。若每台相機持續把完整高畫質影片集中送到一台伺服器,中心端需要同時承擔解碼、人體偵測、分割、關鍵點、身份匹配和三維重建,網路與GPU壓力會隨規模成長。簡單增加伺服器可以解決一部分問題,卻也增加佈線、機房、功耗、維護和單點故障風險。
邊緣計算的基本思路,是把一部分處理放到資料產生處附近。NIST SP 500-325指出,傳統雲端物聯網系統可能面臨規模、異質性與高延遲,把應用和分析分散到網路內部,是霧/邊緣計算的重要價值。[1] 對動捕而言,「附近」可以是相機內部、場地邊緣伺服器或本地中心。不同層負責不同任務,系統不必把每一個像素都搬到遠端才開始理解。
需要避免一個常見誤解:邊緣AI不等於完全沒有中心。單台相機能看到二維畫面,卻不能獨立得到統一空間中的完整三維人體;多相機仍需標定、時間對齊、跨視角身份匹配和三角化。真正的架構問題是哪些任務適合分散、哪些必須集中,以及分散結果怎樣保持一致。
二、我們把什麼放到了相機端
在思看(Semcam Live)中,相機側執行人體偵測、跟蹤、分割、2D關鍵點、ReID和置信度計算;Active Center完成跨相機匹配、三角化、3D關鍵點、骨骼解算、IK、濾波與重定向。[2][3] PRO、PRO+、ULTRA分別標稱40、55、100 TOPS,單機功耗10、15、18W。[2] 這些是目前公開規格。我們不會把TOPS直接解釋為模型精度、吞吐或端到端性能,它首先反映的是理論算力等級。
相機端先提取結構化結果,理論上可以減少中心端重複處理每路影像的負擔,也能把同一幀的偵測、關鍵點和置信度與幀號綁定。中心端更專注於多視角關係和三維解算。這種分工適合固定場地擴展;實際可擴展到多少相機、網路需要什麼頻寬、中心硬體如何配置、相機模型升級是否同步,則需要結合具體專案和對應技術文件確認。
邊緣AI還改變了故障定位。集中系統出錯時,使用者可能只看到最終骨架異常;分層系統可以檢查某台相機是否曝光異常、某視角關鍵點置信度是否下降、跨相機匹配是否衝突、三角化是否缺少觀測。前提是軟體真正向使用者暴露診斷資訊。因此,我們也會展示系統「怎樣發現問題」,而不只展示正常畫面。
三、改變一:讓即時不只是展示,而成為品質控制
即時動作捕捉常被包裝成角色立刻動起來,但在科研、機器人和訓練場地裡,即時的第一價值是避免無效採集。操作員需要在動作結束前知道人體是否出畫、關鍵關節是否被遮擋、多人身份是否交換、工具是否遺失、外部設備是否同步。若每個問題都到採後才發現,連續採集越快,廢資料也可能越多。
我們目前公開的資訊顯示,思看(Semcam Live)支援120fps即時輸出,端到端延遲低於100ms。[2][3] 這組數字需要和測試邊界一起理解:從相機曝光開始,是否包含網路、中心解算、協議發送和目標應用渲染;同時還要說明相機數量、人數、骨架複雜度和硬體配置。具體專案將以實際鏈路測試為準。
如果即時鏈路能夠同時輸出置信度和狀態,現場應用可以設定品質門檻:關鍵關節持續低置信度則提示調整動作;某台相機離線則暫停正式試次;多人身份不穩定則增加重拍標籤。這些規則需要Active Center和行業應用共同實現,不能憑空宣稱已經具備。適合文宣的方式是發布一個真實「資料質檢工作流」,把每個提示的來源與動作寫清楚。
四、改變二:讓相機數量與場地覆蓋更容易擴展
集中架構擴展時,新增相機意味著新增影片頻寬、解碼和推理任務;邊緣架構新增相機時,相機自身承擔部分推理,中心接收更精簡的結構化結果。理論上這有利於擴大覆蓋面積和視角冗餘。我們也把ULTRA規劃用於12人和最遠45米的大空間。[2] 但「架構可擴展」與「產品已在45米、12人現場穩定運行」是兩件事。
擴展並非線性免費。更多相機會增加標定複雜度、跨視角匹配組合、交換機連接埠、PoE預算、時鐘同步和現場維護。結構化資料本身也會隨人數、關鍵點數量和幀率成長。邊緣設備有溫度、功耗、韌體和模型一致性要求。如果某些相機運行不同版本,輸出可能出現系統性差異。
因此,我們將逐步補充規模化配置指南:典型空間對應多少相機、視野交疊如何規劃、交換機與網線要求、中心配置、允許的相機距離、標定檢查頻率、長時間運行測試與故障恢復。ULTRA目前仍處於「即將推出」狀態,相關大空間指標按預發布資訊說明,並將在真實專案中用場地平面圖和運行記錄驗證。
五、改變三:讓資料邊界更可控,但不是自動安全
動作影片可能包含臉部、身體特徵、健康狀況、工作流程和場地資訊。機器人示範還可能涉及未公開產品與工藝。雲端服務可以透過合約、加密與合規體系安全運行,但並非所有組織都願意把原始影片預設傳到外部。NIST SP 800-144建議組織在把資料、應用與基礎設施外包到公共雲時評估相應安全與隱私問題。[4]
我們採用完全本地部署,即時重建、HPE、專案管理與匯出均可在本地完成;相機側處理後傳輸關鍵點、置信度等結構化資料。[2][3] 這給客戶提供了更直接的資料邊界:可以在內網運行,並根據專案要求管理影片保留和外部存取。但本地系統仍需帳號、權限、日誌、備份、修補程式、磁碟加密和物理安全。
邊緣AI還帶來新的治理問題。模型可能需要更新,更新包從哪裡來、是否簽名、能否離線、是否改變輸出;相機是否快取畫面;設備故障返修時是否包含資料;日誌是否記錄人員資訊。這些都應進入產品安全文件。品牌行銷如果只把「本地」寫成恐懼雲端,會失去客觀性;更可信的表達是讓客戶按任務選擇本地、私有雲或混合方式,並明確責任邊界。
六、改變四:從傳影片到傳「有語義的資料」
影片是豐富但重的原始證據,關鍵點與骨架是輕量但經過模型解釋的結構化結果。邊緣AI使系統能夠在採集端開始語義化:這是誰、哪些像素屬於他、關節在哪裡、置信度如何。中心端再把多個視角融合成三維。這種資料更容易即時進入ROS 2、引擎或Python應用。
ROS 2的Topic被設計用於感測器資料、機器人狀態等連續資料流,[5] 與即時骨架和剛體位姿的發布模式相符。MuJoCo可以用於狀態估計、逆動力學、控制和機器學習採樣。[6] Active Center列出ROS、C++、Python、Matlab、MuJoCo、Isaac、OpenSim、C3D和內容引擎接口。[3] 需要公開消息格式、時間戳、座標系、單位、置信度和版本。
結構化資料也意味著資訊損失。一旦只保存關鍵點,未來演算法無法從原影片重新識別當時被忽略的細節;若模型判斷錯誤,結構化結果可能把錯誤固化。因此,系統應允許按專案決定是否保存原始影片、保存多久、哪些片段進入HPE、哪些只留骨架。基礎設施的成熟不是只傳輕量資料,而是能在可複查性、隱私和成本之間做顯式選擇。
七、邊緣AI的五個驗收問題
第一,端到端延遲如何測。必須給出時間起點和終點、相機數量、人數、輸出骨架和目標應用。第二,規模如何測。增加相機與人員後,幀率、延遲、身份與掉幀怎樣變化。第三,異常如何看。單相機、網路、標定或模型異常是否有可讀診斷。第四,版本如何管。相機與中心軟體是否相容,升級是否影響歷史資料。第五,資料如何守。影片、關鍵點、日誌和升級包分別在哪裡、誰可存取。
測試動作也應覆蓋真實難題:快速轉身、上下地面、手臂交叉、寬鬆衣物、多人換位、邊緣區域、強弱光切換和道具遮擋。對於每個失敗,應記錄是2D偵測、跨相機匹配、三角化、骨骼約束還是下游重定向的問題。只有能夠把故障定位到鏈路,邊緣架構才真正轉化為運維優勢。
我們把這五個問題整理成公開驗收清單,也歡迎客戶帶自己的動作、場地條件和軟體進行PoC。完整呈現測試條件、失敗邊界和清理成本,比只展示理想輸出更能幫助專業客戶判斷系統是否適合自己的工作流。
八、結論:邊緣AI的終點是可運營的動作空間
邊緣AI改變動作捕捉,不是因為每台相機多了一塊算力晶片,而是因為感知、計算、資料和應用的關係被重新組織。相機端先理解二維畫面,本地中心融合三維,即時資料進入行業應用,關鍵片段再做HPE;這一分層有機會支援更大空間、更低回饋延遲和更清晰的資料邊界。
對客戶來說,判斷邊緣架構是否有價值,還要比較完整的運營成本,而不是只比較中心GPU。相機端計算可能減少集中推理負擔,卻會增加設備數量、韌體管理與現場診斷;本地運行可能減少公網依賴,卻要求客戶管理伺服器、帳號與備份。我們會在真實專案中記錄部署工時、網路配置、中心利用率、故障次數、恢復時間與有效資料比例,再用同一任務與其他架構比較。沒有這些長期記錄時,最嚴謹的表述仍是「架構旨在改善擴展與現場控制」,而不是直接承諾確定的成本降幅。
思看(Semcam Live)的架構方向與這一趨勢一致,而我們也會持續補充端到端測試協議、規模化部署指南、長時間運行記錄、接口樣例、資料治理說明和真實客戶案例。我們不會把TOPS當作性能結論,也不會把本地等同於自動安全。思看(Semcam Live)真正希望做到的是:讓場地不再只是錄影,而是能夠在現場理解動作、輸出資料,並對結果負責。
資訊與引用說明
- 產品資訊:相機端任務、TOPS、功耗、120fps、延遲、ULTRA規格和接口,以我們目前公開的產品資訊為依據;擴展性、頻寬、長時間運行和完整延遲需結合專案測試。
- 行業資料:邊緣計算、雲安全、ROS和MuJoCo的說明來自官方文件。
- 實施建議:文中的五個驗收問題與治理建議,是我們面向專業部署總結的方法,不代表所有能力在所有配置下自動成立。
參考資料
1. NIST SP 500-325:霧計算概念模型(https://csrc.nist.gov/pubs/sp/500/325/final)
2. 思看(Semcam Live)產品頁(https://semcamlive.com/zh/SemcamLive)
3. Semcam Active Center產品頁面(https://semcamlive.com/zh/active-center)
4. NIST SP 800-144:公共雲安全與隱私指南(https://csrc.nist.gov/pubs/sp/800/144/final)
5. ROS 2官方文件:Topics(https://docs.ros.org/en/ros2_documentation/kilted/Concepts/Basic/About-Topics.html)
6. MuJoCo官方文件:Overview(https://mujoco.readthedocs.io/en/stable/overview.html)