整理 | 鄭麗媛

出品 | CSDN（ID：CSDNnews）

在 Windows PC 陣營(yíng)里，觸摸屏早已不是新鮮事，但蘋果卻始終堅(jiān)持“不做”。哪怕 iPad、iPhone 早已把觸控體驗(yàn)做到極致，MacBook 依舊停留在“鍵盤 + 觸控板”的交互范式。

2010 年，喬布斯曾在 MacBook Pro 發(fā)布會(huì)上指出，在筆記本電腦上裝觸摸屏“不符合人體工學(xué)”，“絕對(duì)行不通”；2012 年，剛繼任蘋果 CEO 的庫克也嘲笑過微軟 Surface 就像是“把烤面包機(jī)和冰箱合二為一”。

然而，一位名叫 Anish Athalye 的開發(fā)者和他的幾位伙伴，卻做了一件很“離譜”的事：

他們沒有改系統(tǒng)、也沒有改硬件結(jié)構(gòu)，只用了 1美元（約合人民幣6.9元）成本 +1個(gè)小鏡子，就把 MacBook 變成了一臺(tái)“觸摸屏電腦”——甚至，他們只花了 16個(gè)小時(shí)就做出了可用原型。

Anish Athalye把這個(gè)項(xiàng)目命名為：Project Sistine（西斯廷計(jì)劃）。這個(gè)名字并不是隨便起的，“Sistine”來源于著名的西斯廷教堂壁畫——米開朗基羅那幅經(jīng)典的《創(chuàng)世紀(jì)》中，上帝與亞當(dāng)手指幾乎相觸的畫面。

這個(gè)項(xiàng)目的核心，也正是圍繞“手指是否觸碰”的判斷而展開。

一個(gè)初中生的觀察，埋下了這個(gè)項(xiàng)目的種子

這個(gè)項(xiàng)目的靈感并不是憑空產(chǎn)生的。

早在團(tuán)隊(duì)成員 Kevin 讀初中的時(shí)候，他就注意到一個(gè)很日常卻容易被忽略的現(xiàn)象：當(dāng)你從一個(gè)傾斜角度看屏幕時(shí)，表面會(huì)呈現(xiàn)出類似鏡面的反光效果；當(dāng)手指靠近屏幕時(shí)，你可以同時(shí)看到手指本身以及它在屏幕上的“反射”。

于是一個(gè)關(guān)鍵問題出現(xiàn)了：如果我們能判斷“手指是否碰到了自己的反射”，是不是就能知道它有沒有觸摸屏幕？

當(dāng)年，Kevin 就基于這個(gè)思路，做過一個(gè)叫 ShinyTouch 的項(xiàng)目——通過外接攝像頭，實(shí)現(xiàn)一個(gè)幾乎無需配置的觸控系統(tǒng)。而這一次，Anish Athalye 團(tuán)隊(duì)想做得更極致：

把整個(gè)方案“壓縮”進(jìn) MacBook 本身，不依賴任何外部設(shè)備。

1 美元硬件：一個(gè)鏡子解決一切

基本上，他們的設(shè)計(jì)方案可以用一句話概括：讓 MacBook 的自帶攝像頭“看到”屏幕。

但問題在于，筆記本攝像頭默認(rèn)是朝向用戶的，而不是朝向屏幕。于是，他們用了一個(gè)極其簡(jiǎn)單但巧妙的方法：在攝像頭前加一塊小鏡子，把攝像頭視角“折射”到屏幕上。這樣一來，攝像頭就可以“俯視”屏幕，同時(shí)捕捉手指和反射，而不需要任何額外攝像頭。

整個(gè)硬件結(jié)構(gòu)簡(jiǎn)單到離譜：小鏡子、硬紙板、門鉸鏈和熱熔膠，成本幾乎可以忽略不計(jì)。

經(jīng)過幾輪調(diào)整，他們做出了一個(gè)可以在幾分鐘內(nèi)組裝完成的小裝置：一個(gè)“掛”在攝像頭上的微型反射結(jié)構(gòu)——這就是整個(gè)系統(tǒng)的全部硬件基礎(chǔ)。

不靠 AI，只用經(jīng)典 CV：識(shí)別“手指+反射”

相比硬件的簡(jiǎn)單，這個(gè)項(xiàng)目真正的核心在于軟件。他們并沒有使用深度學(xué)習(xí)模型，而是完全基于傳統(tǒng)的計(jì)算機(jī)視覺（Computer Vision），構(gòu)建了一條清晰的處理流程。

首先，系統(tǒng)會(huì)對(duì)攝像頭畫面進(jìn)行處理。通過膚色過濾和二值化，提取出可能是手指的區(qū)域；然后在圖像中尋找輪廓，篩選出兩個(gè)重要信息：一個(gè)是手指本體，一個(gè)是它在屏幕上的反射。

接下來，系統(tǒng)會(huì)做一個(gè)非常關(guān)鍵的判斷：這兩個(gè)輪廓是否在水平方向上有重疊，并且“上小下大”——上面的是手指，下面是手指的反射。

一旦找到這兩個(gè)輪廓，就可以計(jì)算觸點(diǎn)位置：取“手指底部”和“反射頂部”之間連線的中點(diǎn)，作為觸摸點(diǎn)。理論上，根據(jù)兩個(gè)輪廓之間的垂直距離，可以區(qū)分兩種狀態(tài)：

●如果距離很小 → 手指已經(jīng)接觸屏幕

●如果距離較大 → 手指只是懸停

處理后的效果如下：綠色：手指 + 反射輪廓；紅色：邊界框；紫色：觸摸點(diǎn)。

坐標(biāo)映射：從攝像頭到屏幕

識(shí)別出觸點(diǎn)之后，還有最后一個(gè)關(guān)鍵問題：這個(gè)點(diǎn)，怎么對(duì)應(yīng)到屏幕坐標(biāo)？

畢竟攝像頭看到的是一個(gè)傾斜視角，與屏幕的坐標(biāo)系是完全不同的。為了解決這個(gè)問題，他們引入了一個(gè)經(jīng)典的計(jì)算機(jī)視覺方法——單應(yīng)性變換（Homography）。簡(jiǎn)單來說，就是一個(gè)投影變換矩陣，可以把攝像頭視角下的點(diǎn)映射到屏幕坐標(biāo)系。

為了計(jì)算這個(gè)變換矩陣，Anish Athalye 他們?cè)O(shè)計(jì)了一個(gè)交互式校準(zhǔn)流程：

（1）屏幕上會(huì)出現(xiàn)一個(gè)移動(dòng)的綠色點(diǎn)，用戶需要用手指去點(diǎn)擊它；

（2）系統(tǒng)會(huì)記錄攝像頭檢測(cè)到的觸點(diǎn)位置，以及屏幕上的真實(shí)位置。

收集到足夠多的數(shù)據(jù)之后，使用 RANSAC 算法進(jìn)行魯棒估計(jì)，就可以得到一個(gè)穩(wěn)定的映射關(guān)系。這樣校準(zhǔn)完成后——攝像頭中的任意觸點(diǎn)，都可以被準(zhǔn)確映射到屏幕坐標(biāo)。

上面這個(gè)視頻展示了校準(zhǔn)過程：用戶需要跟隨屏幕上的綠點(diǎn)移動(dòng)手指。畫面疊加了攝像頭實(shí)時(shí)視頻與調(diào)試信息，攝像頭坐標(biāo)系下的觸摸點(diǎn)以紅色顯示。校準(zhǔn)完成后，投影矩陣會(huì)用紅線可視化，軟件隨后切換到正式模式，估算出的觸摸點(diǎn)以藍(lán)點(diǎn)顯示。

除此之外，在當(dāng)前原型中，Anish Athalye 團(tuán)隊(duì)是直接把“觸摸 / 懸?！鞭D(zhuǎn)成鼠標(biāo)事件的——也就是說，所有現(xiàn)有軟件均無需適配，立刻就能變成“觸控應(yīng)用”。而 Anish Athalye 也補(bǔ)充道，如果進(jìn)一步開發(fā)專門的觸控應(yīng)用，還可以利用更多數(shù)據(jù)，比如懸停高度、手勢(shì)軌跡和多點(diǎn)交互等。

（項(xiàng)目原型成果展示）

一個(gè)玩具，還是一個(gè)方向？

從嚴(yán)格意義上說，目前 Project Sistine 只是一個(gè)概念驗(yàn)證（PoC）。

根據(jù) Anish Athalye 的說法，它仍然有不少限制：

● 攝像頭分辨率較低（僅 480p）；

● 可視范圍有限，無法覆蓋整個(gè)屏幕；

● 對(duì)光線、膚色可能也有一定依賴。

但至少，它已經(jīng)證明了一個(gè)可行性方案：僅用 1 美元硬件，就能把筆記本變成觸摸屏——作為原型來說，其表現(xiàn)已經(jīng)相當(dāng)不錯(cuò)。要是能夠提升攝像頭分辨率或使用曲面鏡擴(kuò)大視野，Project Sistine 完全有可能成為一套實(shí)用的低成本觸摸屏改造方案。

不過，如果想要 Mac 有更好的觸摸屏體驗(yàn)，或許也可以等一等：據(jù)知名分析師郭明錤、彭博社等多方媒體爆料，今年蘋果很可能要打破自喬布斯時(shí)代延續(xù) 16 年的“筆記本無需觸控”理念了——有消息稱，蘋果將在2026年底推出首款配備觸摸屏的MacBook Pro機(jī)型。

最后，Project Sistine 已開源并采用 MIT 許可證發(fā)布，感興趣的開發(fā)者可前往查看：https://github.com/bijection/sistine。

參考鏈接：https://anishathalye.com/macbook-touchscreen/

【活動(dòng)分享】"48 小時(shí)，與 50+ 位大廠技術(shù)決策者，共探 AI 落地真路徑。"由 CSDN&奇點(diǎn)智能研究院聯(lián)合舉辦的「全球機(jī)器學(xué)習(xí)技術(shù)大會(huì)」正式升級(jí)為「奇點(diǎn)智能技術(shù)大會(huì)」。2026 奇點(diǎn)智能技術(shù)大會(huì)將于 4 月 17-18 日在上海環(huán)球港凱悅酒店正式召開，大會(huì)聚焦大模型技術(shù)演進(jìn)、智能體系統(tǒng)工程、OpenClaw 生態(tài)實(shí)踐及 AI 行業(yè)落地等十二大專題板塊，特邀來自BAT、京東、微軟、小紅書、美團(tuán)等頭部企業(yè)的 50+ 位技術(shù)決策者分享實(shí)戰(zhàn)案例。旨在幫助技術(shù)管理者與一線 AI 落地人員規(guī)避選型風(fēng)險(xiǎn)、降低試錯(cuò)成本、獲取可復(fù)用的工程方法論，真正實(shí)現(xiàn) AI 技術(shù)的規(guī)?；涞嘏c商業(yè)價(jià)值轉(zhuǎn)化。這不僅是一場(chǎng)技術(shù)的盛宴，更是決策者把握 2026 AI 拐點(diǎn)的戰(zhàn)略機(jī)會(huì)。