
开发者用Claude打造像素风沙滩狗狗电视屏保
来源标题:Little Red Dog by the Sea: building a pixel art TV screensaver
一名开发者用Claude写代码,为Google TV制作了一款自家狗狗在北加州海滩上的像素风屏保,包含潮汐、野花、节日和逐时灯光变化。图像清理和早期布局草图由Gemini的图像模型完成,最终应用为Java Android TV程序,不联网且不申请任何Android权限。画面固定为480x270画布、8倍缩放至4K,并采用索引调色板按语义色槽存储颜色。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
海边小红狗:打造一款像素风电视屏保
某天海滩上,从黎明、白天、黄昏到夜晚的快进画面。这周我发现可以用编码 agent 连接我的 Google TV,于是趁机开始清理一些预装软件。在 GitHub 上看到几个像素风锦鲤屏保的例子后,我来了兴趣。几天后,我完成了一款像素风屏保,主角是我的狗,场景是北加州的海滩,还配上了潮汐、迁徙的野花、节日以及按小时变化的光线。Claude 写了全部代码和图像文件。
Gemini 的图像生成模型(Nano Banana 2,gemini-nano-banana-2.1)帮我清除了手机照片里的杂物,并勾勒出早期布局。之后,Claude Fable 5.2 编写了 Java Android TV 应用(零网络访问、零 Android 权限),以及生成 art/ 下所有随包发布像素图的 Python 脚本。
大部分设计源于两个硬性约束:固定的 480x270 画布,以最近邻过滤放大 8 倍到 4K;以及索引调色板模型。像素不存储字面的 RGB 颜色,而是存储语义化的颜色槽位,就像按数字涂色。将几何与调色板表分离,使得 12 个月历和 6 种光照状态(黎明、白天、黄昏、多云、雨天和夜晚)共用同一套美术文件,完全无需重绘。
早期版本在天空和海面上出现刺眼的水平色带。为了解决渐变问题,我使用了预烘焙的 Floyd-Steinberg 抖动(tools/scene_dither.py),覆盖 48 种天空色调、16 种海面色调和 16 种沙色调。只计算一次可以避免渐变在每次变化时闪烁(不过海面有一点点闪烁可能也不错)。
Claude 最初在 Java 里迭代,每次微调都要等完整的 Gradle 构建和 ADB 部署。为了加速构建、测试和评审循环,我把大部分美术流水线迁移到 Python,再移植回 Java 供应用使用。一个帧哈希清单(art/reference/manifest.json)在单元测试中运行,确保 Java 不会与 Python 产生哪怕一个像素的偏差。
工作历史中的场景演变:早期带色带的渐变、预烘焙的 48/16/16 色调 Floyd-Steinberg 抖动,以及最终发布的海滩场景,包含狗屋、冲浪彩带和季节性植物。
验证是个难题。美术效果不断回退,尤其是那 40 像素高、六种姿态的狗的精灵图。项圈或爪子的小改动会变成大错误、乱码图像和一连串报错。
早期我就定下一条规则:文字的自信不算数,唯一的证据是视觉。
手机快照里带着沙发、奇怪的角度,还有他后腿上缠着的花纹绷带。Gemini 先把每个姿态分离到蓝色键控背景上,然后描出平面区域研究图,之后我们把轮廓映射到网格上。
侧卧姿态的参考流水线:裁剪的手机照片、Gemini 清除腿部绷带、平面区域研究图、三段式 dog_side.png 精灵图,以及 50% 不透明度叠加检查。
缩放判断很难,尤其是对于“用像素画表现我的狗”这种模糊任务。在 40 像素高的情况下,像素画与照片相差甚远,那么一只狗被“正确表现”到底意味着什么?
有一次,我回到一个会话,发现两个睡眠姿态(侧卧和蜷缩)被搞乱了。在侧卧姿态上,模型给了他两条分开的尾巴:一条笔直朝左的尾巴,加上藏在下面的卷尾巴。九个 Fable 子 agent 看了那些候选图,第九个批准了两者。后续重绘更是离谱,出现了僵硬的 45 度高跷腿、被掐住的脖子,以及把侧脸头像嫁接到蜷缩姿态上,直到我回滚到之前的基线。
侧卧和蜷缩姿态在 squash 前的回退过程:已批准的基线、被九个子 agent 通过的双尾编辑、后续的高跷腿和嫁接头部重绘失败,以及最终发布的精灵图。
研究 harness 和视觉编码器如何处理图像,揭示了两种机械性失败模式:
一旦看到某种模式,我们就会把它变成该类错误的指导原则。我们将站立和睡眠的轮廓锁定为正交侧视比例,以匹配他的体型(肩到臀躯干正方形 1:1,腿为肩高的 50%,头为 40%),然后添加了一条阴影规则:“在放置任何阴影之前,先确定太阳在哪里”。
当文字规则在蜷缩姿态上仍然不够时,增加另一个相机角度解决了问题。Gemini 从低眼平角度重新拍摄了俯拍照片。Python 通过 Image.Resampling.BOX 将该抠图区域平均到像素网格上,一个本地对齐脚本在放大的象限裁剪图旁,用 50% 品红色标出轮廓不匹配处。
修复蜷缩姿态的相机透视缩短:俯拍快照、Gemini 低角度重拍、Python 盒式滤波缩减、50% 品红色轮廓差异图,以及最终发布的 dog_curl.png 精灵图。
我们还在 PR #6 中对狗的精灵图做了一些微调。当六个轮廓都协调一致后,它们看起来仍然不像是同一片天空下的同一只狗。提交 f273347 恢复了站立狗的原始前半身,同时保留了较新的头部、项圈、后臀和尾巴。然后按语义角色以伪彩色绘制全部六个精灵图,解释了为什么其余部分感觉更扁平:站立姿态在背部和肩部带有大面积的黄色 COAT_TOP 高光斑块,而其他五个姿态只有一像素宽的边缘。
伪彩色中的语义调色板角色(COAT_TOP 黄色、COAT_REAR 粉色、COAT_FRONT 绿色、COAT_UNDER 深棕色、COAT_FAR 藏青色、WHITE 白色)。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。