![]() | ![]() | ![]() | ![]() | ![]() | ![]() |
|---|
Github个人主页:https://github.com/IceTiki
近年来,CurveNet1 与 CurveCloudNet2 等方法表明,将点云表示转化为曲线结构进行三维感知具有显著潜力。
CurveNet1 采用神经网络逐点生成曲线,采样过程呈马尔可夫链式依赖,虽能捕获局部几何连续性,但采样效率较低且难以生成较长曲线。
CurveCloudNet2 利用激光雷达扫描的天然顺序进行曲线构建,避免了逐点采样的低效性,但当扫描方向与场景结构方向不一致时,生成的曲线往往呈现断续和不完整的特征。
为此,我们提出了一种高效的点云采样算法,其整体复杂度为
对于神经网络而言,曲线结构具有多种有利特性:
点在曲线中有序
能够勾勒出物体的局部结构信息
完成了点云的分组
信息密度较高,未经过稀疏采样
便于使用一维卷积进行特征编码(Encoding)以及转置卷积进行解码(Decoding)
基于上述特性,曲线在神经网络中的潜在应用包括:
通过曲线完成的点云分组,可在编码后显著减少 token 数量,从而更高效地结合注意力机制(Attention)
曲线结构相对稳定,若应用于扩散模型,可在生成过程中保持几何结构的一致性
由于曲线之间存在重叠区域,可将一条曲线作为 query,通过注意力机制生成下一条曲线,实现结构连续的建模
更新中


2023秋学期《计算机图形学》期末项目,目标是实现一个骨架化算法。
『功能』简单轻量的点云骨架化方法。
『特色』
简单的法向量估计方法——将点云视作相互排斥的电荷计算电场,而电场方向往往垂直于平面朝外。
拼合法向量和位置,用Kmeans分组;然后以SVD特征决定是组内点云抽象方式。(直线/凸包面)

2023秋学期《计算机视觉2》期末小组项目,目标是优化
TGA(视频超分辨率模型)的动画超分效果。本人在项目中独立负责实现一个流式超分模块。
『功能』基于TGA视频超分辨率模型(依赖前后3帧进行视频超分)开发的流式超分模块。
『特色』
采用流式方式读取视频:降低内存占用。
基于前后帧变化率进行转场检测:在检测到转场时,以转场前的最后一帧补齐TGA模型所需的7帧(padding),从而避免其他场景的帧被输入模型。这一策略可略微提升超分辨率效果。转场检测在视频读取阶段即完成,以避免重复计算。
动画中,背景往往是完全静态的:只传输前后帧变化区域可以显著减少TGA的模型计算量(在消费级显卡上,GPU利用率有所下降,但整体超分速度有所提升)

2024春学期《高阶图像处理》期末项目,目标是从两张不同方向的X光图片还原出三维的CT体素。
『功能』从两张不同方向的X光图片,生成指定层的CT切片(图片)。
『特色』
网络轻量(对比3D卷积/注意力方案),在RTX4060TI上即可完成完整训练
数据集IO性能优化:数据集预处理并存储到sqlite中,以加速数据读取
利用矩阵乘法,将两个方向的一维特征广播到二维矩阵中(类似边缘分布重建联合分布)

2024年秋学期SI100B助教工作,负责给学生提供简单的游戏开发框架。
https://github.com/teafrogsf/SI100B_DIE_Fall_2024_Repo/tree/main/baseline
『功能』设计了一套事件系统
Core——单例类,管理事件队列。
ListenerLike——实现listen函数,可以接收事件的类
@listening可以装饰ListenerLike的成员函数,使得listen接收的事件分发到成员函数中
GroupLike是ListenerLike的容器,将接收到的事件分发到组内的所有ListenerLike
『特色』
完善的文档(框架代码有详细类型标注,Numpy风格docstring,严格遵守PEP8命名规范)
高效的实现——GroupLike会对其成员ListenerLike依据「可接受的事件类型」进行分类,使事件仅传递到可以处理事件的成员中,极大提升了性能。
(另存在一版简单的等价实现——不使用复杂优化,方便学生学习)
《雨世界》区域总览地图生成器。
『功能』读取《雨世界》游戏文件,生成区域地图。
对比Cornifer
支持中文字体
对房间内容解析更完整
不需要手动排布地图
『难点』游戏中区域房间分多个层级,存在三维拓扑关系,难以直接映射到二维。
『解决方案』
广度优先搜索顺序,初始化排布
模拟房间连接产生的拉力和重叠产生的斥力,迭代优化排布(使用numba/JIT加速迭代过程)
检查重叠,将重叠房间移开(使用numba/JIT加速迭代过程)
『难点』游戏地图文件格式的文档缺乏:需要结合游戏实际内容,利用开发者工具进行调试与验证,从而推测文件中各数据部分的具体功能。


二维杆件系统内力求解器。
『功能』基于「矩阵位移法」实现的力学求解器。
支持各种约束形式和定义材料性质,并内置绘图模块。
『特色』
修复了其他结构力学求解器(https://www.jglx.net/help.html)会在定向链杆连接下出错的问题。
