从抖音视频提取游戏动作 Mar 25, 2020 姿态估计旨在 RGB 图片和 Video 中的人体像素映射到肢体的三维曲面(3D surface)，其涉及了很多计算机视觉任务，如目标检测，姿态估计，分割，等等. 姿态估计的应用场景不仅包括关键点定位，如图形(Graphics)，增强显示(Augmented Reality, AR)，人机交互(Human-Computer Interaction，HCI)，还包括 3D 目标识别的很多方面....
手机端对端直连技术 Mar 8, 2020 最近在看AR相关的东西， 其中一个ARWorldMap使用到的Multipeer的技术感觉棒极了。简单就是说， 不需要通过远程的服务器，只在局域网内通过wifi、蓝牙建立起来的通信，有点类似于Apple设备上的AirDrop。尽管对目前强连接的网络游戏环境格格不入（特别是5G大环境下），不过在我看来，对于实时的每帧更新的大批量数据、多用户连接的通信场景，直连技术对缓解服务器压力有不可替...
Unity DOTS Jan 20, 2020 Unity 的高性能多线程面向数据的技术堆栈 (DOTS) 充分利用了多核处理器的优势,可创建更加丰富的用户体验。使用它可以更快地迭代和创建易于重用的 C# 代码。 从Cache说起 Cache Miss Cache（Cache Memory）作为储存器子系统的组成部分，存放着程序经常使用的指令和数据，是为了缓解访问慢设备的延时而预读的 Buffer，例如 CPU L1/L2/...
光线追踪-降噪与硬件加速 Jan 6, 2020 图像去噪是非常基础也是非常必要的研究，去噪常常在更高级的图像处理之前进行，是图像处理的基础。可惜的是，目前去噪算法并没有很好的解决方案，实际应用中，更多的是在效果和运算复杂度之间求得一个平衡。 噪声模型 图像中噪声的来源有许多种，这些噪声来源于图像采集、传输、压缩等各个方面。噪声的种类也各不相同，比如椒盐噪声，高斯噪声等，针对不同的噪声有不同的处理算法。 对于输入的带有噪声...
光线追踪-引擎 Jan 3, 2020 要说目前最热门的图形学话题，自然非实时光线追踪了莫属了。在GDC 2018上，微软率先为DX 12 API增加了光线追踪模块，并且将其命名为DirectX Raytracing (DXR)；而NV则紧随其后发布了基于实时光线追踪的RTX技术；并且直接将显卡型号都从GTX改成了RTX系列。此后，AMD也正式宣布了自家的ProRender渲染引擎将支持实时光线追踪。 当然，硬件厂商都这样了...
Unity资源管理机制 Dec 25, 2019 资源分类 unity的资源类型按照加载方式分为两类： GameObject、Prefab 类需要Instantiate资源 Texture、Mesh、Terrain、ShareMaterial等 引用计数的资源 加载机制 Assets加载: 用AssetBundle.Load(同Resources.Load) 这才会从AssetBundle的内存镜像里读取并创建一个As...
CUDA学习笔记 Dec 19, 2019 传统的中央处理器（CPU，Central Processing Unit) 内部结构异常复杂，主要是因为其需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理。 为了提高计算能力，CPU通常会采取提高时钟频率或增加处理器核数量的策略。为了进一步获得更高效的计算，图形处理器（GPU, Graphics Processing Unit）应运而生。 G...
文字转语音TTS Dec 13, 2019 概述 Tacotron2是由Google Brain 2017年提出来的一个语音合成框架Tacotron2:一个完整神经网络语音合成方法。模型主要由三部分组成： • 声谱预测网络：一个引入注意力机制（attention）的基于循环的Seq2seq的特征预测网络，用于从输入的字符序列预测梅尔频谱的帧序列。 • 声码器（vocoder）：一个WaveNet的修订版，用预测的梅尔频谱帧序列来生成...