线框绘制 线框渲染最近写代码快写吐了,写点Shader缓解一下。今天就复刻一个线框渲染吧,顺便温习一下几何着色器的用法。参考列在前面 在unity中实现风格化线框渲染 几何着色器(Geometry Shader)的基础介绍以及简单示例 几种方式总结一下各种实现的方法 生成线框模型 线框贴图 写入UV 利用GL来绘制线框 几何着色器 用几何着色器的LineStream来生成线段图元 用几何着色器来生成片 2023-02-09 渲染 #Shader #线框 #几何着色器
语音转口型 前言之前做GPT聊天时,用Live2D的简单的通过音量大小来驱动嘴型的大小变化,这里想更精确一定,用元音来驱动。主要就是复刻了这位大佬的这篇文章。 大致思路初看时被一堆术语吓到了,什么频域信息、窗函数、高斯滤波器、DCT变换、共振峰等等。耐心一点一点看就发现还是比较简单的,很多算法并不一定要从新造轮子去实现,知道其目的就好了。 获取语音数据的频域信息这里直接用AudioSource.GetSpec 2023-02-08 编码 #口型 #语音
OpenAI微调模型测试 前言之前只是使用了现成的OpenAI的模型,每次调用都要给出一大堆的重复提示词,而且效果也不是太好,这次尝试用其称为微调(fine-tuning)来训练个新的模型。可以节省token,顺便看看微调后的模型效果和之前有多大区别。OpenAI已经给出了详尽的说明,下面就只记录下具体的步骤。 安装直接在容器里操作吧,不想污染主机。起一个python的环境。 version: "2.3" 2023-02-07 其他 #OpenAI
文字转语音 Text To Speech 文字转语音 Text To Speech很多时候都会遇到需要这种服务,阿里的实在太难听,微软还没有信用卡。再找找还有木有其他方式。 云服务各家云厂商(阿里、腾讯、百度、微软、谷歌等等)一般都会提供这种接口,大部分还允许提供训练语音来训练自己的模型,价格也很便宜。但一定是要求客户端联网。 本地搭建服务TTS发展至今,也已经有了很多开源的实现。这次就尝试搭建几个玩一下。 coqui-ai提供了dock 2023-02-07 编码 #TTS
Unicode编码 UTF8与Unicode来源 UnicodeUnicoide 的全称是 Universal Multiple-Octet Coded Character Set(通用多八位字符集,简称 UCS)。规定了各种字符的编码。而下面都是具体的编码二进制的存储方式。 UTF-32规定,一个字符使用四个字节存储,也就是 32 位,这样就能涵盖现有 Unicode 包含的所有字符。 UTF-16UTF-16 用 2023-02-07 其他 #Unicode编码
ChatGPT-unity ChatGPT应该都被大家玩烂了,定个小目标吧,ChatGPT+语音交互+Live2D口型动画匹配。 接口openai并没有提供具体的ChatGPT的接口,第三方的接口一大堆。但是OpenAI提供了更底层的对模型的接口,而且调用异常方便。直接CURL: curl https://api.openai.com/v1/completions \ -H " 2023-02-03 其他 #ChatGPT #Live2D #口型 #语音
自定义UDP设备 InputSystem 解耦经常会有各种奇奇怪怪的硬件需要使用TCP/UDP去交互,这次尝试下使用InputSystem去解耦。 IInputStateTypeInfo定义一个结构体实现这个接口。 FourCC四个字符来定义一个唯一标识符。 InputControl使用这个描述符来定义一些字段,其中标记了各个按钮或者遥感的定义。 [InputControl(name = "firstButt 2023-02-02 编码 #InputSystem
xrtoolkit2.3预览版本体验 xrtoolkit2.3预览版更新,测试一下新功能。 安装目前还是预览版本,记得在packageManager中打开预览开关。然后按名称载入com.unity.xr.interaction.toolkit,记得指定版本2.3.0-pre.1 戳又一个交互器,最大的亮点是对UI的支持。可以做到类似触摸屏的效果了,不用傻傻的再用射线交互了。做一些类似的按钮交互也更方便了。 凝视可惜手头上并没有Ocul 2023-02-01 编码 #XRToolkit
Netcode网络框架与XRToolkit交互 笔记记录下使用Unity网络框架的一些坑。最后实现一个简单的VR场景下的多人交互。 安装从空白项目开始,2021.3版本。包管理器安装com.unity.netcode.gameobjects Transport发现这个netcode.gameobjects是依赖于Transport的。后者就是一个基于UDP的连接库。有一些官方给的例子可以参考。 netcode.gameobjects照这个基础栗 2023-01-30 编码 #Netcode #XRToolkit
Timeline搭配贝塞尔曲线 序先前产品有个需求,沿时间线播放一个线性移动问题的动画,干脆用官方自带的画贝塞尔的Spline搭配Timeline实现了,现在闲下来打算整理一下的。突然发现自己又造轮子了,而且别人用的是更简便的方法,不需要自己定义轨道等等繁琐的配置,只要实现一个ITimeControl即可。 原帖:[Unity2022] 同步样条线和时间线。非常详细。 但他这里还是太简单了一些,速度全程匀速,持续时间也是要靠手动 2023-01-29 编码 #Timeline #曲线