Des mondes qui réagissent à la musique avec Pulse

Pulse écoute la musique de ton monde et la transforme en valeurs que tes shaders lisent à chaque image : le niveau de quatre bandes (des basses aux aigus) et leurs 1,4 dernières secondes, le spectre, des niveaux lissés, un temps musical qui avance plus vite sur les temps forts, et quatre couleurs tirées des notes qui dominent. Le paquet a aussi une tablette que les joueurs prennent en main pour tout régler pendant la soirée.

C’est le paquet Unity NodeWorld Pulse (com.nodeworld.pulse), sous licence MIT. Il demande NodeWorld SDK Worlds, qu’il apporte.

Ajouter le paquet#

1. Ajoute le registre NodeWorld à ton projet, comme pour le SDK (installer le SDK).
2. Ouvre Window, Package Manager, choisis My Registries, sélectionne NodeWorld Pulse, puis Install.
3. Dans le NW World Config de ton monde, ajoute à Flux Sharp Sources les sept scripts de Packages/com.nodeworld.pulse/Runtime/Flux/ (dans la fenêtre Project, ils sont sous Packages, NodeWorld Pulse, Runtime, Flux) : PulseAudio, PulseTablet, PulseHandle, PulseSharedSlider, PulseSharedToggle, PulseThemeColors, PulseLabels.

Brancher la musique#

1. Glisse le prefab Pulse (Packages, NodeWorld Pulse, Runtime, Prefabs) dans ta scène. Il porte le moteur : un composant FL# Script de classe Pulse.PulseAudio.
2. Dans son champ source, mets l’Audio Source qui joue ta musique : une enceinte de la scène, ou la sortie son d’un écran vidéo.

Pulse lit ce que joue la source, quel que soit son volume : un joueur qui baisse la musique voit toujours les lumières réagir. Quand la source se tait ou s’arrête, toutes les valeurs retombent à 0.

Un seul moteur par monde suffit : tous les shaders de la scène lisent les mêmes valeurs.

Poser la tablette dans le monde#

1. Glisse le prefab PulseTablet dans ta scène et place-le : son socle se pose sur une table, à environ 1 m du sol.
2. Sur la racine du prefab, le FL# Script de classe Pulse.PulseTablet a un champ pulse : mets-y l’objet Pulse de ta scène.

La tablette reste sur son socle jusqu’à ce qu’on la prenne. Un joueur la prend par une des deux poignées du bas, ou par les deux, une dans chaque main ; lâchée, elle reste là où elle est. Sa place est la même pour tous les joueurs.

Ce que fait l’écran :

La carte du bas montre les 1,4 dernières secondes de chaque bande (quatre rangées de points, le présent à droite) et, en dessous, une onde qui grandit avec la musique.

Les textes de l’écran suivent la langue du jeu de chaque joueur (français ou anglais).

Qui règle quoi#

Les réglages sont partagés : quand un joueur bouge un curseur, toute l’instance voit et entend la même chose. Le champ controllerSyncMode de Pulse.PulseTablet choisit ce qui est partagé :

Lire la musique dans un shader#

Inclus Pulse.cginc du paquet, puis lis les valeurs. Un shader complet, à enregistrer dans un fichier .shader de ton projet : la première couleur de la musique brille avec les basses.

Shader "MyWorld/Pulse Glow"
{
    Properties
    {
        _MainTex ("Texture", 2D) = "white" {}
        _Glow ("Glow", Range(0, 4)) = 1
    }
    SubShader
    {
        Tags { "RenderType" = "Opaque" }
        Pass
        {
            CGPROGRAM
            #pragma vertex vert
            #pragma fragment frag
            #include "UnityCG.cginc"
            #include "Packages/com.nodeworld.pulse/Runtime/Shaders/Pulse.cginc"

            sampler2D _MainTex;
            float4 _MainTex_ST;
            float _Glow;

            struct appdata
            {
                float4 vertex : POSITION;
                float2 uv : TEXCOORD0;
                UNITY_VERTEX_INPUT_INSTANCE_ID
            };

            struct v2f
            {
                float4 pos : SV_POSITION;
                float2 uv : TEXCOORD0;
                UNITY_VERTEX_OUTPUT_STEREO
            };

            v2f vert (appdata v)
            {
                v2f o;
                UNITY_SETUP_INSTANCE_ID(v);
                UNITY_INITIALIZE_OUTPUT(v2f, o);
                UNITY_INITIALIZE_VERTEX_OUTPUT_STEREO(o);
                o.pos = UnityObjectToClipPos(v.vertex);
                o.uv = TRANSFORM_TEX(v.uv, _MainTex);
                return o;
            }

            float4 frag (v2f i) : SV_Target
            {
                float4 col = tex2D(_MainTex, i.uv);
                if (PulseIsOn())
                    col.rgb += PulseThemeColor(0) * PulseSmooth(0, 8) * _Glow;   // la première couleur de la musique, avec les basses lissées
                return col;
            }
            ENDCG
        }
    }
}

La texture de données#

Le moteur calcule à chaque image la texture globale _PulseTex (128 × 32 flottants) sur la carte graphique, comme AudioLink : son script envoie seulement les échantillons de la musique et les réglages. Les bandes, les couleurs de thème et l’autocorrélation suivent les notes avec une image de retard. Ses places, en #define dans Pulse.cginc :

Les champs du moteur#

Le FL# Script du prefab Pulse (Pulse.PulseAudio) démarre avec ces valeurs ; la tablette les change pendant la partie.

Licence#

Le paquet est sous licence MIT. Son LICENSE.md contient aussi les notices du code dont il dérive (MIT) et de sa police, Geist (SIL Open Font License).