Instalación & Manual

Home / Instalación & Manual

¿Qué necesito para que funcione?

Antes que nada, necesitas un Eye-tracker: un dispositivo que sabe dónde estás mirando. Alternativamente, el EyeHarp se puede controlar a través de cualquier otro dispositivo que pueda controlar el puntero del mouse (por ejemplo, un mouse, un dispositivo de seguimiento de la cabeza o un touch-pad). Luego debe descargar y ejecutar la aplicación EyeHarp. ¡Es gratis y de código abierto!

¿Como suena?

El EyeHarp viene con un sintetizador analógico simple que ofrece una sonificación básica. Para una mejor calidad de sonido, puede usarse como un controlador midi. Aquí hay un video de demostración de una actuación con EyeHarp:

Ok, ¿cómo puedo instalarlo en mi computadora?

  1. Descargue e instale Visual C ++ Redistributable para Visual Studio 2015 x86 (vc_redist.x86.exe) . ¡Asegúrate de seleccionar la versión x86!
  2. Vaya a https://github.com/zackbam/TheEyeHarp y presione el botón verde “Clonar o descargar” y descargue el archivo zip.
  3. Descomprímala y ejecute EyeHarpVS.exe en la carpeta bin. Eso es todo! ¡Tienes el EyeHarp en funcionamiento! Si desea crear un acceso directo de EyeHarpVS.exe en su escritorio para tener un fácil acceso.

¿Cómo puedo controlar el EyeHarp con mis ojos?

Para hacer eso, necesitas un rastreador ocular. Un rastreador ocular es una cámara especial que, junto con el software dedicado, puede detectar dónde estás mirando en cada momento. Normalmente se coloca debajo de la pantalla. El EyeHarp ha sido probado con dos monitores oculares comerciales: el tobii 4c y el eyetribe. Más dispositivos tobii pueden funcionar también con EyeHarp (cualquier dispositivo que se comunique a través del servidor EyeX). Lamentablemente, el producto eyetribe se ha descontinuado, pero si tiene uno, puede usarlo con EyeHarp. El tobii 4c es un rastreador ocular de bajo costo de 159 € con un excelente rendimiento (experiencia personal subjetiva).

Si tengo un rastreador ocular diferente, ¿puedo controlar el EyeHarp con los ojos?

El EyeHarp se puede controlar con cualquier dispositivo que mueva el puntero del mouse. Si posee un rastreador ocular diferente, puede obtener el control del puntero del mouse con el software proporcionado con su rastreador ocular, y luego puede controlar el EyeHarp. Por supuesto, debe informar al EyeHarp que está utilizando la entrada del mouse en lugar de la entrada de la mirada. Esto se puede configurar junto con más configuraciones en un archivo de configuración llamado “eyeharp.txt”. Las opciones disponibles en este archivo se describen en detalle más adelante.

Si no tengo un rastreador ocular, ¿puedo seguir usando el EyeHarp?

Sí, se puede controlar con un dispositivo señalador como un mouse, una bola de seguimiento, un head-tracker, etc. Sin embargo, para controlarlo con los ojos, debe usarse junto con un Eye-tracker.

¿Cómo toco música?

El EyeHarp consta de dos capas: la capa del secuenciador por pasos y la capa de la melodía. En la capa del secuenciador por pasos, el usuario puede construir arpegios, y en la capa de melodía controlar los acordes de los arpegios y tocar melodías al mismo tiempo. El usuario puede cambiar entre las dos capas mirando el botón “capa” en la parte inferior izquierda de la pantalla.

El EyeHarp es un instrumento diatónico, lo que significa que el usuario establece la escala antes o durante la reproducción. Cada botón puede se puede mapear a diferentes notas. Por defecto, el EyeHarp está sintonizado en escala C Mayor. Pero esto se puede cambiar a través del archivo de configuración de configuración y a través del menú de configuración.

capas

Capa de Secuenciador de pasos de la capa Melody

Capa del secuenciador por pasos

En esta capa, el usuario puede construir arpegios. El secuenciador por pasos consiste en una cuadrícula cuadrada de botones de notas, por defecto 8 × 8, pero la dimensión de la cuadrícula se puede configurar tanto en el archivo de configuración (“eyeharp.txt”) como en el menú de configuración de la interfaz (explicado luego).

Un botón en la interfaz EyeHarp es un círculo con un pequeño “punto de enfoque” en el centro. Se realiza un clic en el botón enfocando el punto de enfoque del botón durante 700 ms. Este método se conoce como tiempo de permanencia. Alternativamente, el EyeHarp se puede configurar para realizar clics con los clics del mouse izquierdo (configurados en el archivo de configuración EyeHarp.txt). Los botones del secuenciador por pasos se seleccionan y se seleccionan al hacer “clic” en ellos. Otra forma de eliminar la última nota insertada es mirar el botón “eliminar” en la parte superior izquierda de la pantalla. Junto a él, está el botón “Borrar todo”.Cuando se presiona todo en el paso, se eliminan las notas del secuenciador.

En un secuenciador por pasos, cuando el EyeHarp se tonifica, por ejemplo, en Do mayor, los botones en la primera fila corresponden a la nota ‘c’, en el segundo a ‘d’, en el tercero a ‘f’ etc. Las notas seleccionadas en la primera columna sonará primero. Si el tempo se establece en 60 latidos por minuto, después de 1 segundo, sonarán las notas seleccionadas en la segunda columna, seguidas de las notas en el tercero, etc. Cuando se llega a la última columna, el arpegio comienza de nuevo.

El secuenciador de pasos se puede configurar para ser monofónico (una nota por columna puede estar activa) o polifónica (varias notas por columna pueden estar activas).

Capa de Melodía

La capa de melodía consiste en un teclado “similar a un pastel”. En el centro de la Pie hay un área de descanso, en la que no se coloca ningún botón. En el perímetro del pastel, se colocan las notas. Cada “porción” del pastel corresponde a una nota o acorde diferente. Cuando el usuario mira el perímetro de cada “sector”, se activa la nota o el acorde correspondiente. Esta área exterior del sector se puede denominar “área de selección” de cada nota. La primera nota se coloca en la posición “9 en punto” de un reloj analógico y corresponde a la nota “g-3”. A su lado, alrededor de “8 en punto”, se coloca la siguiente nota, “a-3”. Siguiendo el sentido de las agujas del reloj, todas las notas se colocan alrededor del pastel. El número de sectores en el pie se puede configurar tanto en el archivo de configuración de configuración como dentro del menú de configuración de EyeHarp (explicado más adelante). Cuando la función “Mostrar acordes” está activa, las últimas 7 partes de la interfaz se utilizan para cambiar los acordes del arpegio creado en el secuenciador de pasos. Cuando la función “mostrar semitonos” está activa, entre las rebanadas aparecen botones cíclicos que corresponden a los semitonos entre las notas de la escala.

El área negra dentro del Pie es un área en la que el usuario puede mirar libremente sin activar ningún evento.Llamemos a esto “área neutral”. Algunos números aparecen dentro de esa área. El objetivo de estos números es permitir que el usuario piense y mire cuál será la siguiente nota para tocar, sin disparar la nota mientras lo piensa. El número 1 corresponde a la nota ‘c’ (cuando estamos en escala C), 2 a ‘d’, 3 a ‘e’, ​​etc. Los números en latín describen los acordes. ‘I’ es C, ‘II’ es D, etc. Si los acordes son menores o mayores, depende de la escala establecida.

melodyLayerAreas

Cada porción del pastel tiene 4 puntos de enfoque, cada uno de ellos más alejado del centro del pastel. Cuanto más lejos esté el punto de enfoque, más fuerte sonará la nota cuando el usuario lo mire fijamente.

Para lanzar una nota, el usuario debe tocar la siguiente nota o mirar el “área de lanzamiento”. El área de lanzamiento es el área verde brillante que se encuentra justo afuera del Pastel.

Para tocar la misma nota dos veces, el usuario puede mirar el área de selección de la nota, luego en el área neutral y luego regresar al área de selección de la nota. Sin embargo, este procedimiento requirió demasiados movimientos oculares. Por este motivo, aparece un “botón de repetición” cíclico en el centro del gráfico, cuando la mirada del usuario se encuentra en el área de selección. La misma nota consecutiva se puede reproducir una y otra vez con solo mirar el área de selección de una nota, luego volver al centro de la pieza y así sucesivamente. En cambio, al mirar el área donde se coloca el número, el “botón de reproducción” desaparece.y luego el usuario puede mirar libremente dentro del área neutral sin activar ningún evento.

Opcionalmente, a través del archivo de configuración EyeHarp.txt (explicado más adelante), se puede colocar un área de liberación adicional entre la selección y el área neutral, como se muestra en la siguiente imagen.Esta característica parece ser adecuada para los usuarios que utilizan el seguimiento de la cabeza en lugar del seguimiento ocular. Sin embargo, algunos usuarios que usan Eye Tracking también prefieren tener esta función activa.

inRelease

Mire este video de youtube de una versión anterior de EyeHarp EN UNA COMPUTADORA CON ANOTACIONES DE VÍDEO ACTIVADAS , en la que aparecen algunas anotaciones explicativas durante una presentación.

¿Cómo puedo seleccionar un sonido diferente?

EyeHarp viene con un sintetizador aditivo básico incorporado. Ofrece tres sonidos básicos en la capa de la melodía: dos sonidos similares a theremin (theremin y sinusoidal) y un sonido similar al vibráfono. También se puede usar como un controlador midi. En ese caso, cualquier instrumento puede ser producido. Un controlador midi no produce ningún sonido. En su lugar, envía mensajes de control a otro sintetizador externo. Si EyeHarp funciona como controlador midi o como sintetizador, se configura en el archivo de configuración o en el menú de configuración.

El menú de configuración

Cuando se presiona el botón “Configuración” en la parte derecha de la pantalla, aparece una cantidad de configuraciones.

Configuración en la cape de melodía

En la esquina superior izquierda, el usuario puede seleccionar entre tres sonidos: Theremin, Sinusoidal y Vibraphone. Por defecto, el Vibraphone está seleccionado. En estos casos, el sonido se producirá a través del sintetizador incorporado de EyeHarp. Para una mejor calidad de sonido, se puede seleccionar la opción “toMidi”.En ese caso, EyeHarp buscará puertos midi virtuales. Los puertos midi libres LoopBe1 y loopMIDI son compatibles. Luego, se puede usar una aplicación de host de instrumentos virtuales para cargar sonidos y activarlos con EyeHarp. Más adelante en este manual se explicará cómo configurar la estación de trabajo de audio digital Reaper (DAW) (de prueba) con los sonidos gratuitos de Sforzando Aria . El canal midi al que se envía cada capa se puede configurar mediante un control de repetición a la izquierda del Pie.

preparar

A la izquierda de la pantalla, justo debajo de la sección de selección de instrumentos, hay dos botones de repetición con comandos hacia arriba y hacia abajo. Al centrarse en cada uno durante aproximadamente 700 ms, el usuario puede aumentar / disminuir el número de “rebanadas” del pastel. Más sectores significa más notas disponibles, menos sectores significa un sistema menos propenso a errores, ya que aumentará el tamaño del área de selección de las notas.

Todavía a la izquierda, hay dos botones verticales de repetición con comandos hacia arriba y hacia abajo.Sirven para establecer la octava de la capa de la melodía.

En la parte inferior / izquierda de la pantalla aparece un interruptor llamado “ShowScale”. Cuando esté activo, el usuario podrá sintonizar el EyeHarp a diferentes escalas: después de cerrar el menú de configuración, aparecerá una cantidad de escalas para seleccionar a la izquierda de la pantalla. Alternativamente, al ajustar un parámetro en el archivo de configuración, la lista de escalas preestablecidas se puede reemplazar por un menú que permite ajustar cada nota de la escala con pasos de semitonos.

escala

En la esquina superior derecha de la pantalla hay dos botones. A la izquierda hay un botón para salir de la aplicación. Dejar de fumar en realidad consiste en dos pasos. Una vez que presiona el botón de salir, el mismo botón cambiará de posición, y tendrá que presionar nuevamente. Esto evita que salga accidentalmente del programa. A la derecha del botón salir hay un botón “Grabar”. Esto permite grabar una secuencia de acordes.Esto permite tocar una melodía en la parte superior. También es posible cambiar los acordes y tocar simultáneamente una melodía, pero a veces es más conveniente grabar primero los acordes y luego tocar una melodía o improvisar en la parte superior. Al presionar este botón, al comienzo del arpegio, se volverá rojo. Una vez que está en rojo, la grabación ha comenzado. Cuando el ciclo de acordes que deseamos grabar haya finalizado, el botón de grabación debe presionarse nuevamente. Una vez presionado, los acordes comenzarán a reproducirse en un bucle. Por supuesto, un arpegio debería haberse construido antes, en la capa del secuenciador por pasos.

Finalmente en la parte inferior derecha de la pantalla hay un interruptor que nos permite cambiar entre el secuenciador por pasos y la capa de melodía.

Configuración en la capa del secuenciador de pasos

A la izquierda de la pantalla, se colocan dos botones de repetición llamados “meter” para aumentar, disminuyendo el tamaño de la cuadrícula en el secuenciador por pasos. El tamaño de la cuadrícula afecta la signatura de tiempo del arpegio. Por ejemplo, un tamaño de 7 × 7 significaría un ritmo de 7/8. Los tamaños recomendados son 6, 8, 12 y 16.

En la parte inferior izquierda, hay dos botones de repetición más para ajustar el tempo del secuenciador por pasos. En la esquina superior derecha de la pantalla aparecen dos interruptores. Cuando el de la derecha, llamado “FocusPoints” está activo, aparecerán puntos de enfoque adicionales en los botones del secuenciador de pasos. Si la precisión del rastreador ocular no es buena, estos puntos de enfoque adicionales pueden mejorar las notas de selección del usuario con mayor precisión. A su izquierda hay un interruptor llamado “Magnificar”. Cuando esta función está activa, aparece un lente de aumento, una región del secuenciador por pasos se amplía, y luego las notas de la región ampliada se pueden seleccionar o deseleccionar. Esta función es útil cuando se desea un tamaño de cuadrícula grande, algo que conduciría al tamaño de los botones pequeños.

Configurando EyeHarp con Sforzando Aria sonidos gratis y Reaper DAW

El EyeHarp en este caso servirá como un controlador midi. Si tiene experiencia con una estación de trabajo de audio digital diferente a Reaper, o si posee sonidos comprados (p.ej. cualquier biblioteca Kontakt), entonces probablemente ya sepa cómo configurar EyeHarp como un controlador midi. Todo lo que necesitamos saber es que el EyeHarp se envía a los canales MIDI 1 (melodía) y 2 (paso Secuenciador). Es posible que también necesite instalar el puerto midi virtual LoopBe1. LoopMIDI también es compatible.

  1. Descargue e instale el puerto midi virtual loopMidi . Descargue la versión gratuita en la parte inferior de la página. Una vez que lo instales y lo ejecutes, haz que crees un puerto presionando el símbolo ‘+’.
  2. Descargue e instale sforzando :: Free SFZ Player .
  3. Descargue e instale ARIA Engine Free Sounds desde aquí .
  4. Descargue e instale la versión de prueba de Reaper . La versión de prueba nunca caduca, pero considere comprar el software si lo desea.
  5. Ejecutar Reaper. Normalmente, la primera vez que ejecuta el reaper, le pide que configure el dispositivo de audio. Seleccione WASAPI y deje todas las opciones como están.
  6. Ve a Opciones -> Preferencias.
  7. A la izquierda, haga clic en complementos -> vst
  8. Haga clic en Agregar
  9. Agregue el directorio C: \ Program Files \ Plogue \ sforzando \ VST
  10. Presione Volver a escanear. Presiona el botón Ok.
  11. Ir a Pista -> Insertar Instrumento virtual en una nueva pista.
  12. Seleccionar vsti: sforzando
  13. Sepa que debe seleccionar un instrumento. Me gusta el sonido de piano. Ir a Instrumento -> Sonidos gratis -> Garritan -> Jazz Piano Lite. Si te gusta algo de reverberación, configura el valor “enviar” a ~ 75%.
  14. Habilita el puerto LoopMidi en Reaper. Vaya a Opciones -> Preferencias -> Dispositivos Midi. Luego haz clic derecho en LoopMidi y haz clic en habilitar.
  15. En la pista que insertó, haga clic en IN (si no aparece, aumente el ancho del área de opciones de la pista).Seleccionar entrada: Midi -> LoopBe Internal Midi -> Channel 1.
  16. Repita los pasos 11 a 14, pero seleccione el canal midi 2 esta vez. Si desea un sonido diferente para el arpegio, simplemente seleccione un sonido diferente aquí.

Si todo fue bien, ¡ahora deberías poder tocar el piano con tus ojos!

¿Dónde puedo obtener más información sobre EyeHarp?

Puede leer nuestra publicación más reciente en International Journal Frontiers in Psychology. Esta publicación describe la interfaz y los resultados de un proceso de evaluación conducido. También puede ver este video de Youtube EN UNA COMPUTADORA CON ANOTACIONES DE VÍDEO HABILITADAS , en el que aparecen algunas anotaciones explicativas durante una presentación.

Atajos de teclado

Hay varios atajos de teclado disponibles para ajustar al vuelo la interfaz a las necesidades de cada usuario.

‘k’: alternar entre el clic del mouse y el método de selección del tiempo de permanencia.

‘f’: alternar a pantalla completa

‘m’: alternar entre el puntero del mouse y la entrada de datos de la mirada

‘n’: muestra / oculta el círculo correspondiente al área que el usuario está mirando

‘h’: muestra / oculta los atajos de teclado

El archivo de configuración

Dentro de la carpeta “bin”, donde se encuentra el ejecutable EyeHarpVS.exe, hay un archivo de configuración llamado EyeHarp.txt. Dentro de este archivo, se puede configurar EyeHarp. Cada línea de este valor consiste en un nombre de parámetro y un valor. Algunos valores son booleanos (verdadero-falso) y algunos son numéricos. Estos son los valores de inicio de la aplicación. La mayoría de ellos se pueden modificar a través del menú de configuración como se explicó anteriormente. Vamos a aclarar uno por uno los parámetros disponibles:

discNotesNumber 15

Esto significa que el número de “cortes” en la capa de melodía será 15 al iniciar la aplicación.

stepSequencerNotesNumber 8

Esto significa que el tamaño de la cuadrícula del secuenciador por pasos será 8.

acordes 0

Esto significa que al iniciar la aplicación, todas las “rebanadas” del pastel estarán dedicadas a tocar notas.Cuando se establece en 1, las últimas 7 rebanadas estarán dedicadas a cambiar los acordes del arpegio creado en el secuenciador por pasos.

showScale 0

Valor de inicio de la opción showScale descrita en el menú de Configuración.

scalePreset 1

Esta opción solo se puede establecer a través del archivo de configuración. Si se establece en 1, cuando el showScale está activo, el usuario puede ajustar el EyeHarp a varias escalas preestablecidas como se explica en la configuración de la capa de melodía. Si se establece en 0, el usuario podrá construir manualmente la escala, ajustando cada nota de la escala al valor deseado.

mouseEyeTracker 0

Si se establece en 0, la entrada del puntero del mouse controla el EyeHarp. Si se establece en 1, EyeHarp buscará un rastreador ocular compatible y la interfaz se controlará con los datos recibidos del rastreador ocular.La entrada del mouse / Eyetracker se puede modificar también al ejecutar la aplicación, al presionar la tecla ‘m’ en el teclado.

clickDwell 1

Esta opción afecta la forma en que se presionan los botones en EyeHarp. Cuando se establece en 0, se usará un clic del mouse para presionar los botones de control y los botones del secuenciador de pasos. Cuando se establece en 1, se utiliza un método de selección de tiempo de permanencia: un botón se activa cuando se alcanza un umbral de tiempo, en el que la mirada / puntero permanece en un botón. El tiempo de permanencia en la mayoría de los casos es de 700 ms. Pero en los botones de repetición (por ejemplo, para ajustar el tempo), este valor es más pequeño. Recuerde que las rebanadas de la capa de la melodía no son botones.Estos siempre se activan instantáneamente una vez que se detecta la mirada / el mouse en su área de selección.

bufferSize 512

Si usa el sintetizador interno para producir sonido y experimenta crepitaciones en el sonido, este valor debe aumentarse.

help 0/1

Esto oculta / muestra, en la parte superior derecha de la pantalla, un texto con una cantidad de atajos de teclado disponibles.

tomidi 0/1

0: al inicio, el sonido se generará a través del sintetizador interno

1: los mensajes Midi se enviarán a los puertos midi virtuales LoopBe1 o LoopMIDI.

fullscreen 0/1

Establece si el EyeHarp se iniciará en pantalla completa o no.

MonophonicStep 0/1

Si se establece en 1, el secuenciador por pasos será monofónico. Esto significa que se puede seleccionar una nota por columna. Si se establece en 0, se pueden seleccionar varias notas por columna.

fixationSamples 4

Para ignorar los datos ruidosos, se utiliza un algoritmo de detección de fijación. La fijación se llama el tiempo en el que miramos un punto específico. En este caso, cuando el valor se establece en 4, se usarán 4 cuadros (~ 133 ms) para determinar una fijación. Si queremos hacer que el sistema sea más receptivo, este valor puede reducirse. Sin embargo, si este valor es demasiado pequeño, cuando parpadea existe la posibilidad de desencadenar notas accidentalmente.

showGaze 0/1

Determina si el círculo, que indica el área que el usuario está mirando, aparece o no.

LoopBe_loopMIDI_other 0/1/2

En el caso de que estén instalados los puertos virtuales LoopBe y LoopMIDI, seleccione cuál es el preferido.Seleccione 2 para que se le solicite que seleccione un puerto de salida de midi diferente.

semitoneActive 0/1

Determina si los semitonos aparecerán en el Pie.

transpose 0/1

Por defecto, el EyeHarp está sintonizado en C. A través de este ajuste, puede transponerse a cualquier tonalidad.

inRelease 0/1

Esta opción activa (1) o desactiva (0) una región de liberación extra ubicada en el perímetro del área neutral.

cc1 / cc2 / cc7 / cc11 / afterTouch 0/1

Establezca qué mensaje de control midi debe enviarse desde la interfaz EyeHarp. El valor del mensaje está determinado por la distancia desde el centro del Pastel. Por defecto, todos están configurados en 0 aparte del cc7 que corresponde al volumen del canal.

MINVOL 60

Establezca la velocidad mínima y el valor del mensaje cc que se enviará. El rango es 0-100. Si la distancia corresponde al volumen, esto determina el volumen mínimo de la capa de melodía.

FIXVEL 80

Útil cuando el EyeHarp se controla con un rastreador de cabeza o un mouse. Cuando este valor es alto, las notas se dispararán incluso cuando el cursor pase a alta velocidad a través del área de selección de una nota.Esto podría causar la activación de notas accidentalmente. Si el valor es bajo, el cursor tendrá que estar relativamente quieto para que se dispare una nota. Si este valor es demasiado bajo, el sistema puede ser menos receptivo. En otras palabras: alto valor -> más receptivo, bajo valor -> más estable.

loadSong 0

Dentro de la carpeta / bin el usuario puede crear canciones para estudiar. Las canciones son archivos .sng. Si el valor de loadSong se establece en 1, el programa intentará leer el archivo “1.sng”. Si se establece en 2, “2.sng”, etc. Si se establece en 0, no se cargará ningún archivo de estudio. El formato de los archivos .sng es el siguiente.

En la primera línea, se establece el valor de transposición. 0 corresponde a la escala C. 1 a C #, 2 a D, etc. En la segunda línea, la escala está configurada. 0 2 4 5 7 9 11 corresponde a la escala principal. En la tercera línea, se escribe la primera nota de la melodía, en la segunda línea, la segunda nota, etc. Cada nota se escribe en la forma OCTAVE DEGREE FLAT. Por ejemplo

0 5 _ es la primera nota de la capa de melodía.

1 2 b corresponde a la nota ‘d’ plana en la primera octava.

Cuando se carga una canción, la siguiente nota que se reproducirá se iluminará en rojo. De esta forma el usuario puede aprender melodías escritas.