<font color='black' size='2' face='Arial, Helvetica, sans-serif'><font color="black" face="Arial, Helvetica, sans-serif" size="2">

<div> <br>

</div>



<div> Hello everyone,<br>
<br>
this time, slightly more specific, the second version of my proposal (thanks for the feedback marcoz &amp; cnd)<br>
<br>
Based on increasing every day use of Convertible-Notebooks, Tablet-PCs and other touchscreen controlled devices, the need for more comprehensive control elements must be adressed.<br>
<br>
Even though Multitouchinteraction and Interactive Surfaces already present control elements, the usability is not comparable to the variety of Mouse / Keyboard / etc. input possibilities. A user is very limited in the way he or she can interact with the machine, once the only input device is a touch sensitive surface.<br>
<br>
Those limitations may be lifted through the welcoming of additional sensory input and connecting that input to already registered touch triggered events.<br>
I currently work on a bachelor thesis, which incorporates microphone feeds using a c standard audio lib and reduces that input to a fast queryable format to enable the correlation with xf86-input-evdev events. I would regard that thesis as a prototype to the possible GSoC project.<br>
<br>
As the GSoC project, I could work on writing a driver, that emulates the entire functionality of a 5-7 button mouse for touchscreens for starters. The triggering actions would be various combinations of tapping / scratching / knocking on the screen. <br>
<br>
For example: <br>
Knocking the screen once would translate to a right mouse click. <br>
Knocking it twice and or three times could be the fourth and fifth button (which would be very useful to f.e. navigate inside a browser). <br>
<br>
Futhermore, something interesting could be scratching the screen in a discrete area, which would trigger the key events alt + f4, which would kill the currently active window. <br>
Going in that direction, the only limitation is finding enough distinguishable combinations of touching and sounds to emulate useful control key events.<br>
<br>
These are some examples of what is possible through audio analysis and spike detection. <br>
My intention would be, that the driver is build in such a way, that it does not matter what sensory input the results of the input analysis come from. If its audio or video or any other device. I would supply an API that makes future extensions in these directions as easy as possible. <br>
<br>
<br>
The GSoC project in short:<br>
- evdev extension to expand touchscreen control<br>
&nbsp;&nbsp;&nbsp; - covering the full functionality of a 5-7 button mouse<br>
&nbsp;&nbsp;&nbsp; - cover important key combinations<br>
- abstract driver which works with different sensory input devices<br>
- API interface for interaction with the extension from s.i.d. analysis code<br>
<br>
Possible future extensions: <br>
- more covered funcionality :) <br>
- integration of camera / video analysis (waving in front of the camera f.e.)<br>
<br>
Best regards,<br>
<br>
Janik aka. Sticks<br>

</div>



<div style="clear: both;"></div>

</font></font>