<div dir="ltr">Hello again Mathieu,<div><br></div><div>I apologize that this is a rather late re-opening of the topic again. However, after consulting with the RPi kernel side, it seems that even after trying to fix for the mentioned issue (i.e. by upgrading to the listed 'fixed' commit), I am still having issues installing the lttng-modules. The following link is the thread that I am having with the RPi kernel github: <a href="https://github.com/raspberrypi/linux/issues/2930">https://github.com/raspberrypi/linux/issues/2930</a></div><div><br></div><div>Even though it is listed that version 2.9 seems to be okay, recently I tried to re-install the lttng-modules onto another RPi, but this time even with the 'fixed' commit as suggested in the thread, lttng-modules still give the same 'buggy kernel implementation' error. Please do note that it seems CONFIG_OPTPROBES cannot be turned off at all during the kernel build, as it will be overriden by default and seems to be integral to the build of the RPi's RT kernel as well, hence this is not really an option either.</div><div><br></div><div>Is there a specific way on how to upgrade to the mentioned 'fixed' commit without requiring a complete kernel overhaul? I am getting rather desparate as I need this to work for an upcoming assignment deadline this week. So I'm hoping that there is still potential solution to this.</div><div><br></div><div><br></div><div>Best Regards,</div><div><br></div><div><br></div><div><br></div><div>Nicholas Sadjoli</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 15, 2019 at 10:11 PM Mathieu Desnoyers <<a href="mailto:mathieu.desnoyers@efficios.com">mathieu.desnoyers@efficios.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:arial,helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><div><span id="gmail-m_9106008346192568069zwchr">----- On Apr 15, 2019, at 7:07 AM, Nicholas Sadjoli <<a href="mailto:nick.sadjoli@gmail.com" target="_blank">nick.sadjoli@gmail.com</a>> wrote:<br></span></div><div><blockquote style="border-left:2px solid rgb(16,16,255);margin-left:5px;padding-left:5px;color:rgb(0,0,0);font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Dear Lttng dev Team,<br><div>I am currently interested in using lttng to measure the interrupt or hardware real-time latencies experienced within my user-space applications. Unfortunately I have been having issues installing lttng on my Raspberry Pi that is using the PREEMPT_RT patched kernel, version <span style="color:rgb(36,41,46);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px">4.14.91-rt49-v7+. The problems so far can be seen documented in the RPi Linux github forum page here: </span><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><a href="https://github.com/raspberrypi/linux/issues/2930" target="_blank">https://github.com/raspberrypi/linux/issues/2930</a></span></font><br></div><div><span style="color:rgb(36,41,46);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px"><br></span></div><div><span style="color:rgb(36,41,46);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px">Initially I was about to just install the Debian package of the lttng onto the RPi, and just proceeded with the commands '</span><font face="Andale Mono WT, Andale Mono, Bitstream Vera Sans Mono, Liberation Mono, Nimbus Mono L, Ubuntu Mono, Monaco, Consolas, Lucida Console, Lucida Sans Typewriter, Courier New, Courier, monospace" color="rgba(0, 0, 0, 0.749019607843137)">sudo apt-get install lttng-modules-dkms liblttng-ust-dev lttng-tools' </font>However, I was unable to use lttng package at all and found out that for the RPi, a build from source is necessary for lttng, as described here: <span style="background-color:transparent"><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><a href="https://stackoverflow.com/questions/52386448/linux-trace-tool-lttng-on-raspbian-kernel-tracer-not-available" target="_blank">https://stackoverflow.com/questions/52386448/linux-trace-tool-lttng-on-raspbian-kernel-tracer-not-available</a></span></font></span><br></div><div><span style="background-color:transparent"><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></span></div><div><span style="background-color:transparent"><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px">Following their suggestion, I then tried to build the lttng packages from source, and even re-building the RPi kernel locally to ensure the kernel headers are in the RPi and linked up properly to the source packages. </span></font></span></div><div><span style="background-color:transparent"><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></span></div><div><span style="background-color:transparent"><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px">Unfortunately when I tried to do this for the lttng-modules package, it instead gave me the following warning in my latest attempt: </span></font></span></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px">I</span></font><span style="font-size:14px;color:rgb(36,41,46);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol"">n file included from /home/pi/BangEco_rvmscan/stagelight_project/lttng/lttng-modules/probes/lttng-kprobes.c:31:0:</span></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px">/home/pi/BangEco_rvmscan/stagelight_project/lttng/lttng-modules/probes/../blacklist/kprobes.h:19:4: error: #error "Your kernel is known to have buggy optimized kprobes implementation. Fixed by commit 0ac569bf6a7983c0c5747d6df8db9dc05bc92b6c \"ARM: 8834/1: Fix: kprobes: optimized kprobes illegal instruction\" in Linux. Disable CONFIG_OPTPROBES or upgrade your kernel."</span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"> #  error "Your kernel is known to have buggy optimized kprobes implementation. Fixed by commit 0ac569bf6a7983c0c5747d6df8db9dc05bc92b6c \"ARM: 8834/1: Fix: kprobes: optimized kprobes illegal instruction\" in Linux. Disable CONFIG_OPTPROBES or upgrade your kernel."</span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px">I then tried to turn off the CONFIG_OPTPROBES kernel config, but it seemed to be automatically overwritten during kernel building and is considered an important part of the real-time RPi kernels. Has such problems been reported with this version of the PREEMPT_RT kernel in the past (again, the current kernel version that I am using is </span></font><span style="color:rgb(36,41,46);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px">4.14.91-rt49-v7+)? If there are I would like to know how this issue was resolved so that I can properly build and use the lttng package for my project.</span></div></div></div></div></div></blockquote><div>Hi Nicholas,<br></div><div><br></div><div>It looks like our lttng-modules kernel version blacklist is acting exactly as it should. Looking at this<br></div><div>git tree:<br></div><div><br></div><div>git clone <a href="https://github.com/raspberrypi/linux.git" target="_blank">https://github.com/raspberrypi/linux.git</a> -b rpi-4.14.y-rt<br></div><div><pre><code class="gmail-m_9106008346192568069language-sh gmail-m_9106008346192568069hljs gmail-m_9106008346192568069bash"></code></pre></div><div>I notice that in the git log, we find this bogus commit:<br></div><div><br></div><div>commit f9e0bc710347fadad55910846ee36f0681d0dca8<br>Author: Kees Cook <<a href="mailto:keescook@chromium.org" target="_blank">keescook@chromium.org</a>><br>Date:   Tue Oct 30 22:12:56 2018 +0100<br><br>    ARM: 8806/1: kprobes: Fix false positive with FORTIFY_SOURCE<br>    <br>    commit e46daee53bb50bde38805f1823a182979724c229 upstream.<br><br></div><div>But not the fix for it (upstream):<br></div><div><br></div><div>commit 0ac569bf6a7983c0c5747d6df8db9dc05bc92b6c<br>Author: Mathieu Desnoyers <<a href="mailto:mathieu.desnoyers@efficios.com" target="_blank">mathieu.desnoyers@efficios.com</a>><br>Date:   Tue Feb 5 16:37:40 2019 +0100<br><br>    ARM: 8834/1: Fix: kprobes: optimized kprobes illegal instruction<br><br></div><div>So lttng-modules refuses to build against your kernel configuration with CONFIG_OPTPROBES=y</div><div>to save you the trouble of having kprobes trigger illegal instruction OOPS at runtime.<br></div><div><br></div><div>I'm unusure who maintains that raspberrypi rt kernel tree. However, the upstream rt tree<br></div><div>for 4.14-rt maintained by Tom Zanussi seems to contain the fix:<br></div><div><br></div><div><a href="https://kernel.googlesource.com/pub/scm/linux/kernel/git/rt/linux-stable-rt/+/refs/heads/v4.14-rt" target="_blank">https://kernel.googlesource.com/pub/scm/linux/kernel/git/rt/linux-stable-rt/+/refs/heads/v4.14-rt</a><br></div><div><br></div><div>(currently at 4.14.109-rt57).<br></div><div><br></div><div>So you should contact your raspberrypi linux rt tree clone maintainer and ask him<br></div><div>to upgrade, or, as stated in the #error generated by lttng-modules, simply ensure<br></div><div>CONFIG_OPTPROBES is unset when you build your kernel. You should ask the<br></div><div>raspberrypi community advice on how to ensure this configuration option is not</div><div>overridden by the raspberrypi build system.<br></div><div><br></div><div>Thanks,<br></div><div><br></div><div>Mathieu</div><div><br></div><blockquote style="border-left:2px solid rgb(16,16,255);margin-left:5px;padding-left:5px;color:rgb(0,0,0);font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><span style="color:rgb(36,41,46);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px"><br></span></div><div><span style="color:rgb(36,41,46);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px"><br></span></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px">Thank you so much for your attention and looking forward to your reply soon.</span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px">Best Regards,</span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px"><br></span></font></div><div><font face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol" color="#24292e"><span style="font-size:14px">Nicholas Sadjoli</span></font></div></div></div></div></div>
<br>_______________________________________________<br>lttng-dev mailing list<br><a href="mailto:lttng-dev@lists.lttng.org" target="_blank">lttng-dev@lists.lttng.org</a><br><a href="https://lists.lttng.org/cgi-bin/mailman/listinfo/lttng-dev" target="_blank">https://lists.lttng.org/cgi-bin/mailman/listinfo/lttng-dev</a><br></blockquote></div><div><br></div><div>-- <br></div><div>Mathieu Desnoyers<br>EfficiOS Inc.<br><a href="http://www.efficios.com" target="_blank">http://www.efficios.com</a></div></div></div></blockquote></div>