<div dir="ltr"><div dir="ltr"><p>Hello, </p><p>We are writing to you regarding an issue we encountered while attempting to trace Ceph with LTTng-UST. Below are the steps we have followed so far:</p><ol><li style="margin-left:15px"><p><strong>Compiling Ceph with LTTng Support</strong>:</p><ul><li style="margin-left:15px">We modified the <code>debian/rules</code> file to enable LTTng support using the following flags: <code>-DWITH_LTTNG=ON</code> and <code>-DWITH_OSD_INSTRUMENT_FUNCTIONS=ON</code>.</li><li style="margin-left:15px">The compilation process took approximately 7 hours on a virtual machine running Debian 12 with a kernel version 6.1.0-27-amd64, 8 GB of RAM, and 2 CPU cores.</li><li style="margin-left:15px">The build steps can be found in our <a href="https://github.com/KedadsaChakib/ceph-configuration/blob/main/build/README.md" target="_blank"><span id="m_8519080378035158935gmail-mt-tracked-link_3_1734452876581" style="color:red"></span>GitHub</a> repository.</li></ul></li><li style="margin-left:15px"><p><strong>Deploying a Ceph Cluster</strong>:</p><ul><li style="margin-left:15px">We deployed the cluster manually (1MON,1MGR,2OSDs). Please find the script <a href="https://github.com/KedadsaChakib/ceph-configuration/blob/main/cluster/cluster-dep-script.sh" target="_blank"><span id="m_8519080378035158935gmail-mt-tracked-link_3_1734452915856" style="color:red"></span>here</a>.</li></ul></li><li style="margin-left:15px"><p><strong>Attempting to Trace with LTTng-UST</strong>:</p><ul><li style="margin-left:15px">We tried listing the tracepoints using the following command :</li><div dir="ltr"><div style="box-sizing:border-box;margin:1px 0px 24px;border:1px solid rgb(225,228,229);overflow-x:auto;font-family:Lato,proxima-nova,"Helvetica Neue",Arial,sans-serif;font-size:16px;background-color:rgb(252,252,252)"><div style="box-sizing:border-box;background:white;border:none;overflow-x:auto;margin:0px;padding:0px"><pre style="box-sizing:border-box;font-family:SFMono-Regular,Menlo,Monaco,Consolas,"Liberation Mono","Courier New",Courier,monospace;font-size:12px;line-height:1.4;margin-top:0px;margin-bottom:0px;padding:12px;overflow:auto"><font color="#444444"># lttng list -u</font></pre></div></div></div><li style="margin-left:15px">This command did not return any Ceph-related tracepoints:</li><div dir="ltr"><div style="box-sizing:border-box;margin:1px 0px 24px;border:1px solid rgb(225,228,229);overflow-x:auto;background-color:rgb(252,252,252)"><div style="box-sizing:border-box;background:white;border:none;overflow-x:auto;margin:0px;padding:0px"><pre style="box-sizing:border-box;line-height:1.4;margin-top:0px;margin-bottom:0px;padding:12px;overflow:auto"><font color="#444444" face="SFMono-Regular, Menlo, Monaco, Consolas, Liberation Mono, Courier New, Courier, monospace">UST events:
-------------
NONE</font><font face="SFMono-Regular, Menlo, Monaco, Consolas, Liberation Mono, Courier New, Courier, monospace"></font></pre></div></div></div></ul></li><li style="margin-left:15px"><p><strong>Preloading <code>liblttng-ust-fork.so</code></strong>:</p></li><ul><li style="margin-left:15px">We attempted to preload <code>liblttng-ust-fork.so</code> before starting the Ceph daemons (MON, OSD, MGR) as follows:</li><div dir="ltr"><div style="box-sizing:border-box;margin:1px 0px 24px;border:1px solid rgb(225,228,229);overflow-x:auto;background-color:rgb(252,252,252)"><div style="box-sizing:border-box;background:white;border:none;overflow-x:auto;margin:0px;padding:0px"><pre style="box-sizing:border-box;line-height:1.4;margin-top:0px;margin-bottom:0px;padding:12px;overflow:auto"><font color="#444444" face="SFMono-Regular, Menlo, Monaco, Consolas, Liberation Mono, Courier New, Courier, monospace"># systemctl edit ceph-mon@debian</font></pre></div></div></div><li style="margin-left:15px">We added the following configuration:</li><div dir="ltr"><div style="box-sizing:border-box;margin:1px 0px 24px;border:1px solid rgb(225,228,229);overflow-x:auto;background-color:rgb(252,252,252)"><div style="box-sizing:border-box;background:white;border:none;overflow-x:auto;margin:0px;padding:0px"><pre style="box-sizing:border-box;line-height:1.4;margin-top:0px;margin-bottom:0px;padding:12px;overflow:auto"><font color="#444444" face="SFMono-Regular, Menlo, Monaco, Consolas, Liberation Mono, Courier New, Courier, monospace">[Service]
Environment="LD_PRELOAD=/usr/lib/x86_64-linux-gnu/liblttng-ust-fork.so</font></pre></div></div></div></ul></ol><ol><ul><li style="margin-left:15px">After restarting the daemons, we executed <code>lttng list -u</code>, which displayed tracepoints related to the libraries (<code>lttng_ust_lib:*</code>), trace logs (<code>lttng_ust_tracelog:*</code>), and state dump events (<code>lttng_ust_statedump:*</code>), instead of the expected Ceph-related tracepoints.</li></ul></ol><p><strong>Expected Result</strong>:</p><ul><div dir="ltr"><div style="box-sizing:border-box;margin:1px 0px 24px;border:1px solid rgb(225,228,229);overflow-x:auto;background-color:rgb(252,252,252)"><div style="box-sizing:border-box;background:white;border:none;overflow-x:auto;margin:0px;padding:0px"><pre style="box-sizing:border-box;line-height:1.4;margin-top:0px;margin-bottom:0px;padding:12px;overflow:auto"><font color="#444444" face="SFMono-Regular, Menlo, Monaco, Consolas, Liberation Mono, Courier New, Courier, monospace">UST events:  
-------------  
PID: 100859 - Name: /path/to/ceph-osd  
    pg:queue_op (loglevel: TRACE_DEBUG_LINE (13)) (type: tracepoint)  
    osd:do_osd_op_post (loglevel: TRACE_DEBUG_LINE (13)) (type: tracepoint)  
    osd:do_osd_op_pre_unknown (loglevel: TRACE_DEBUG_LINE (13)) (type: tracepoint)  
    osd:do_osd_op_pre_copy_from (loglevel: TRACE_DEBUG_LINE (13)) (type: tracepoint)  
    osd:do_osd_op_pre_copy_get (loglevel: TRACE_DEBUG_LINE (13)) (type: tracepoint)  
    ...  </font><font face="SFMono-Regular, Menlo, Monaco, Consolas, Liberation Mono, Courier New, Courier, monospace"></font></pre></div></div></div></ul><pre style="text-wrap-mode: wrap;"><div><strong style="font-family:Arial,Helvetica,sans-serif">Actual Result</strong><span style="font-family:Arial,Helvetica,sans-serif">:</span></div><div><ul><div dir="ltr"><div style="box-sizing:border-box;margin:1px 0px 24px;border:1px solid rgb(225,228,229);overflow-x:auto;background-color:rgb(252,252,252)"><div style="box-sizing:border-box;background:white;border:none;overflow-x:auto;margin:0px;padding:0px"><pre style="box-sizing:border-box;line-height:1.4;margin-top:0px;margin-bottom:0px;padding:12px;overflow:auto"><font color="#444444" face="SFMono-Regular, Menlo, Monaco, Consolas, Liberation Mono, Courier New, Courier, monospace">UST events:
-------------
lttng_ust_lib:*
lttng_ust_tracelog:*
lttng_ust_statedump:*</font></pre></div></div></div></ul></div></pre><pre style="text-wrap-mode: wrap;"><div dir="ltr"><span style="font-family:Arial,Helvetica,sans-serif">We would greatly appreciate any help  you could provide to resolve this problem.</span></div></pre></div><img width="0" height="0" class="mailtrack-img" alt="" style="display:flex" src="https://mailtrack.io/trace/mail/b4fbf56655c3737e27948e030c2553428ee4ed72.png?u=11358644"></div>