last blog post: add link to the actual stats
[homepage.git] / blog / posts / 2014 / 04 / historical_overview_of_debian_source_code.mdwn
1 # moar, and moar, and moar debsources stats
2
3 A while ago I've [[announced|2014/02/moar_stats_for_sources.debian.net]] the
4 availability of [several stats](http://sources.debian.net/stats/) about Debian
5 source code on <http://sources.debian.net>. Since then the statistical basis of
6 those stats has increased a lot, and now includes **all Debian historical
7 releases**, from [hamm](https://www.debian.org/releases/hamm/) (July 1998)
8 onward. This allows to appreciate macro-level evolution trends in Free
9 Software, over a period of more than 15 years, through the eyes of a distro
10 that sits at the nice intersection of the eldest, largest, and most reputed
11 distros.
12
13 To get there I've added support for **sticky suites** to the plumbing layer of
14 [debsources](http://anonscm.debian.org/gitweb/?p=qa/debsources.git), and then
15 injected historical releases from <http://archive.debian.org>. The injection
16 process took about a week (without any sort of parallelism, pretty slow disks,
17 and computing sha256 checksums, ctags, and sloccount on all source files) and
18 has been an "interesting" experience.
19
20 When you go back decades in technology time, **bit rot** is just around the
21 corner, and I've found
22 [my](https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=740883)
23 [share](https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=741012) while
24 injecting `archive.d.o` into `sources.d.n`. In both cases the respective
25 maintainers (Guillem and Ganneff, kudos) have been positive about and helpful
26 in improving the situation, despite the low impact of the bugs I've found on
27 the average user. That's quite important for the **long-term preservation** of
28 digital information in general, and for the perennity of access to Free
29 Software in the specific case of Debian.
30
31 While we are it, I'm now maintaining a list of
32 [bugs affecting `sources.d.n`](https://bugs.debian.org/cgi-bin/pkgreport.cgi?tag=debsources;users=zack@debian.org)
33 but belonging to other packages, in case you fancy helping out but are not a
34 Python hacker. Interestingly enough, quite a bit of those bugs are related to
35 the fact that tools debsources uses (e.g. ctags, sloccount) are also starting
36 to show their age.
37
38 You might wander why [buzz](https://www.debian.org/releases/buzz/),
39 [rex](https://www.debian.org/releases/rex/), and
40 [bo](https://www.debian.org/releases/bo/) are still missing from
41 `sources.d.n`. That's in fact for similar reasons. Before hamm Debian didn't
42 have complete archive coverage in terms of `Sources` indexes and `.dsc`
43 files. Given that debsources rely on both to extract source packages, it first
44 needs to grow an additional abstraction layer that can cope with their
45 absence. It's SMOP, and planned.
46
47 And now let's have fun with
48 [ctags bombs](https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=742605).
49
50 Yours truly,<br />
51 Stefano “Indiana” Zacchiroli<br />
52 <small>(credits: KiBi, `#debian-ftp`)</small>
53
54 [[!tag lang/english planet-debian debsources]]