source: trunk/lib/Stats.cc @ 611

Last change on this file since 611 was 611, checked in by Peter Johansson, 13 years ago

avoid repeating code

  • Property svn:eol-style set to native
  • Property svn:keywords set to Id
File size: 13.2 KB
Line 
1// $Id: Stats.cc 611 2008-04-20 18:54:38Z peter $
2
3/*
4  Copyright (C) 2005 Peter Johansson
5  Copyright (C) 2006, 2007 Jari Häkkinen, Peter Johansson
6
7  This file is part of svndigest, http://trac.thep.lu.se/svndigest
8
9  svndigest is free software; you can redistribute it and/or modify it
10  under the terms of the GNU General Public License as published by
11  the Free Software Foundation; either version 2 of the License, or
12  (at your option) any later version.
13
14  svndigest is distributed in the hope that it will be useful, but
15  WITHOUT ANY WARRANTY; without even the implied warranty of
16  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
17  General Public License for more details.
18
19  You should have received a copy of the GNU General Public License
20  along with this program; if not, write to the Free Software
21  Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
22  02111-1307, USA.
23*/
24
25#include "Stats.h"
26
27#include "Functor.h"
28#include "GnuplotFE.h"
29#include "SVNblame.h"
30#include "SVNinfo.h"
31#include "utility.h"
32
33#include <algorithm>
34#include <cassert>
35#include <cstdlib>
36#include <fstream>
37#include <iostream>
38#include <iterator>
39#include <map>
40#include <numeric>
41#include <string>
42#include <sstream>
43#include <unistd.h>
44#include <utility>
45#include <vector>
46
47
48namespace theplu{
49namespace svndigest{
50
51
52  Stats::Stats(const std::string& path)
53    : stats_(std::vector<Author2Vector>(LineTypeParser::total+1))
54  {
55    // Make sure latest revision is set properly
56    SVNinfo svn_info(path);
57    revision_=svn_info.rev();
58    last_changed_rev_=svn_info.last_changed_rev();
59  }
60
61
62  Stats::~Stats(void)
63  {
64  }
65
66
67  void Stats::accumulate(std::vector<unsigned int>& vec) const
68  {
69    if (vec.empty()){
70      vec.resize(last_changed_rev(),0);
71      return;
72    }
73    std::partial_sum(vec.begin(),vec.end(),vec.begin());
74    // static_cast to remove annoying compiler warning
75    if (vec.size() < static_cast<size_t>(revision()+1))
76      vec.insert(vec.end(), revision()+1-vec.size(), vec.back());
77  }
78
79
80  void Stats::accumulate_stats(void)
81  {
82    for (std::set<std::string>::const_iterator iter(authors().begin());
83         iter!=authors().end(); ++iter) {
84      std::vector<unsigned int>& code = code_stats()[*iter];
85      accumulate(code);
86      std::vector<unsigned int>& comments = comment_stats()[*iter];
87      accumulate(comments);
88      std::vector<unsigned int>& other = other_stats()[*iter];
89      accumulate(other);
90      std::vector<unsigned int>& copyright = copyright_stats()[*iter];
91      accumulate(copyright);
92    }
93  }
94
95
96  void Stats::add(const std::string& user, const unsigned int& rev, 
97                  const LineTypeParser::line_type& lt, unsigned int n)
98  {
99    assert(user.size());
100    add_author(user);
101
102    add(code_stats()[user], rev, lt==LineTypeParser::code, n);
103    add(comment_stats()[user], rev, lt==LineTypeParser::comment, n);
104    add(other_stats()[user], rev, lt==LineTypeParser::other, n);
105    add(copyright_stats()[user], rev, lt==LineTypeParser::copyright, n);
106  }
107
108
109  void Stats::add(std::vector<unsigned int>& vec, unsigned int rev, bool x,
110                  unsigned int n)
111  { 
112    if (vec.size() < rev+1){
113      vec.reserve(rev+1);
114      vec.resize(rev);
115      if (x)
116        vec.push_back(n);
117      else 
118        vec.push_back(0);
119    }
120    else if (x)
121      vec[rev]+=n;
122  }
123
124
125  void Stats::add_author(std::string name)
126  {
127    authors_.insert(name);
128  }
129
130
131  void Stats::add_authors(std::set<std::string>::const_iterator first, 
132                          std::set<std::string>::const_iterator last)
133  {
134    authors_.insert(first, last);
135  }
136
137
138  const std::set<std::string>& Stats::authors(void) const
139  {
140    return authors_;
141  }
142
143
144  void Stats::calc_all(void)
145  {
146    std::vector<unsigned int> init(revision()+1);
147    code_stats()["all"]=std::accumulate(code_stats().begin(), 
148                                        code_stats().end(), init,
149                                        PairValuePlus<std::string,unsigned int>());
150    comment_stats()["all"]=std::accumulate(comment_stats().begin(), 
151                                           comment_stats().end(), init, 
152                                           PairValuePlus<std::string,unsigned int>());
153    other_stats()["all"]=std::accumulate(other_stats().begin(), 
154                                         other_stats().end(), init,
155                                         PairValuePlus<std::string,unsigned int>());
156    copyright_stats()["all"]=std::accumulate(copyright_stats().begin(), 
157                                             copyright_stats().end(), init,
158                                             PairValuePlus<std::string,unsigned int>());
159    VectorPlus<unsigned int> vp;
160    comment_or_copy_stats()["all"] = 
161      vp(comment_stats()["all"], copyright_stats()["all"]);
162
163    total_stats()["all"] = 
164      vp(vp(code_stats()["all"], comment_or_copy_stats()["all"]),
165            other_stats()["all"]);
166  }
167
168
169  void Stats::calc_total(void)
170  {
171    for (std::set<std::string>::const_iterator iter(authors().begin());
172         iter!=authors().end(); ++iter) {
173      std::vector<unsigned int>& code = code_stats()[*iter];
174      std::vector<unsigned int>& comments = comment_stats()[*iter];
175      std::vector<unsigned int>& other = other_stats()[*iter];
176      std::vector<unsigned int>& copy = copyright_stats()[*iter];
177
178      VectorPlus<unsigned int> vp;
179      total_stats()[*iter] = vp(vp(vp(code, comments),other),copy);
180    }
181
182  }
183
184
185  void Stats::calc_comment_or_copy(void)
186  {
187    for (std::set<std::string>::const_iterator iter(authors().begin());
188         iter!=authors().end(); ++iter) {
189      std::vector<unsigned int>& comments = comment_stats()[*iter];
190      std::vector<unsigned int>& copy = copyright_stats()[*iter];
191
192      VectorPlus<unsigned int> vp;
193      comment_or_copy_stats()[*iter] = vp(comments, copy);
194    }
195
196  }
197
198
199  unsigned int Stats::code(const std::string& user) const
200  {
201    return get_back(code_stats(), user);
202  }
203
204
205  unsigned int Stats::comments(const std::string& user) const
206  {
207    return get_back(comment_or_copy_stats(), user);
208  }
209
210
211  unsigned int Stats::empty(const std::string& user) const
212  {
213    return get_back(other_stats(), user);
214  }
215
216
217  unsigned int Stats::get_back(const Author2Vector& m, std::string user) const
218  {
219    A2VConstIter iter(m.find(std::string(user)));
220    if (iter==m.end() || iter->second.empty()) 
221      return 0;
222    return iter->second.back();
223  }
224
225
226  const std::vector<unsigned int>& Stats::get_vector(const Author2Vector& m, 
227                                              std::string user) const
228  {
229    A2VConstIter iter(m.find(std::string(user)));
230    if (iter==m.end()) 
231      throw std::runtime_error(user+std::string(" not found i Stats"));
232    return iter->second;
233  }
234
235
236  svn_revnum_t Stats::last_changed_rev(void) const
237  {
238    return last_changed_rev_;
239  }
240
241
242  unsigned int Stats::lines(const std::string& user) const
243  {
244    return get_back(total_stats(), user);
245  }
246
247
248  void Stats::load(std::istream& is, Author2Vector& m)
249  {
250    while (m.size() < authors().size()+1 && is.good()) {
251      std::string name;
252      std::getline(is, name);
253      if (name.empty())
254        continue;
255      std::vector<unsigned int>& vec=m[name];
256      svn_revnum_t rev=0;
257      while (rev < last_changed_rev() && is.good()) {
258        unsigned int count;
259        is >> count;
260        if ( rev+1 > static_cast<svn_revnum_t>(vec.size()) )
261          vec.resize(rev+1);
262        vec[rev] = count;
263        is >> rev;
264      }
265    }
266  }
267
268
269  bool Stats::load_cache(std::istream& is)
270  {
271    std::string str;
272    getline(is, str);
273    if (str!=cache_check_str())
274      return false;
275    svn_revnum_t rev;
276    is >> rev;
277    if (rev<last_changed_rev()){
278      return false; // cache is not up to date
279    }
280    reset();
281    size_t a_size=0;
282    is >> a_size;
283    while (authors().size()<a_size && is.good()){
284      getline(is, str);
285      if (str.size())
286        add_author(str);
287    }
288    getline(is, str);
289    if (str!=cache_check_str())
290      return false;
291    for (size_t i=0; i<stats_.size(); ++i){
292      load(is, stats_[i]);
293      getline(is, str);
294      if (str!=cache_check_str())
295        return false;
296    }
297    return true;
298  }
299
300
301  void Stats::map_add(A2VConstIter first1, A2VConstIter last1, 
302                      Author2Vector& map)
303  {
304    A2VIter first2(map.begin());
305    Author2Vector::key_compare compare;
306    while ( first1 != last1) { 
307      // key of first1 less than key of first2
308      if (first2==map.end() || compare(first1->first,first2->first)) {
309        first2 = map.insert(first2, *first1);
310        ++first1;
311      }
312      // key of first2 less than key of first1
313      else if ( compare(first2->first, first1->first)) {
314        ++first2;
315      }
316      // keys are equivalent
317      else {
318        VectorPlus<Author2Vector::mapped_type::value_type> vp;
319        first2->second = vp(first1->second, first2->second);
320        ++first1;
321        ++first2;
322      }
323    }
324  }
325
326
327  void Stats::parse(const std::string& path)
328  {
329    do_parse(path);
330    calc_comment_or_copy();
331    calc_total();
332    calc_all();
333  }
334
335  std::string Stats::plot(const std::string& filename,
336                          const std::string& linetype) const
337  {
338    plot_init(filename);
339    GnuplotFE* gp=GnuplotFE::instance();
340    const Author2Vector* stat=NULL;
341    if (linetype=="total")
342      stat = &total_stats();
343    else if (linetype=="code")
344      stat = &code_stats();
345    else if (linetype=="comments")
346      stat = &comment_or_copy_stats();
347    else if (linetype=="empty")
348      stat = &other_stats();
349    assert(stat);
350    assert(stat->size());
351    assert(stat->find("all")!=stat->end());
352    std::vector<unsigned int> total=get_vector(*stat, "all");   
353    double yrange_max=1.03*total.back()+1;
354    gp->yrange(yrange_max);
355
356    typedef std::vector<std::pair<std::string, std::vector<unsigned int> > > vec_type;
357    vec_type author_cont;
358    author_cont.reserve(stat->size());
359    for (std::set<std::string>::const_iterator i=authors_.begin(); 
360         i != authors_.end(); ++i) {
361      if (lines(*i)) {
362        assert(stat->find(*i)!=stat->end());
363        author_cont.push_back(std::make_pair(*i,get_vector(*stat,*i)));
364      }
365    }
366
367    LessReversed<std::vector<unsigned int> > lr;
368    PairSecondCompare<std::string, std::vector<unsigned int>, 
369      LessReversed<std::vector<unsigned int> > > compare(lr);
370    std::sort(author_cont.begin(), author_cont.end(), compare);
371
372    size_t plotno=author_cont.size();
373    std::stringstream ss;
374    vec_type::iterator end(author_cont.end());
375    for (vec_type::iterator i(author_cont.begin()); i!=end; ++i) {
376      ss.str("");
377      ss << "set key height " << 2*plotno;
378      gp->command(ss.str());
379      ss.str("");
380      ss << get_back(*stat, i->first) << " " << i->first;
381      gp->yrange(yrange_max);
382      gp->linetitle(ss.str());
383      ss.str("");
384      ss << "steps " << --plotno+2;
385      gp->linestyle(ss.str());
386      gp->plot(i->second);
387    }
388    ss.str("");
389    ss << get_back(*stat, "all") << " total";
390    gp->command("set key height 0");
391    gp->linetitle(ss.str());
392    gp->linestyle("steps 1");
393    gp->plot(total);
394
395    gp->command("unset multiplot");
396    gp->yrange();
397
398    return filename;
399  }
400
401
402  void Stats::plot_init(const std::string& filename) const
403  {
404    GnuplotFE* gp=GnuplotFE::instance();
405    gp->command("set term png");
406    gp->command("set output '"+filename+"'");
407    gp->command("set xtics nomirror");
408    gp->command("set ytics nomirror");
409    gp->command("set key default");
410    gp->command("set key left Left reverse");
411    gp->command("set multiplot");
412  }
413
414
415  void Stats::plot_summary(const std::string& filename) const
416  {
417    plot_init(filename);
418    GnuplotFE* gp=GnuplotFE::instance();
419    std::vector<unsigned int> total = get_vector(total_stats(), "all");
420    double yrange_max=1.03*total.back()+1;
421    gp->yrange(yrange_max);
422    std::stringstream ss;
423   
424    ss.str("");
425    std::vector<unsigned int> x(get_vector(code_stats(), "all"));
426    ss << x.back() << " code";
427    gp->command("set key height 2");
428    gp->linetitle(ss.str());
429    gp->linestyle("steps 2");
430    gp->plot(x);
431
432    ss.str("");
433    x = get_vector(comment_or_copy_stats(), "all");
434    ss << x.back() << " comment";
435    gp->command("set key height 4");
436    gp->linetitle(ss.str());
437    gp->linestyle("steps 3");
438    gp->plot(x);
439
440    ss.str("");
441    x = get_vector(other_stats(), "all");
442    ss << x.back() << " other";
443    gp->command("set key height 6");
444    gp->linetitle(ss.str());
445    gp->linestyle("steps 4");
446    gp->plot(x);
447
448    ss.str("");
449    ss << total.back() << " total";
450    gp->command("set key height 0");
451    gp->linetitle(ss.str());
452    gp->linestyle("steps 1");
453    gp->plot(total);
454
455    gp->command("unset multiplot");
456    gp->yrange();
457  }
458
459
460  void Stats::print(std::ostream& os) const
461  {
462    os << cache_check_str() << "\n";
463    os << last_changed_rev() << " ";
464    os << authors().size() << " ";
465
466    std::copy(authors().begin(), authors().end(), 
467              std::ostream_iterator<std::string>(os, "\n"));
468    os << cache_check_str() << "\n";
469    for (size_t i=0; i<stats_.size(); ++i){
470      print(os, stats_[i]);
471      os << cache_check_str() << "\n";
472    }
473  }
474
475
476  void Stats::print(std::ostream& os, const Author2Vector& m) const
477  {
478    for (A2VConstIter i(m.begin()); i!=m.end(); ++i){
479      os << i->first << "\n";
480      os << i->second.front() << " ";
481      for (size_t j=1; j<i->second.size(); ++j)
482        if (i->second[j] != i->second[j-1])
483          os << j << " " << i->second[j] - i->second[j-1] << " ";
484      os << last_changed_rev()+1 << " ";
485    }
486  }
487
488  void Stats::reset(void)
489  {
490    for (size_t i=0; i<stats_.size(); ++i){
491      stats_[i].clear();
492      std::vector<unsigned int> vec;
493      stats_[i]["all"] = vec;
494    }
495    authors_.clear();
496  }
497
498
499  Stats& Stats::operator+=(const Stats& rhs)
500  {
501    revision_ = std::max(revision_, rhs.revision_);
502    last_changed_rev_ = std::max(last_changed_rev_, rhs.last_changed_rev_);
503    add_authors(rhs.authors().begin(), rhs.authors().end());
504    assert(stats_.size()==rhs.stats_.size());
505    for (size_t i=0; i<stats_.size(); ++i)
506      map_add(rhs.stats_[i].begin(), rhs.stats_[i].end(), stats_[i]);
507   
508    return *this;
509  }
510
511 
512  size_t Stats::operator()(int linetype, std::string author, size_t rev) const
513  {
514    assert(linetype<=LineTypeParser::total);
515    A2VConstIter i = stats_[linetype].find(author);
516    if (i==stats_[linetype].end())
517      throw std::runtime_error(author + " does not exist");
518    return i->second[rev];
519  }
520
521}} // end of namespace svndigest and namespace theplu
Note: See TracBrowser for help on using the repository browser.