source: trunk/lib/Stats.cc @ 589

Last change on this file since 589 was 589, checked in by Jari Häkkinen, 13 years ago

Replace u_int with unsigned int.

  • Property svn:eol-style set to native
  • Property svn:keywords set to Id
File size: 14.0 KB
Line 
1// $Id: Stats.cc 589 2008-04-12 16:53:33Z jari $
2
3/*
4  Copyright (C) 2005 Peter Johansson
5  Copyright (C) 2006, 2007 Jari Häkkinen, Peter Johansson
6
7  This file is part of svndigest, http://trac.thep.lu.se/svndigest
8
9  svndigest is free software; you can redistribute it and/or modify it
10  under the terms of the GNU General Public License as published by
11  the Free Software Foundation; either version 2 of the License, or
12  (at your option) any later version.
13
14  svndigest is distributed in the hope that it will be useful, but
15  WITHOUT ANY WARRANTY; without even the implied warranty of
16  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
17  General Public License for more details.
18
19  You should have received a copy of the GNU General Public License
20  along with this program; if not, write to the Free Software
21  Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
22  02111-1307, USA.
23*/
24
25#include "Stats.h"
26
27#include "Functor.h"
28#include "GnuplotFE.h"
29#include "SVNblame.h"
30#include "SVNinfo.h"
31#include "utility.h"
32
33#include <algorithm>
34#include <cassert>
35#include <cstdlib>
36#include <fstream>
37#include <iostream>
38#include <iterator>
39#include <map>
40#include <numeric>
41#include <string>
42#include <sstream>
43#include <unistd.h>
44#include <utility>
45#include <vector>
46
47
48namespace theplu{
49namespace svndigest{
50
51
52  Stats::Stats(const std::string& path)
53    : stats_(std::vector<Author2Vector>(LineTypeParser::total+1))
54  {
55    // Make sure latest revision is set properly
56    SVNinfo svn_info(path);
57    revision_=svn_info.rev();
58    last_changed_rev_=svn_info.last_changed_rev();
59  }
60
61
62  Stats::~Stats(void)
63  {
64  }
65
66
67  void Stats::accumulate(std::vector<unsigned int>& vec) const
68  {
69    if (vec.empty()){
70      vec.resize(last_changed_rev(),0);
71      return;
72    }
73    std::partial_sum(vec.begin(),vec.end(),vec.begin());
74    // static_cast to remove annoying compiler warning
75    if (vec.size() < static_cast<size_t>(revision()+1))
76      vec.insert(vec.end(), revision()+1-vec.size(), vec.back());
77  }
78
79
80  void Stats::accumulate_stats(void)
81  {
82    for (std::set<std::string>::const_iterator iter(authors().begin());
83         iter!=authors().end(); ++iter) {
84      std::vector<unsigned int>& code = code_stats()[*iter];
85      accumulate(code);
86      std::vector<unsigned int>& comments = comment_stats()[*iter];
87      accumulate(comments);
88      std::vector<unsigned int>& other = other_stats()[*iter];
89      accumulate(other);
90      std::vector<unsigned int>& copyright = copyright_stats()[*iter];
91      accumulate(copyright);
92    }
93  }
94
95
96  void Stats::add(const std::string& user, const unsigned int& rev, 
97                  const LineTypeParser::line_type& lt, unsigned int n)
98  {
99    assert(user.size());
100    add_author(user);
101
102    // FIXME: Peter, remove repeat
103    std::vector<unsigned int>& code = code_stats()[user];
104    if (code.size() < rev+1){
105      code.reserve(rev+1);
106      code.resize(rev);
107      if (lt == LineTypeParser::code)
108        code.push_back(n);
109      else 
110        code.push_back(0);
111    }
112    else if (lt == LineTypeParser::code)
113      code[rev]+=n;
114
115    std::vector<unsigned int>& comments = comment_stats()[user];
116    if (comments.size() < rev+1){
117      comments.reserve(revision() + 1);
118      comments.insert(comments.end(), rev - comments.size(), 0);
119      if (lt == LineTypeParser::comment)
120        comments.push_back(n);
121      else 
122        comments.push_back(0);
123    }
124    else if (lt == LineTypeParser::comment)
125      comments[rev]+=n;
126
127    std::vector<unsigned int>& other = other_stats()[user];
128    if (other.size() < rev+1){
129      other.reserve(revision() + 1);
130      other.insert(other.end(), rev - other.size(), 0);
131      if (lt == LineTypeParser::other)
132        other.push_back(n);
133      else 
134        other.push_back(0);
135    }
136    else if (lt == LineTypeParser::other)
137      other[rev]+=n;
138
139    std::vector<unsigned int>& copy = copyright_stats()[user];
140    if (copy.size() < rev+1){
141      copy.reserve(revision() + 1);
142      copy.insert(copy.end(), rev - copy.size(), 0);
143      if (lt == LineTypeParser::copyright)
144        copy.push_back(n);
145      else 
146        copy.push_back(0);
147    }
148    else if (lt == LineTypeParser::copyright)
149      copy[rev]+=n;
150  }
151
152
153  void Stats::add_author(std::string name)
154  {
155    authors_.insert(name);
156  }
157
158
159  void Stats::add_authors(std::set<std::string>::const_iterator first, 
160                          std::set<std::string>::const_iterator last)
161  {
162    authors_.insert(first, last);
163  }
164
165
166  const std::set<std::string>& Stats::authors(void) const
167  {
168    return authors_;
169  }
170
171
172  void Stats::calc_all(void)
173  {
174    std::vector<unsigned int> init(revision()+1);
175    code_stats()["all"]=std::accumulate(code_stats().begin(), 
176                                        code_stats().end(), init,
177                                        PairValuePlus<std::string,unsigned int>());
178    comment_stats()["all"]=std::accumulate(comment_stats().begin(), 
179                                           comment_stats().end(), init, 
180                                           PairValuePlus<std::string,unsigned int>());
181    other_stats()["all"]=std::accumulate(other_stats().begin(), 
182                                         other_stats().end(), init,
183                                         PairValuePlus<std::string,unsigned int>());
184    copyright_stats()["all"]=std::accumulate(copyright_stats().begin(), 
185                                             copyright_stats().end(), init,
186                                             PairValuePlus<std::string,unsigned int>());
187    VectorPlus<unsigned int> vp;
188    comment_or_copy_stats()["all"] = 
189      vp(comment_stats()["all"], copyright_stats()["all"]);
190
191    total_stats()["all"] = 
192      vp(vp(code_stats()["all"], comment_or_copy_stats()["all"]),
193            other_stats()["all"]);
194  }
195
196
197  void Stats::calc_total(void)
198  {
199    for (std::set<std::string>::const_iterator iter(authors().begin());
200         iter!=authors().end(); ++iter) {
201      std::vector<unsigned int>& code = code_stats()[*iter];
202      std::vector<unsigned int>& comments = comment_stats()[*iter];
203      std::vector<unsigned int>& other = other_stats()[*iter];
204      std::vector<unsigned int>& copy = copyright_stats()[*iter];
205
206      VectorPlus<unsigned int> vp;
207      total_stats()[*iter] = vp(vp(vp(code, comments),other),copy);
208    }
209
210  }
211
212
213  void Stats::calc_comment_or_copy(void)
214  {
215    for (std::set<std::string>::const_iterator iter(authors().begin());
216         iter!=authors().end(); ++iter) {
217      std::vector<unsigned int>& comments = comment_stats()[*iter];
218      std::vector<unsigned int>& copy = copyright_stats()[*iter];
219
220      VectorPlus<unsigned int> vp;
221      comment_or_copy_stats()[*iter] = vp(comments, copy);
222    }
223
224  }
225
226
227  unsigned int Stats::code(const std::string& user) const
228  {
229    return get_back(code_stats(), user);
230  }
231
232
233  unsigned int Stats::comments(const std::string& user) const
234  {
235    return get_back(comment_or_copy_stats(), user);
236  }
237
238
239  unsigned int Stats::empty(const std::string& user) const
240  {
241    return get_back(other_stats(), user);
242  }
243
244
245  unsigned int Stats::get_back(const Author2Vector& m, std::string user) const
246  {
247    A2VConstIter iter(m.find(std::string(user)));
248    if (iter==m.end() || iter->second.empty()) 
249      return 0;
250    return iter->second.back();
251  }
252
253
254  const std::vector<unsigned int>& Stats::get_vector(const Author2Vector& m, 
255                                              std::string user) const
256  {
257    A2VConstIter iter(m.find(std::string(user)));
258    if (iter==m.end()) 
259      throw std::runtime_error(user+std::string(" not found i Stats"));
260    return iter->second;
261  }
262
263
264  svn_revnum_t Stats::last_changed_rev(void) const
265  {
266    return last_changed_rev_;
267  }
268
269
270  unsigned int Stats::lines(const std::string& user) const
271  {
272    return get_back(total_stats(), user);
273  }
274
275
276  void Stats::load(std::istream& is, Author2Vector& m)
277  {
278    while (m.size() < authors().size()+1 && is.good()) {
279      std::string name;
280      std::getline(is, name);
281      if (name.empty())
282        continue;
283      std::vector<unsigned int>& vec=m[name];
284      svn_revnum_t rev=0;
285      while (rev < last_changed_rev() && is.good()) {
286        unsigned int count;
287        is >> count;
288        if ( rev+1 > static_cast<svn_revnum_t>(vec.size()) )
289          vec.resize(rev+1);
290        vec[rev] = count;
291        is >> rev;
292      }
293    }
294  }
295
296
297  bool Stats::load_cache(std::istream& is)
298  {
299    std::string str;
300    getline(is, str);
301    if (str!=cache_check_str())
302      return false;
303    svn_revnum_t rev;
304    is >> rev;
305    if (rev<last_changed_rev()){
306      return false; // cache is not up to date
307    }
308    reset();
309    size_t a_size=0;
310    is >> a_size;
311    while (authors().size()<a_size && is.good()){
312      getline(is, str);
313      if (str.size())
314        add_author(str);
315    }
316    getline(is, str);
317    if (str!=cache_check_str())
318      return false;
319    for (size_t i=0; i<stats_.size(); ++i){
320      load(is, stats_[i]);
321      getline(is, str);
322      if (str!=cache_check_str())
323        return false;
324    }
325    return true;
326  }
327
328
329  void Stats::map_add(A2VConstIter first1, A2VConstIter last1, 
330                      Author2Vector& map)
331  {
332    A2VIter first2(map.begin());
333    Author2Vector::key_compare compare;
334    while ( first1 != last1) { 
335      // key of first1 less than key of first2
336      if (first2==map.end() || compare(first1->first,first2->first)) {
337        first2 = map.insert(first2, *first1);
338        ++first1;
339      }
340      // key of first2 less than key of first1
341      else if ( compare(first2->first, first1->first)) {
342        ++first2;
343      }
344      // keys are equivalent
345      else {
346        VectorPlus<Author2Vector::mapped_type::value_type> vp;
347        first2->second = vp(first1->second, first2->second);
348        ++first1;
349        ++first2;
350      }
351    }
352  }
353
354
355  void Stats::parse(const std::string& path)
356  {
357    do_parse(path);
358    calc_comment_or_copy();
359    calc_total();
360    calc_all();
361  }
362
363  std::string Stats::plot(const std::string& filename,
364                          const std::string& linetype) const
365  {
366    plot_init(filename);
367    GnuplotFE* gp=GnuplotFE::instance();
368    const Author2Vector* stat=NULL;
369    if (linetype=="total")
370      stat = &total_stats();
371    else if (linetype=="code")
372      stat = &code_stats();
373    else if (linetype=="comments")
374      stat = &comment_or_copy_stats();
375    else if (linetype=="empty")
376      stat = &other_stats();
377    assert(stat);
378    assert(stat->size());
379    assert(stat->find("all")!=stat->end());
380    std::vector<unsigned int> total=get_vector(*stat, "all");   
381    double yrange_max=1.03*total.back()+1;
382    gp->yrange(yrange_max);
383
384    typedef std::vector<std::pair<std::string, std::vector<unsigned int> > > vec_type;
385    vec_type author_cont;
386    author_cont.reserve(stat->size());
387    for (std::set<std::string>::const_iterator i=authors_.begin(); 
388         i != authors_.end(); ++i) {
389      if (lines(*i)) {
390        assert(stat->find(*i)!=stat->end());
391        author_cont.push_back(std::make_pair(*i,get_vector(*stat,*i)));
392      }
393    }
394
395    LessReversed<std::vector<unsigned int> > lr;
396    PairSecondCompare<std::string, std::vector<unsigned int>, 
397      LessReversed<std::vector<unsigned int> > > compare(lr);
398    std::sort(author_cont.begin(), author_cont.end(), compare);
399
400    size_t plotno=author_cont.size();
401    std::stringstream ss;
402    vec_type::iterator end(author_cont.end());
403    for (vec_type::iterator i(author_cont.begin()); i!=end; ++i) {
404      ss.str("");
405      ss << "set key height " << 2*plotno;
406      gp->command(ss.str());
407      ss.str("");
408      ss << get_back(*stat, i->first) << " " << i->first;
409      gp->yrange(yrange_max);
410      gp->linetitle(ss.str());
411      ss.str("");
412      ss << "steps " << --plotno+2;
413      gp->linestyle(ss.str());
414      gp->plot(i->second);
415    }
416    ss.str("");
417    ss << get_back(*stat, "all") << " total";
418    gp->command("set key height 0");
419    gp->linetitle(ss.str());
420    gp->linestyle("steps 1");
421    gp->plot(total);
422
423    gp->command("unset multiplot");
424    gp->yrange();
425
426    return filename;
427  }
428
429
430  void Stats::plot_init(const std::string& filename) const
431  {
432    GnuplotFE* gp=GnuplotFE::instance();
433    gp->command("set term png");
434    gp->command("set output '"+filename+"'");
435    gp->command("set xtics nomirror");
436    gp->command("set ytics nomirror");
437    gp->command("set key default");
438    gp->command("set key left Left reverse");
439    gp->command("set multiplot");
440  }
441
442
443  void Stats::plot_summary(const std::string& filename) const
444  {
445    plot_init(filename);
446    GnuplotFE* gp=GnuplotFE::instance();
447    std::vector<unsigned int> total = get_vector(total_stats(), "all");
448    double yrange_max=1.03*total.back()+1;
449    gp->yrange(yrange_max);
450    std::stringstream ss;
451   
452    ss.str("");
453    std::vector<unsigned int> x(get_vector(code_stats(), "all"));
454    ss << x.back() << " code";
455    gp->command("set key height 2");
456    gp->linetitle(ss.str());
457    gp->linestyle("steps 2");
458    gp->plot(x);
459
460    ss.str("");
461    x = get_vector(comment_or_copy_stats(), "all");
462    ss << x.back() << " comment";
463    gp->command("set key height 4");
464    gp->linetitle(ss.str());
465    gp->linestyle("steps 3");
466    gp->plot(x);
467
468    ss.str("");
469    x = get_vector(other_stats(), "all");
470    ss << x.back() << " other";
471    gp->command("set key height 6");
472    gp->linetitle(ss.str());
473    gp->linestyle("steps 4");
474    gp->plot(x);
475
476    ss.str("");
477    ss << total.back() << " total";
478    gp->command("set key height 0");
479    gp->linetitle(ss.str());
480    gp->linestyle("steps 1");
481    gp->plot(total);
482
483    gp->command("unset multiplot");
484    gp->yrange();
485  }
486
487
488  void Stats::print(std::ostream& os) const
489  {
490    os << cache_check_str() << "\n";
491    os << last_changed_rev() << " ";
492    os << authors().size() << " ";
493
494    std::copy(authors().begin(), authors().end(), 
495              std::ostream_iterator<std::string>(os, "\n"));
496    os << cache_check_str() << "\n";
497    for (size_t i=0; i<stats_.size(); ++i){
498      print(os, stats_[i]);
499      os << cache_check_str() << "\n";
500    }
501  }
502
503
504  void Stats::print(std::ostream& os, const Author2Vector& m) const
505  {
506    for (A2VConstIter i(m.begin()); i!=m.end(); ++i){
507      os << i->first << "\n";
508      os << i->second.front() << " ";
509      for (size_t j=1; j<i->second.size(); ++j)
510        if (i->second[j] != i->second[j-1])
511          os << j << " " << i->second[j] - i->second[j-1] << " ";
512      os << last_changed_rev()+1 << " ";
513    }
514  }
515
516  void Stats::reset(void)
517  {
518    for (size_t i=0; i<stats_.size(); ++i){
519      stats_[i].clear();
520      std::vector<unsigned int> vec;
521      stats_[i]["all"] = vec;
522    }
523    authors_.clear();
524  }
525
526
527  Stats& Stats::operator+=(const Stats& rhs)
528  {
529    revision_ = std::max(revision_, rhs.revision_);
530    last_changed_rev_ = std::max(last_changed_rev_, rhs.last_changed_rev_);
531    add_authors(rhs.authors().begin(), rhs.authors().end());
532    assert(stats_.size()==rhs.stats_.size());
533    for (size_t i=0; i<stats_.size(); ++i)
534      map_add(rhs.stats_[i].begin(), rhs.stats_[i].end(), stats_[i]);
535   
536    return *this;
537  }
538
539 
540  size_t Stats::operator()(int linetype, std::string author, size_t rev) const
541  {
542    assert(linetype<=LineTypeParser::total);
543    A2VConstIter i = stats_[linetype].find(author);
544    if (i==stats_[linetype].end())
545      throw std::runtime_error(author + " does not exist");
546    return i->second[rev];
547  }
548
549}} // end of namespace svndigest and namespace theplu
Note: See TracBrowser for help on using the repository browser.