Changeset 7665


Ignore:
Timestamp:
Mar 20, 2019, 2:31:03 PM (3 years ago)
Author:
Nicklas Nordborg
Message:

References #2161: Import data from Excel files

Replaced all calls to Data.get() with some of the new methods.

Location:
trunk/src
Files:
17 edited

Legend:

Unmodified
Added
Removed
  • trunk/src/core/net/sf/basedb/util/importer/spotdata/ExtraFloatParser.java

    r5093 r7665  
    2222package net.sf.basedb.util.importer.spotdata;
    2323
    24 import net.sf.basedb.util.Values;
    2524import net.sf.basedb.util.parser.FlatFileParser;
    2625
     
    7372  public float getValue(FlatFileParser.Data data, int firstIndex)
    7473  {
    75     return Values.getFloat(data.get(valueIndex + firstIndex), Float.NaN);
     74    Float f = data.getFloat(valueIndex + firstIndex, null, true);
     75    return f == null ? Float.NaN : f;
    7676  }
    7777 
  • trunk/src/core/net/sf/basedb/util/importer/spotdata/FirstPassSectionSpotsParser.java

    r5405 r7665  
    235235     
    236236      // Get the position and reporter
    237       Integer position = Values.getInteger(data.get(positionIndex), null);
    238       Integer newReporterId = Values.getInteger(data.get(reporterIndex), null);
     237      Integer position = data.getInt(positionIndex);
     238      Integer newReporterId = data.getInt(reporterIndex);
    239239      // Error if position is missing
    240240      if (position == null)
  • trunk/src/core/net/sf/basedb/util/importer/spotdata/GenericIntensityParser.java

    r5096 r7665  
    2424import java.util.List;
    2525
    26 import net.sf.basedb.util.Values;
    2726import net.sf.basedb.util.basefile.BaseFileParser;
    2827import net.sf.basedb.util.parser.FlatFileParser;
     
    8584    for (int i = 0; i < channels; ++i)
    8685    {
    87       float value = Values.getFloat(data.get(index[i] + firstIndex), Float.NaN);
    88       if (Float.isNaN(value)) return false;
     86      Float value = data.getFloat(index[i] + firstIndex, null, true);
     87      if (value == null) return false;
    8988      intensities[i] = value;
    9089    }
  • trunk/src/core/net/sf/basedb/util/importer/spotdata/MAParser.java

    r5096 r7665  
    2424import java.util.List;
    2525
    26 import net.sf.basedb.util.Values;
    2726import net.sf.basedb.util.basefile.BaseFileParser;
    2827import net.sf.basedb.util.parser.FlatFileParser;
     
    8180  public boolean setIntensities(Data data, float[] intensities, int firstIndex)
    8281  {
    83     float m = Values.getFloat(data.get(mIndex + firstIndex), Float.NaN);
    84     if (Float.isNaN(m)) return false;
    85     float a = Values.getFloat(data.get(aIndex + firstIndex), Float.NaN);
    86     if (Float.isNaN(a)) return false;
     82    Float m = data.getFloat(mIndex + firstIndex, null, true);
     83    if (m == null) return false;
     84    Float a = data.getFloat(aIndex + firstIndex, null, true);
     85    if (a == null) return false;
    8786    // int2 = 10^a / 2^(0.5*m)
    8887    // int1 = int2 * 2^m
  • trunk/src/core/net/sf/basedb/util/importer/spotdata/SecondPassSectionSpotsParser.java

    r6875 r7665  
    3333import net.sf.basedb.core.SpotExtraValueBatcher;
    3434import net.sf.basedb.core.signal.ThreadSignalHandler;
    35 import net.sf.basedb.util.Values;
    3635import net.sf.basedb.util.basefile.BaseFileParser;
    3736import net.sf.basedb.util.basefile.BaseFileSectionParser;
     
    150149
    151150      int offset = ssInfo.getFirstAssayFieldIndex();
    152       int position = Values.getInt(data.get(positionIndex), 0);
     151      int position = data.getInt(positionIndex);
    153152     
    154153      for (short dataCubeColumn : dataCubeColumns)
  • trunk/src/core/net/sf/basedb/util/importer/spotdata/SectionAssaysParser.java

    r5096 r7665  
    112112      line = ffp.getParsedLines();
    113113     
    114       int assayId = Values.getInt(data.get(idIndex));
     114      int assayId = data.getInt(idIndex);
    115115      ChildBioAssay child = new ChildBioAssay();
    116116      child.setFileId(assayId);
    117       child.setName(data.get(nameIndex));
     117      child.setName(data.getString(nameIndex));
    118118      if (hasParentAssaysMapping)
    119119      {
    120         Set<Integer> parents = new HashSet<Integer>(Arrays.asList(Values.getInt(data.get(parentIndex).split("/"))));
     120        Set<Integer> parents = new HashSet<Integer>(Arrays.asList(Values.getInt(data.getString(parentIndex).split("/"))));
    121121        Iterator<Integer> it = parents.iterator();
    122122        while (it.hasNext())
  • trunk/src/core/net/sf/basedb/util/importer/spotdata/SectionReporterListParser.java

    r5405 r7665  
    115115      }
    116116     
    117       String reporterId = Values.getStringOrNull(data.get(reporterIndex));
     117      String reporterId = Values.getStringOrNull(data.getString(reporterIndex));
    118118      // Ignore missing reporters
    119119      if (reporterId == null) continue;
     
    128128      // If no score is provided we use the line number as some kind of 'rank'
    129129      Float score = scoreIndex == -1 ?
    130         data.dataLineNo() : Values.getFloat(data.get(scoreIndex), null);
     130        data.dataLineNo() : data.getFloat(scoreIndex);
    131131      list.addReporter(reporter, score);
    132132    }
  • trunk/src/core/net/sf/basedb/util/parser/ColFunction.java

    r7664 r7665  
    155155   
    156156    Object value = null;
    157     if (column != null)
     157    if (column != null && column < data.columns())
    158158    {
    159159      if (nextValueType.isNumerical())
     
    163163      else
    164164      {
    165         value = data.get(column);
     165        value = data.getString(column);
    166166      }
    167167    }
  • trunk/src/core/net/sf/basedb/util/parser/ColumnMapper.java

    r7664 r7665  
    8484  public String getValue(Data data)
    8585  {
    86     return index < data.columns() ? data.get(index) : null;
     86    return index < data.columns() ? data.getString(index) : null;
    8787  }
    8888  @Override
  • trunk/src/core/net/sf/basedb/util/parser/FlatFileParser.java

    r7664 r7665  
    18221822   
    18231823    /**
     1824      Shortcut for getInt(index, null, true)
     1825    */
     1826    public Integer getInt(int index)
     1827    {
     1828      return getInt(index, null, true);
     1829    }
     1830   
     1831    /**
    18241832      Get the value as an integer. The default implementation parses
    18251833      the string value with the given parser. If the source file is
     
    18441852   
    18451853    /**
     1854      Shortcut for getFloat(index, null, true)
     1855    */
     1856    public Float getFloat(int index)
     1857    {
     1858      return getFloat(index, null, true);
     1859    }
     1860   
     1861    /**
    18461862      Get the value as a float. The default implementation parses
    18471863      the string value with the given parser. If the source file is
  • trunk/src/plugins/core/net/sf/basedb/plugins/PrintMapFlatFileImporter.java

    r7516 r7665  
    408408    if (section == Section.MAPPING && data.columns() >= 11)
    409409    {
    410       String metaX = data.get(0);
    411       String metaY = data.get(1);
    412       int plateNumber = Integer.parseInt(data.get(5)) - 1;
    413       int plateRow = Integer.parseInt(data.get(6)) - 1;
    414       int plateColumn = Integer.parseInt(data.get(7)) - 1;
    415       String block = data.get(10);
     410      Integer metaX = data.getInt(0);
     411      Integer metaY = data.getInt(1);
     412      int plateNumber = data.getInt(5) - 1;
     413      int plateRow = data.getInt(6) - 1;
     414      int plateColumn = data.getInt(7) - 1;
     415      Integer block = data.getInt(10);
    416416     
    417417      if (metaX == null) throw new InvalidUseOfNullException("metaX");
     
    421421      if (block != null)
    422422      {
    423         bi = new BlockInfo(Integer.parseInt(block), Integer.parseInt(metaX), Integer.parseInt(metaY));
     423        bi = new BlockInfo(block, metaX, metaY);
    424424      }
    425425      else
    426426      {
    427         bi = new BlockInfo(Integer.parseInt(metaX), Integer.parseInt(metaY));
     427        bi = new BlockInfo(metaX, metaY);
    428428      }
    429429      ArrayDesignBlock adb = blocks.get(bi);
     
    440440      if (this.formatType == FormatType.MWBR)
    441441      {
    442         row = Integer.parseInt(data.get(2));
    443         col = Integer.parseInt(data.get(3));
     442        row = data.getInt(2);
     443        col = data.getInt(3);
    444444      }
    445445      else
    446446      {
    447         col = Integer.parseInt(data.get(2));
    448         row = Integer.parseInt(data.get(3));
     447        col = data.getInt(2);
     448        row = data.getInt(3);
    449449      }
    450450      f.setColumn(col);
  • trunk/src/test/Base1TestPlugin.java

    r5689 r7665  
    7575          {
    7676            FlatFileParser.Data data = ffp.nextData();
    77             parents.add(data.get(0));
     77            parents.add(data.getString(0));
    7878          }
    7979          System.out.println("1\tA merged assay\t" + Values.getString(parents, "/", true));
     
    115115            {
    116116              FlatFileParser.Data data = ffp.nextData();
    117               System.out.println(data.get(2) + "\t" + Math.random());
     117              System.out.println(data.getString(2) + "\t" + Math.random());
    118118            }
    119119          }
  • trunk/src/test/TestArrayDesign.java

    r6870 r7665  
    628628      {
    629629        FlatFileParser.Data parsedData = parser.nextData();
    630         String reporterId = parsedData.get(reporterCol);
     630        String reporterId = parsedData.getString(reporterCol);
    631631        ReporterData reporter = reporterId == null ? null : reporterBatcher.getByExternalId(reporterId);
    632         int block = Integer.valueOf(parsedData.get(blockCol));
     632        int block = parsedData.getInt(blockCol);
    633633        if (adBlock == null || adBlock.getBlockNumber() != block)
    634634        {
     
    636636        }
    637637        FeatureData featureData = featureBatcher.newFeature(adBlock, reporter);
    638         featureData.setRow(Integer.valueOf(parsedData.get(rowCol)));
    639         featureData.setColumn(Integer.valueOf(parsedData.get(colCol)));
     638        featureData.setRow(parsedData.getInt(rowCol));
     639        featureData.setColumn(parsedData.getInt(colCol));
    640640
    641641        try
  • trunk/src/test/TestFlatFileParser.java

    r5759 r7665  
    205205      for (int j = 0; j < max; j++)
    206206      {
    207         sb.append(j + "={" + data.get(j) + "}\t");
     207        sb.append(j + "={" + data.getString(j) + "}\t");
    208208      }
    209209      if (max < data.columns()) sb.append((data.columns() - max) + " more...");
     
    317317      if (p != null)
    318318      {
    319         String value = data.get(i);
     319        String value = data.getString(i);
    320320        Matcher m = p.matcher(value);
    321321        if (!m.matches())
  • trunk/src/test/TestPlate.java

    r5630 r7665  
    184184      {
    185185        FlatFileParser.Data data = ffp.nextData();
    186         String plateId = data.get(plateIdCol);
    187         int row = Coordinate.alphaToNumeric(data.get(rowCol))-1;
    188         int column = Coordinate.alphaToNumeric(data.get(columnCol))-1;
    189         String reporterId = data.get(reporterCol);
     186        String plateId = data.getString(plateIdCol);
     187        int row = Coordinate.alphaToNumeric(data.getString(rowCol))-1;
     188        int column = Coordinate.alphaToNumeric(data.getString(columnCol))-1;
     189        String reporterId = data.getString(reporterCol);
    190190
    191191        Plate p = plates.get(plateId);
  • trunk/src/test/TestRawBioAssay.java

    r7151 r7665  
    3131import net.sf.basedb.util.ConsoleProgressReporter;
    3232import net.sf.basedb.util.FileUtil;
    33 import net.sf.basedb.util.Values;
    3433import net.sf.basedb.util.parser.FlatFileParser;
    3534
     
    606605        FlatFileParser.Data parsedData = parser.nextData();
    607606        RawData rawData = rawDataBatcher.newRawData();
    608         rawData.setBlock(Values.getInteger(parsedData.get(0), null));
    609         rawData.setRow(Values.getInteger(parsedData.get(2), null));
    610         rawData.setColumn(Values.getInteger(parsedData.get(1), null));
    611         rawData.setX(Values.getFloat(parsedData.get(5), null));
    612         rawData.setY(Values.getFloat(parsedData.get(6), null));
    613         String reporterId = parsedData.get(4);
     607        rawData.setBlock(parsedData.getInt(0));
     608        rawData.setRow(parsedData.getInt(2));
     609        rawData.setColumn(parsedData.getInt(1));
     610        rawData.setX(parsedData.getFloat(5));
     611        rawData.setY(parsedData.getFloat(6));
     612        String reporterId = parsedData.getString(4);
    614613        rawData.setReporter(reporterId == null ? null : reporterBatcher.getByExternalId(reporterId));
    615614       
    616615        Map<String, Object> extraData = rawData.getAllExtended();
    617         extraData.put("diameter", Values.getFloat(parsedData.get(7), null));
    618         extraData.put("ch1FgMedian", Values.getFloat(parsedData.get(8), null));
    619         extraData.put("ch1FgMean", Values.getFloat(parsedData.get(9), null));
    620         extraData.put("ch1FgSd", Values.getFloat(parsedData.get(10), null));
    621         extraData.put("ch1BgMedian", Values.getFloat(parsedData.get(11), null));
    622         extraData.put("ch1BgMean", Values.getFloat(parsedData.get(12), null));
    623         extraData.put("ch1BgSd", Values.getFloat(parsedData.get(13), null));
    624         extraData.put("ch1PercSd1", Values.getInteger(parsedData.get(14), null));
    625         extraData.put("ch1PercSd2", Values.getInteger(parsedData.get(15), null));
    626         extraData.put("ch1PercSat", Values.getInteger(parsedData.get(16), null));
    627         extraData.put("ch2FgMedian", Values.getFloat(parsedData.get(17), null));
    628         extraData.put("ch2FgMean", Values.getFloat(parsedData.get(18), null));
    629         extraData.put("ch2FgSd", Values.getFloat(parsedData.get(19), null));
    630         extraData.put("ch2BgMedian", Values.getFloat(parsedData.get(20), null));
    631         extraData.put("ch2BgMean", Values.getFloat(parsedData.get(21), null));
    632         extraData.put("ch2BgSd", Values.getFloat(parsedData.get(22), null));
    633         extraData.put("ch2PercSd1", Values.getInteger(parsedData.get(23), null));
    634         extraData.put("ch2PercSd2", Values.getInteger(parsedData.get(24), null));
    635         extraData.put("ch2PercSat", Values.getInteger(parsedData.get(25), null));
     616        extraData.put("diameter", parsedData.getFloat(7));
     617        extraData.put("ch1FgMedian", parsedData.getFloat(8));
     618        extraData.put("ch1FgMean", parsedData.getFloat(9));
     619        extraData.put("ch1FgSd", parsedData.getFloat(10));
     620        extraData.put("ch1BgMedian", parsedData.getFloat(11));
     621        extraData.put("ch1BgMean", parsedData.getFloat(12));
     622        extraData.put("ch1BgSd", parsedData.getFloat(13));
     623        extraData.put("ch1PercSd1", parsedData.getInt(14));
     624        extraData.put("ch1PercSd2", parsedData.getInt(15));
     625        extraData.put("ch1PercSat", parsedData.getInt(16));
     626        extraData.put("ch2FgMedian", parsedData.getFloat(17));
     627        extraData.put("ch2FgMean", parsedData.getFloat(18));
     628        extraData.put("ch2FgSd", parsedData.getFloat(19));
     629        extraData.put("ch2BgMedian", parsedData.getFloat(20));
     630        extraData.put("ch2BgMean", parsedData.getFloat(21));
     631        extraData.put("ch2BgSd", parsedData.getFloat(22));
     632        extraData.put("ch2PercSd1", parsedData.getInt(23));
     633        extraData.put("ch2PercSd2", parsedData.getInt(24));
     634        extraData.put("ch2PercSat", parsedData.getInt(25));
    636635
    637636        try
  • trunk/src/test/TestReporter.java

    r7516 r7665  
    260260      {
    261261        FlatFileParser.Data data = ffp.nextData();
    262         String externalId = data.get(idCol);
    263         String name = data.get(nameCol);
     262        String externalId = data.getString(idCol);
     263        String name = data.getString(nameCol);
    264264        if (name == null) name = externalId;
    265265        if (externalId != null && !rb.exists(externalId, true, true))
Note: See TracChangeset for help on using the changeset viewer.