ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/radiance/ray/src/util/rcollate.c
(Generate patch)

Comparing ray/src/util/rcollate.c (file contents):
Revision 2.35 by greg, Sat Dec 28 18:05:14 2019 UTC vs.
Revision 2.41 by greg, Wed Mar 16 18:01:47 2022 UTC

# Line 29 | Line 29 | typedef struct {
29  
30   typedef struct {
31          int     nw_rec;         /* number of words per record */
32 <        long    nrecs;          /* number of records we found */
32 >        ssize_t nrecs;          /* number of records we found */
33          char    *rec[1];        /* record array (extends struct) */
34   } RECINDEX;
35  
36 < int             warnings = 1;   /* report warnings? */
36 > int             warnings = 1;                   /* report warnings? */
37  
38 + char            *fmtid = NULL;                  /* format id */
39 + int             comp_size = 0;                  /* binary bytes/channel */
40 + int             n_comp = 0;                     /* components/record */
41 + int             ni_columns = 0;                 /* number of input columns */
42 + int             ni_rows = 0;                    /* number of input rows */
43 + int             no_columns = 0;                 /* number of output columns */
44 + int             no_rows = 0;                    /* number of output rows */
45 + int             transpose = 0;                  /* transpose rows & cols? */
46 + int             i_header = 1;                   /* input header? */
47 + int             o_header = 1;                   /* output header? */
48 + int             outArray[MAXLEVELS][2];         /* output block nesting */
49 + int             outLevels = 0;                  /* number of blocking levels */
50 + int             check = 0;                      /* force data check? */
51 +
52   /* free loaded file */
53   static void
54   free_load(MEMLOAD *mp)
# Line 87 | Line 101 | load_stream(MEMLOAD *mp, FILE *fp)
101          return(mp->len > 0);
102   }
103  
104 + #if defined(_WIN32) || defined(_WIN64)
105 +                                /* too difficult to fix this */
106 + #define load_file       load_stream
107 + #else
108   /* load a file into memory */
109   static int
110   load_file(MEMLOAD *mp, FILE *fp)
111   {
112          int     fd;
113          off_t   skip, flen, fpos;
96 –
97 – #if defined(_WIN32) || defined(_WIN64)
98 –                                /* too difficult to fix this */
99 –        return load_stream(mp, fp);
100 – #endif
114          if (mp == NULL)
115                  return(-1);
116          mp->mapped = NULL;
# Line 112 | Line 125 | load_file(MEMLOAD *mp, FILE *fp)
125                  return((int)(flen - skip));
126          mp->len = (size_t)(flen - skip);
127   #ifdef MAP_FILE
128 <        if (mp->len > 1L<<20) {         /* map file if > 1 MByte */
128 >        if (mp->len >= 1L<<20) {        /* map file if >= 1 MByte */
129                  mp->mapped = mmap(NULL, flen, PROT_READ, MAP_PRIVATE, fd, 0);
130                  if (mp->mapped != MAP_FAILED) {
131                          mp->base = (char *)mp->mapped + skip;
# Line 138 | Line 151 | load_file(MEMLOAD *mp, FILE *fp)
151          }
152          return(1);
153   }
154 + #endif
155  
156   /* free a record index */
157   #define free_records(rp)        free(rp)
# Line 183 | Line 197 | index_records(const MEMLOAD *mp, int nw_rec)
197                                          break;  /* got requisite # words */
198                                  do {            /* else find next word */
199                                          if (*cp == '\n') {
200 <                                                fprintf(stderr,
187 <                                                "Unexpected EOL in record!\n");
200 >                                                fputs("Unexpected EOL in record!\n", stderr);
201                                                  free_records(rp);
202                                                  return(NULL);
203                                          }
# Line 218 | Line 231 | count_columns(const RECINDEX *rp)
231  
232   /* copy nth record from index to stdout */
233   static int
234 < print_record(const RECINDEX *rp, long n)
234 > print_record(const RECINDEX *rp, ssize_t n)
235   {
236 <        int     words2go = rp->nw_rec;
237 <        char    *scp;
236 >        static char     delims[] = " \t\n\r\f";
237 >        int             words2go = rp->nw_rec;
238 >        char            *scp;
239  
240          if ((n < 0) | (n >= rp->nrecs))
241                  return(0);
242          scp = rp->rec[n];
243 +
244 +        if (check && !isfltd(scp, delims))
245 +                goto formerr;
246          do {
247                  putc(*scp++, stdout);
248                  if (!*scp | isspace(*scp)) {
# Line 236 | Line 253 | print_record(const RECINDEX *rp, long n)
253                                  if (++scp >= rp->rec[n+1])
254                                          break;
255                          while (!*scp | isspace(*scp));
256 +
257 +                        if (check && !isfltd(scp, delims))
258 +                                goto formerr;
259                  }
260          } while (scp < rp->rec[n+1]);
261                                                  /* caller adds record sep. */
262          return(1);
263 + formerr:
264 +        fputs("Badly formed number: ", stderr);
265 +        while (*scp && !isspace(*scp))
266 +                fputc(*scp++, stderr);
267 +        fputc('\n', stderr);
268 +        return(0);
269   }
270  
271   /* copy a stream to stdout */
# Line 281 | Line 307 | fget_word(char buf[256], FILE *fp)
307          return(buf);
308   }
309  
284 – char            *fmtid = NULL;                  /* format id */
285 – int             comp_size = 0;                  /* binary bytes/channel */
286 – int             n_comp = 0;                     /* components/record */
287 – int             ni_columns = 0;                 /* number of input columns */
288 – int             ni_rows = 0;                    /* number of input rows */
289 – int             no_columns = 0;                 /* number of output columns */
290 – int             no_rows = 0;                    /* number of output rows */
291 – int             transpose = 0;                  /* transpose rows & cols? */
292 – int             i_header = 1;                   /* input header? */
293 – int             o_header = 1;                   /* output header? */
294 – int             outArray[MAXLEVELS][2];         /* output block nesting */
295 – int             outLevels = 0;                  /* number of blocking levels */
296 –
310   /* parse RxCx... string */
311   static int
312   get_array(const char *spec, int blklvl[][2], int nlvls)
# Line 359 | Line 372 | check_sizes()
372   }
373  
374   /* call to compute block input position */
375 < static long
375 > static ssize_t
376   get_block_pos(int r, int c, int blklvl[][2], int nlvls)
377   {
378 <        long    n = 0;
378 >        ssize_t n = 0;
379  
380          while (nlvls > 1) {
381                  int     sr = r/blklvl[1][0];
# Line 378 | Line 391 | get_block_pos(int r, int c, int blklvl[][2], int nlvls
391   }
392  
393   /* return input offset based on array ordering and transpose option */
394 < static long
394 > static ssize_t
395   get_input_pos(int r, int c)
396   {
397 <        long    n;
397 >        ssize_t n;
398  
399          if (outLevels > 1) {            /* block reordering */
400                  n = get_block_pos(r, c, outArray, outLevels);
401                  if (transpose) {
402                          r = n/ni_rows;
403                          c = n - r*ni_rows;
404 <                        n = (long)c*ni_columns + r;
404 >                        n = (ssize_t)c*ni_columns + r;
405                  }
406          } else if (transpose)           /* transpose only */
407 <                n = (long)c*ni_columns + r;
407 >                n = (ssize_t)c*ni_columns + r;
408          else                            /* XXX should never happen! */
409 <                n = (long)r*no_columns + c;
409 >                n = (ssize_t)r*no_columns + c;
410          return(n);
411   }
412  
# Line 403 | Line 416 | do_reorder(const MEMLOAD *mp)
416   {
417          static const char       tabEOL[2] = {'\t','\n'};
418          RECINDEX                *rp = NULL;
419 <        long                    nrecords;
419 >        ssize_t                 nrecords;
420          int                     i, j;
421                                                  /* propogate sizes */
422          if (ni_rows <= 0)
423 <                ni_rows = no_columns;
423 >                ni_rows = transpose ? no_columns : no_rows;
424          if (ni_columns <= 0)
425 <                ni_columns = no_rows;
425 >                ni_columns = transpose ? no_rows : no_columns;
426                                                  /* get # records (& index) */
427          if (!comp_size) {
428                  if ((rp = index_records(mp, n_comp)) == NULL)
# Line 418 | Line 431 | do_reorder(const MEMLOAD *mp)
431                          ni_columns = count_columns(rp);
432                  nrecords = rp->nrecs;
433          } else if ((ni_rows > 0) & (ni_columns > 0)) {
434 <                nrecords = ni_rows*ni_columns;
434 >                nrecords = (ssize_t)ni_rows*ni_columns;
435                  if (nrecords > mp->len/(n_comp*comp_size)) {
436                          fputs("Input too small for specified size and type\n",
437                                          stderr);
# Line 429 | Line 442 | do_reorder(const MEMLOAD *mp)
442                                                  /* check sizes */
443          if ((ni_rows <= 0) & (ni_columns > 0))
444                  ni_rows = nrecords/ni_columns;
445 <        if ((ni_columns <= 0) & (ni_rows > 0))
445 >        else if ((ni_columns <= 0) & (ni_rows > 0))
446                  ni_columns = nrecords/ni_rows;
447 <        if (nrecords != ni_rows*ni_columns)
447 >        if (nrecords != (ssize_t)ni_rows*ni_columns)
448                  goto badspec;
449          if (transpose) {
450                  if (no_columns <= 0)
# Line 452 | Line 465 | do_reorder(const MEMLOAD *mp)
465                                  stderr);
466                  return(0);
467          }
468 +        if (o_header) {                         /* finish header? */
469 +                printf("NROWS=%d\n", no_rows);
470 +                printf("NCOLS=%d\n", no_columns);
471 +                fputformat(fmtid, stdout);
472 +                fputc('\n', stdout);
473 +        }
474                                                  /* reorder records */
475          for (i = 0; i < no_rows; i++) {
476              for (j = 0; j < no_columns; j++) {
477 <                long    n = get_input_pos(i, j);
477 >                ssize_t n = get_input_pos(i, j);
478                  if (n >= nrecords) {
479                          fputs("Index past end-of-file\n", stderr);
480                          return(0);
481                  }
482                  if (rp != NULL) {               /* ASCII output */
483 <                        print_record(rp, n);
483 >                        if (!print_record(rp, n))
484 >                                return(0);
485                          putc(tabEOL[j >= no_columns-1], stdout);
486                  } else {                        /* binary output */
487                          putbinary((char *)mp->base + (n_comp*comp_size)*n,
# Line 469 | Line 489 | do_reorder(const MEMLOAD *mp)
489                  }
490              }
491              if (ferror(stdout)) {
492 <                fprintf(stderr, "Error writing to stdout\n");
492 >                fputs("Error writing to stdout\n", stderr);
493                  return(0);
494              }
495          }
# Line 477 | Line 497 | do_reorder(const MEMLOAD *mp)
497                  free_records(rp);
498          return(1);
499   badspec:
500 <        fprintf(stderr, "Bad dimension(s)\n");
500 >        fputs("Bad dimension(s)\n", stderr);
501          return(0);
502   }
503  
504 < /* resize ASCII stream input by ignoring EOLs between records */
504 > /* resize stream input by ignoring EOLs between ASCII records */
505   static int
506   do_resize(FILE *fp)
507   {
508 <        long    records2go = ni_rows*ni_columns;
508 >        ssize_t records2go = ni_rows*ni_columns;
509          int     columns2go = no_columns;
510          char    word[256];
511 +                        
512 +        if (o_header) {                         /* finish header? */
513 +                if (no_rows > 0)
514 +                        printf("NROWS=%d\n", no_rows);
515 +                if (no_columns > 0)
516 +                        printf("NCOLS=%d\n", no_columns);
517 +                fputformat(fmtid, stdout);
518 +                fputc('\n', stdout);
519 +        }
520                                                  /* sanity checks */
521 <        if (comp_size || (no_columns == ni_columns) & (no_rows == ni_rows))
521 >        if (comp_size || !check &
522 >                        (no_columns == ni_columns) & (no_rows == ni_rows))
523                  return(output_stream(fp));      /* no-op -- just copy */
524          if (no_columns <= 0) {
525 <                fprintf(stderr, "Missing -oc specification\n");
525 >                fputs("Missing -oc specification\n", stderr);
526                  return(0);
527          }
528          if ((records2go <= 0) & (no_rows > 0))
529                  records2go = no_rows*no_columns;
530          else if (no_rows*no_columns != records2go) {
531                  fprintf(stderr,
532 <                        "Input and output data sizes disagree (%dx%d != %dx%d)\n",
532 >                        "Number of input and output records disagree (%dx%d != %dx%d)\n",
533                                  ni_rows, ni_columns, no_rows, no_columns);
534                  return(0);
535          }
# Line 512 | Line 542 | do_resize(FILE *fp)
542                                          break;
543                                  goto done;      /* normal EOD */
544                          }
545 +                        if (check && !isflt(word)) {
546 +                                fputs("Badly formed number: ", stderr);
547 +                                fputs(word, stderr);
548 +                                fputc('\n', stderr);
549 +                                return(0);
550 +                        }
551                          fputs(word, stdout);
552                          if (n) {                /* mid-record? */
553                                  int     c = getc(fp);
# Line 522 | Line 558 | do_resize(FILE *fp)
558                          }
559                  }
560                  if (n >= 0) {
561 <                        fprintf(stderr, "Incomplete record / unexpected EOF\n");
561 >                        fputs("Incomplete record / unexpected EOF\n", stderr);
562                          return(0);
563                  }
564                  if (--columns2go <= 0) {        /* time to end output row? */
# Line 533 | Line 569 | do_resize(FILE *fp)
569          } while (--records2go);                 /* expected EOD? */
570   done:
571          if (warnings && columns2go != no_columns)
572 <                fprintf(stderr, "Warning -- incomplete final row\n");
572 >                fputs("Warning -- incomplete final row\n", stderr);
573          if (warnings && fget_word(word, fp) != NULL)
574 <                fprintf(stderr, "Warning -- characters beyond expected EOD\n");
574 >                fputs("Warning -- characters beyond expected EOD\n", stderr);
575          return(1);
576   }
577  
# Line 666 | Line 702 | main(int argc, char *argv[])
702                  case 'w':                       /* warnings on/off */
703                          warnings = !warnings;
704                          break;
705 +                case 'c':                       /* force check operation */
706 +                        check = 1;
707 +                        break;
708                  default:
709                          goto userr;
710                  }
# Line 684 | Line 723 | main(int argc, char *argv[])
723                  SET_FILE_BINARY(stdin);
724                  SET_FILE_BINARY(stdout);
725          }
726 + #ifdef getc_unlocked                            /* avoid stupid semaphores */
727 +        flockfile(stdin);
728 +        flockfile(stdout);
729 + #endif
730                                                  /* check for no-op */
731 <        if (!transpose & (outLevels <= 1) & (i_header == o_header) &&
731 >        if (!transpose & !check & (outLevels <= 1) & (i_header == o_header) &&
732                          (no_columns == ni_columns) & (no_rows == ni_rows)) {
733                  if (warnings)
734                          fprintf(stderr, "%s: no-op -- copying input verbatim\n",
# Line 709 | Line 752 | main(int argc, char *argv[])
752                  if (!i_header)
753                          newheader("RADIANCE", stdout);
754                  printargs(a, argv, stdout);
712 –                if (no_rows > 0)
713 –                        printf("NROWS=%d\n", no_rows);
714 –                if (no_columns > 0)
715 –                        printf("NCOLS=%d\n", no_columns);
755                  printf("NCOMP=%d\n", n_comp);
717 –                fputformat(fmtid, stdout);
718 –                fputc('\n', stdout);            /* finish new header */
756          }
757 <        if (transpose | (outLevels > 1)) {      /* moving stuff around? */
757 >        if (transpose | check | (outLevels > 1) || (o_header && no_rows <= 0)) {
758                  MEMLOAD myMem;                  /* need to map into memory */
759                  if (a == argc-1) {
760                          if (load_file(&myMem, stdin) <= 0) {
# Line 733 | Line 770 | main(int argc, char *argv[])
770                  if (!do_reorder(&myMem))
771                          return(1);
772                  /* free_load(&myMem);   about to exit, so don't bother */
773 <        } else if (!do_resize(stdin))           /* reshaping input */
773 >        } else if (!do_resize(stdin))           /* just reshaping input */
774                  return(1);
775          return(0);
776   userr:
777          fprintf(stderr,
778 < "Usage: %s [-h[io]][-w][-f[afdb][N]][-t][-ic in_col][-ir in_row][-oc out_col][-or out_row][-o RxC[xR1xC1..]] [input.dat]\n",
778 > "Usage: %s [-h[io]][-w][-c][-f[afdb][N]][-t][-ic in_col][-ir in_row][-oc out_col][-or out_row][-o RxC[xR1xC1..]] [input.dat]\n",
779                          argv[0]);
780          return(1);
781   }

Diff Legend

– Removed lines
+ Added lines
< Changed lines
> Changed lines