ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/radiance/ray/src/util/rcollate.c
(Generate patch)

Comparing ray/src/util/rcollate.c (file contents):
Revision 2.37 by greg, Fri Jan 15 17:22:23 2021 UTC vs.
Revision 2.46 by greg, Wed Jun 5 21:56:53 2024 UTC

# Line 29 | Line 29 | typedef struct {
29  
30   typedef struct {
31          int     nw_rec;         /* number of words per record */
32 <        ssize_t nrecs;          /* number of records we found */
32 >        size_t  nrecs;          /* number of records we found */
33          char    *rec[1];        /* record array (extends struct) */
34   } RECINDEX;
35  
36 < int             warnings = 1;   /* report warnings? */
36 > int             warnings = 1;                   /* report warnings? */
37  
38 + char            *fmtid = NULL;                  /* format id */
39 + int             comp_size = 0;                  /* binary bytes/channel */
40 + int             n_comp = 0;                     /* components/record */
41 + int             ni_columns = 0;                 /* number of input columns */
42 + int             ni_rows = 0;                    /* number of input rows */
43 + int             no_columns = 0;                 /* number of output columns */
44 + int             no_rows = 0;                    /* number of output rows */
45 + int             transpose = 0;                  /* transpose rows & cols? */
46 + int             i_header = 1;                   /* input header? */
47 + int             o_header = 1;                   /* output header? */
48 + int             outArray[MAXLEVELS][2];         /* output block nesting */
49 + int             outLevels = 0;                  /* number of blocking levels */
50 + int             check = 0;                      /* force data check? */
51 +
52   /* free loaded file */
53   static void
54   free_load(MEMLOAD *mp)
# Line 87 | Line 101 | load_stream(MEMLOAD *mp, FILE *fp)
101          return(mp->len > 0);
102   }
103  
104 + #if defined(_WIN32) || defined(_WIN64)
105 +                                /* too difficult to fix this */
106 + #define load_file       load_stream
107 + #else
108   /* load a file into memory */
109   static int
110   load_file(MEMLOAD *mp, FILE *fp)
111   {
112          int     fd;
113          off_t   skip, flen, fpos;
96 –
97 – #if defined(_WIN32) || defined(_WIN64)
98 –                                /* too difficult to fix this */
99 –        return load_stream(mp, fp);
100 – #endif
114          if (mp == NULL)
115                  return(-1);
116          mp->mapped = NULL;
# Line 112 | Line 125 | load_file(MEMLOAD *mp, FILE *fp)
125                  return((int)(flen - skip));
126          mp->len = (size_t)(flen - skip);
127   #ifdef MAP_FILE
128 <        if (mp->len > 1L<<20) {         /* map file if > 1 MByte */
128 >        if (mp->len >= 1L<<20) {        /* map file if >= 1 MByte */
129                  mp->mapped = mmap(NULL, flen, PROT_READ, MAP_PRIVATE, fd, 0);
130                  if (mp->mapped != MAP_FAILED) {
131                          mp->base = (char *)mp->mapped + skip;
# Line 138 | Line 151 | load_file(MEMLOAD *mp, FILE *fp)
151          }
152          return(1);
153   }
154 + #endif
155  
156   /* free a record index */
157   #define free_records(rp)        free(rp)
# Line 183 | Line 197 | index_records(const MEMLOAD *mp, int nw_rec)
197                                          break;  /* got requisite # words */
198                                  do {            /* else find next word */
199                                          if (*cp == '\n') {
200 <                                                fprintf(stderr,
187 <                                                "Unexpected EOL in record!\n");
200 >                                                fputs("Unexpected EOL in record!\n", stderr);
201                                                  free_records(rp);
202                                                  return(NULL);
203                                          }
# Line 218 | Line 231 | count_columns(const RECINDEX *rp)
231  
232   /* copy nth record from index to stdout */
233   static int
234 < print_record(const RECINDEX *rp, ssize_t n)
234 > print_record(const RECINDEX *rp, size_t n)
235   {
236 <        int     words2go = rp->nw_rec;
237 <        char    *scp;
236 >        static char     delims[] = " \t\n\r\f";
237 >        int             words2go = rp->nw_rec;
238 >        char            *scp;
239  
240 <        if ((n < 0) | (n >= rp->nrecs))
240 >        if (n >= rp->nrecs)
241                  return(0);
242          scp = rp->rec[n];
243 +
244 +        if (check && !isfltd(scp, delims))
245 +                goto formerr;
246          do {
247                  putc(*scp++, stdout);
248                  if (!*scp | isspace(*scp)) {
# Line 236 | Line 253 | print_record(const RECINDEX *rp, ssize_t n)
253                                  if (++scp >= rp->rec[n+1])
254                                          break;
255                          while (!*scp | isspace(*scp));
256 +
257 +                        if (check && !isfltd(scp, delims))
258 +                                goto formerr;
259                  }
260          } while (scp < rp->rec[n+1]);
261                                                  /* caller adds record sep. */
262          return(1);
263 + formerr:
264 +        fputs("Badly formed number: ", stderr);
265 +        while (*scp && !isspace(*scp))
266 +                fputc(*scp++, stderr);
267 +        fputc('\n', stderr);
268 +        return(0);
269   }
270  
271 < /* copy a stream to stdout */
272 < static int
271 > /* copy a stream to stdout, return bytes written or 0 on error */
272 > static size_t
273   output_stream(FILE *fp)
274   {
275 +        size_t  ntot = 0;
276          char    buf[8192];
277 <        ssize_t n;
277 >        size_t  n;
278  
279          if (fp == NULL)
280                  return(0);
281          fflush(stdout);
282 <        while ((n = fread(buf, 1, sizeof(buf), fp)) > 0)
283 <                if (write(fileno(stdout), buf, n) != n)
282 >        while ((n = fread(buf, 1, sizeof(buf), fp)) > 0) {
283 >                if (write(1, buf, n) != n)
284                          return(0);
285 <        return(!ferror(fp));
285 >                ntot += n;
286 >        }
287 >        return(!ferror(fp) * ntot);
288   }
289  
290   /* get next word from stream, leaving stream on EOL or start of next word */
# Line 281 | Line 310 | fget_word(char buf[256], FILE *fp)
310          return(buf);
311   }
312  
284 – char            *fmtid = NULL;                  /* format id */
285 – int             comp_size = 0;                  /* binary bytes/channel */
286 – int             n_comp = 0;                     /* components/record */
287 – int             ni_columns = 0;                 /* number of input columns */
288 – int             ni_rows = 0;                    /* number of input rows */
289 – int             no_columns = 0;                 /* number of output columns */
290 – int             no_rows = 0;                    /* number of output rows */
291 – int             transpose = 0;                  /* transpose rows & cols? */
292 – int             i_header = 1;                   /* input header? */
293 – int             o_header = 1;                   /* output header? */
294 – int             outArray[MAXLEVELS][2];         /* output block nesting */
295 – int             outLevels = 0;                  /* number of blocking levels */
296 – int             check = 0;                      /* force data check? */
297 –
313   /* parse RxCx... string */
314   static int
315   get_array(const char *spec, int blklvl[][2], int nlvls)
# Line 351 | Line 366 | check_sizes()
366          if (transpose && (no_rows <= 0) & (no_columns <= 0)) {
367                  if (ni_rows > 0) no_columns = ni_rows;
368                  if (ni_columns > 0) no_rows = ni_columns;
369 <        } else if ((no_rows <= 0) & (no_columns > 0) &&
370 <                        !((ni_rows*ni_columns) % no_columns))
371 <                no_rows = ni_rows*ni_columns/no_columns;
369 >        } else {
370 >                if (no_columns <= 0)
371 >                        no_columns = ni_columns;
372 >                if ((no_rows <= 0) & (no_columns > 0) &&
373 >                                !((ni_rows*ni_columns) % no_columns))
374 >                        no_rows = ni_rows*ni_columns/no_columns;
375 >        }
376          if (n_comp <= 0)
377                  n_comp = 3;
378          return(1);
379   }
380  
381   /* call to compute block input position */
382 < static ssize_t
382 > static size_t
383   get_block_pos(int r, int c, int blklvl[][2], int nlvls)
384   {
385 <        ssize_t n = 0;
385 >        size_t  n = 0;
386  
387          while (nlvls > 1) {
388                  int     sr = r/blklvl[1][0];
# Line 379 | Line 398 | get_block_pos(int r, int c, int blklvl[][2], int nlvls
398   }
399  
400   /* return input offset based on array ordering and transpose option */
401 < static ssize_t
401 > static size_t
402   get_input_pos(int r, int c)
403   {
404 <        ssize_t n;
404 >        size_t  n;
405  
406          if (outLevels > 1) {            /* block reordering */
407                  n = get_block_pos(r, c, outArray, outLevels);
408                  if (transpose) {
409                          r = n/ni_rows;
410                          c = n - r*ni_rows;
411 <                        n = (ssize_t)c*ni_columns + r;
411 >                        n = (size_t)c*ni_columns + r;
412                  }
413          } else if (transpose)           /* transpose only */
414 <                n = (ssize_t)c*ni_columns + r;
414 >                n = (size_t)c*ni_columns + r;
415          else                            /* XXX should never happen! */
416 <                n = (ssize_t)r*no_columns + c;
416 >                n = (size_t)r*no_columns + c;
417          return(n);
418   }
419  
# Line 404 | Line 423 | do_reorder(const MEMLOAD *mp)
423   {
424          static const char       tabEOL[2] = {'\t','\n'};
425          RECINDEX                *rp = NULL;
426 <        ssize_t                 nrecords;
426 >        size_t                  nrecords;
427          int                     i, j;
428                                                  /* propogate sizes */
429          if (ni_rows <= 0)
# Line 419 | Line 438 | do_reorder(const MEMLOAD *mp)
438                          ni_columns = count_columns(rp);
439                  nrecords = rp->nrecs;
440          } else if ((ni_rows > 0) & (ni_columns > 0)) {
441 <                nrecords = (ssize_t)ni_rows*ni_columns;
441 >                nrecords = (size_t)ni_rows*ni_columns;
442                  if (nrecords > mp->len/(n_comp*comp_size)) {
443                          fputs("Input too small for specified size and type\n",
444                                          stderr);
# Line 432 | Line 451 | do_reorder(const MEMLOAD *mp)
451                  ni_rows = nrecords/ni_columns;
452          else if ((ni_columns <= 0) & (ni_rows > 0))
453                  ni_columns = nrecords/ni_rows;
454 <        if (nrecords != (ssize_t)ni_rows*ni_columns)
454 >        if (nrecords != (size_t)ni_rows*ni_columns)
455                  goto badspec;
456          if (transpose) {
457                  if (no_columns <= 0)
# Line 456 | Line 475 | do_reorder(const MEMLOAD *mp)
475          if (o_header) {                         /* finish header? */
476                  printf("NROWS=%d\n", no_rows);
477                  printf("NCOLS=%d\n", no_columns);
478 +                fputformat(fmtid, stdout);
479                  fputc('\n', stdout);
480          }
481                                                  /* reorder records */
482          for (i = 0; i < no_rows; i++) {
483              for (j = 0; j < no_columns; j++) {
484 <                ssize_t n = get_input_pos(i, j);
484 >                size_t  n = get_input_pos(i, j);
485                  if (n >= nrecords) {
486                          fputs("Index past end-of-file\n", stderr);
487                          return(0);
488                  }
489                  if (rp != NULL) {               /* ASCII output */
490 <                        print_record(rp, n);
490 >                        if (!print_record(rp, n))
491 >                                return(0);
492                          putc(tabEOL[j >= no_columns-1], stdout);
493                  } else {                        /* binary output */
494                          putbinary((char *)mp->base + (n_comp*comp_size)*n,
# Line 475 | Line 496 | do_reorder(const MEMLOAD *mp)
496                  }
497              }
498              if (ferror(stdout)) {
499 <                fprintf(stderr, "Error writing to stdout\n");
499 >                fputs("Error writing to stdout\n", stderr);
500                  return(0);
501              }
502          }
# Line 483 | Line 504 | do_reorder(const MEMLOAD *mp)
504                  free_records(rp);
505          return(1);
506   badspec:
507 <        fprintf(stderr, "Bad dimension(s)\n");
507 >        fputs("Bad dimension(s)\n", stderr);
508          return(0);
509   }
510  
511 < /* resize ASCII stream input by ignoring EOLs between records */
511 > /* resize stream input by ignoring EOLs between ASCII records */
512   static int
513   do_resize(FILE *fp)
514   {
515 <        ssize_t records2go = ni_rows*ni_columns;
515 >        size_t  records2go = ni_rows*ni_columns;
516          int     columns2go = no_columns;
517          char    word[256];
518                          
# Line 500 | Line 521 | do_resize(FILE *fp)
521                          printf("NROWS=%d\n", no_rows);
522                  if (no_columns > 0)
523                          printf("NCOLS=%d\n", no_columns);
524 +                fputformat(fmtid, stdout);
525                  fputc('\n', stdout);
526          }
527 <                                                /* sanity checks */
528 <        if (comp_size || !check &
529 <                        (no_columns == ni_columns) & (no_rows == ni_rows))
530 <                return(output_stream(fp));      /* no-op -- just copy */
527 >        if (comp_size) {                        /* just copy binary data? */
528 >                size_t  nwritten = output_stream(fp);
529 >                if ((no_rows > 0) & (no_columns > 0) &&
530 >                                nwritten != (size_t)no_rows*no_columns*n_comp*comp_size) {
531 >                        if (check) {
532 >                                fputs("Incorrect binary file size\n", stderr);
533 >                                return(0);      /* fatal if check is true */
534 >                        }
535 >                        if (warnings)
536 >                                fputs("Warning -- unexpected binary file size\n", stderr);
537 >                }
538 >                return(nwritten > 0);
539 >        }                                       /* else straight ASCII data copy? */
540 >        if (!check & (no_columns == ni_columns) & (no_rows == ni_rows))
541 >                return(output_stream(fp) > 0);
542 >                                                /* need to reshape (& check?) input */
543          if (no_columns <= 0) {
544 <                fprintf(stderr, "Missing -oc specification\n");
544 >                fputs("Missing -oc specification\n", stderr);
545                  return(0);
546          }
547          if ((records2go <= 0) & (no_rows > 0))
# Line 519 | Line 553 | do_resize(FILE *fp)
553                  return(0);
554          }
555          do {                                    /* reshape records */
556 <                int     n;
557 <
524 <                for (n = n_comp; n--; ) {
556 >                int     n = n_comp;
557 >                while (n--) {
558                          if (fget_word(word, fp) == NULL) {
559 <                                if (records2go > 0 || n < n_comp-1)
559 >                                if ((records2go > 0) | (n < n_comp-1))
560                                          break;
561                                  goto done;      /* normal EOD */
562                          }
563 +                        if (check && !isflt(word)) {
564 +                                fputs("Badly formed number: ", stderr);
565 +                                fputs(word, stderr);
566 +                                fputc('\n', stderr);
567 +                                return(0);
568 +                        }
569                          fputs(word, stdout);
570                          if (n) {                /* mid-record? */
571                                  int     c = getc(fp);
# Line 537 | Line 576 | do_resize(FILE *fp)
576                          }
577                  }
578                  if (n >= 0) {
579 <                        fprintf(stderr, "Incomplete record / unexpected EOF\n");
579 >                        fputs("Incomplete record / unexpected EOF\n", stderr);
580                          return(0);
581                  }
582                  if (--columns2go <= 0) {        /* time to end output row? */
# Line 547 | Line 586 | do_resize(FILE *fp)
586                          putc('\t', stdout);
587          } while (--records2go);                 /* expected EOD? */
588   done:
589 <        if (warnings && columns2go != no_columns)
590 <                fprintf(stderr, "Warning -- incomplete final row\n");
591 <        if (warnings && fget_word(word, fp) != NULL)
592 <                fprintf(stderr, "Warning -- characters beyond expected EOD\n");
589 >        if (columns2go != no_columns) {
590 >                if (check) {
591 >                        fputs("Incomplete final row\n", stderr);
592 >                        return(0);
593 >                }
594 >                if (warnings)
595 >                        fputs("Warning -- incomplete final row\n", stderr);
596 >        }
597 >        if (fget_word(word, fp) != NULL) {
598 >                if (check) {
599 >                        fputs("Characters beyond expected EOD\n", stderr);
600 >                        return(0);
601 >                }
602 >                if (warnings)
603 >                        fputs("Warning -- characters beyond expected EOD\n", stderr);
604 >        }
605          return(1);
606   }
607  
# Line 562 | Line 613 | headline(char *s, void *p)
613          int             n;
614  
615          if (formatval(fmt, s)) {
616 +                if (fmtid == fmt) return(0);
617                  if (fmtid == NULL) {
618                          fmtid = fmt;
619                          return(0);
620                  }
621 +                if (!check & (comp_size == 1) & (n_comp > 1))
622 +                        return(0);              /* byte exception - skip check */
623                  if (!strcmp(fmt, fmtid))
624                          return(0);
625                  fprintf(stderr, "Input format '%s' != '%s'\n", fmt, fmtid);
# Line 590 | Line 644 | headline(char *s, void *p)
644                  return(0);
645          }
646          if (!strncmp(s, "NCOMP=", 6)) {
647 +                if (!check & (comp_size == 1) & (n_comp > 1))
648 +                        return(0);              /* byte exception - ignore */
649                  n = atoi(s+6);
650                  if ((n_comp > 0) & (n != n_comp)) {
651                          fputs("Incorrect number of components\n", stderr);
# Line 694 | Line 750 | main(int argc, char *argv[])
750                  no_columns = outArray[0][1];
751          }
752                                                  /* open input file? */
753 <        if (a == argc-1 && freopen(argv[a], "r", stdin) == NULL) {
753 >        if (a == argc-1 && freopen(argv[a], "rb", stdin) == NULL) {
754                  fprintf(stderr, "%s: cannot open for reading\n", argv[a]);
755                  return(1);
756 <        }
701 <        if (comp_size) {
756 >        } else
757                  SET_FILE_BINARY(stdin);
758 <                SET_FILE_BINARY(stdout);
759 <        }
758 >        SET_FILE_BINARY(stdout);
759 > #ifdef getc_unlocked                            /* avoid stupid semaphores */
760 >        flockfile(stdin);
761 >        flockfile(stdout);
762 > #endif
763                                                  /* check for no-op */
764          if (!transpose & !check & (outLevels <= 1) & (i_header == o_header) &&
765                          (no_columns == ni_columns) & (no_rows == ni_rows)) {
766                  if (warnings)
767                          fprintf(stderr, "%s: no-op -- copying input verbatim\n",
768                                  argv[0]);
769 <                if (!output_stream(stdin))
712 <                        return(1);
713 <                return(0);
769 >                return(!output_stream(stdin));
770          }
771 <        if (i_header) {                         /* read header */
772 <                if (getheader(stdin, headline, NULL) < 0)
717 <                        return(1);
718 <                if (!check_sizes())
719 <                        return(1);
720 <                if (comp_size) {                /* a little late... */
721 <                        SET_FILE_BINARY(stdin);
722 <                        SET_FILE_BINARY(stdout);
723 <                }
724 <        } else if (!check_sizes())
771 >                                                /* read input header? */
772 >        if (i_header && getheader(stdin, headline, NULL) < 0)
773                  return(1);
774 <        if (o_header) {                         /* write/add to header */
774 >        if (!check_sizes())                     /* adjust sizes */
775 >                return(1);
776 >        if (o_header) {                         /* add to output header? */
777                  if (!i_header)
778                          newheader("RADIANCE", stdout);
779                  printargs(a, argv, stdout);
780                  printf("NCOMP=%d\n", n_comp);
731 –                fputformat(fmtid, stdout);
781          }
782 <        if (transpose | check | (outLevels > 1) || (o_header && no_rows <= 0)) {
782 >        if (!comp_size) {                       /* a little late, here... */
783 >                SET_FILE_TEXT(stdin);
784 >                SET_FILE_TEXT(stdout);
785 >        }
786 >        if (transpose | (outLevels > 1) || (o_header && no_rows <= 0)) {
787                  MEMLOAD myMem;                  /* need to map into memory */
788                  if (a == argc-1) {
789                          if (load_file(&myMem, stdin) <= 0) {

Diff Legend

– Removed lines
+ Added lines
< Changed lines
> Changed lines