ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/radiance/ray/src/util/rcollate.c
(Generate patch)

Comparing ray/src/util/rcollate.c (file contents):
Revision 2.16 by greg, Wed Jul 9 21:45:48 2014 UTC vs.
Revision 2.28 by greg, Fri Oct 19 16:53:37 2018 UTC

# Line 11 | Line 11 | static const char RCSid[] = "$Id$";
11   #include "platform.h"
12   #include "rtio.h"
13   #include "resolu.h"
14 < #ifdef _WIN32
15 < #undef ftello
16 < #define ftello  ftell
17 < #undef ssize_t
18 < #define ssize_t size_t
14 > #if defined(_WIN32) || defined(_WIN64)
15 >  #undef ftello
16 >  #define       ftello  ftell
17 >  #undef ssize_t
18 >  #define ssize_t       size_t
19   #else
20 < #include <sys/mman.h>
20 >  #include <sys/mman.h>
21   #endif
22  
23 – #ifdef getc_unlocked            /* avoid horrendous overhead of flockfile */
24 – #undef getc
25 – #undef putc
26 – #define getc    getc_unlocked
27 – #define putc    putc_unlocked
28 – #endif
29 –
23   typedef struct {
24          void    *base;          /* pointer to base memory */
25          size_t  len;            /* allocated memory length */
# Line 57 | Line 50 | free_load(MEMLOAD *mp)
50          mp->len = 0;
51   }
52  
53 + /* load memory from an input stream, starting from current position */
54 + static int
55 + load_stream(MEMLOAD *mp, FILE *fp)
56 + {
57 +        size_t  alloced = 0;
58 +        char    buf[8192];
59 +        size_t  nr;
60 +
61 +        if (mp == NULL)
62 +                return(-1);
63 +        mp->base = NULL;
64 +        mp->len = 0;
65 +        mp->mapped = 0;
66 +        if (fp == NULL)
67 +                return(-1);
68 +        while ((nr = fread(buf, 1, sizeof(buf), fp)) > 0) {
69 +                if (!alloced)
70 +                        mp->base = malloc(alloced = nr);
71 +                else if (mp->len+nr > alloced)
72 +                        mp->base = realloc(mp->base,
73 +                                alloced = alloced*(2+(nr==sizeof(buf)))/2+nr);
74 +                if (mp->base == NULL)
75 +                        return(-1);
76 +                memcpy((char *)mp->base + mp->len, buf, nr);
77 +                mp->len += nr;
78 +        }
79 +        if (ferror(fp)) {
80 +                free_load(mp);
81 +                return(-1);
82 +        }
83 +        if (alloced > mp->len*5/4)      /* don't waste too much space */
84 +                mp->base = realloc(mp->base, mp->len);
85 +        return(mp->len > 0);
86 + }
87 +
88   /* load a file into memory */
89   static int
90   load_file(MEMLOAD *mp, FILE *fp)
91   {
92          int     fd;
93 <        off_t   skip, flen;
93 >        off_t   skip, flen, fpos;
94  
95 + #if defined(_WIN32) || defined(_WIN64)
96 +                                /* too difficult to fix this */
97 +        return load_stream(mp, fp);
98 + #endif
99          if (mp == NULL)
100                  return(-1);
101          mp->base = NULL;
# Line 79 | Line 111 | load_file(MEMLOAD *mp, FILE *fp)
111          mp->len = (size_t)(flen - skip);
112   #ifdef MAP_FILE
113          if (mp->len > 1L<<20) {         /* map file if > 1 MByte */
114 <                mp->base = mmap(NULL, mp->len, PROT_READ, MAP_PRIVATE, fd, skip);
114 >                mp->base = mmap(NULL, flen, PROT_READ, MAP_PRIVATE, fd, 0);
115                  if (mp->base != MAP_FAILED) {
116 +                        mp->base = (char *)mp->base + skip;
117                          mp->mapped = 1;
118                          return(1);      /* mmap() success */
119                  }
120 <                mp->base = NULL;        /* fall back to reading it in... */
120 >                mp->base = NULL;        /* else fall back to reading it in... */
121          }
122   #endif
123          if (lseek(fd, skip, SEEK_SET) != skip ||
# Line 92 | Line 125 | load_file(MEMLOAD *mp, FILE *fp)
125                  mp->len = 0;
126                  return(-1);
127          }
128 <        if (read(fd, (char *)mp->base, mp->len) != mp->len) {
129 <                free_load(mp);
130 <                return(-1);
128 >        fpos = skip;
129 >        while (fpos < flen) {           /* read() fails if n > 2 GBytes */
130 >                ssize_t nread = read(fd, (char *)mp->base+(fpos-skip),
131 >                                (flen-fpos < 1L<<24) ? flen-fpos : 1L<<24);
132 >                if (nread <= 0) {
133 >                        free_load(mp);
134 >                        return(-1);
135 >                }
136 >                fpos += nread;
137          }
138          return(1);
139   }
140  
102 – /* load memory from an input stream, starting from current position */
103 – static int
104 – load_stream(MEMLOAD *mp, FILE *fp)
105 – {
106 –        size_t  alloced = 0;
107 –        char    buf[8192];
108 –        size_t  nr;
109 –
110 –        if (mp == NULL)
111 –                return(-1);
112 –        mp->base = NULL;
113 –        mp->len = 0;
114 –        mp->mapped = 0;
115 –        if (fp == NULL)
116 –                return(-1);
117 –        while ((nr = fread(buf, 1, sizeof(buf), fp)) > 0) {
118 –                if (!alloced)
119 –                        mp->base = malloc(nr);
120 –                else if (mp->len+nr > alloced)
121 –                        mp->base = realloc(mp->base,
122 –                                alloced = alloced*(2+(nr==sizeof(buf)))/2+nr);
123 –                if (mp->base == NULL)
124 –                        return(-1);
125 –                memcpy((char *)mp->base + mp->len, buf, nr);
126 –                mp->len += nr;
127 –        }
128 –        if (ferror(fp)) {
129 –                free_load(mp);
130 –                return(-1);
131 –        }
132 –        if (alloced > mp->len*5/4)      /* don't waste too much space */
133 –                mp->base = realloc(mp->base, mp->len);
134 –        return(mp->len > 0);
135 – }
136 –
141   /* free a record index */
142   #define free_records(rp)        free(rp)
143  
# Line 141 | Line 145 | load_stream(MEMLOAD *mp, FILE *fp)
145   static RECINDEX *
146   index_records(const MEMLOAD *mp, int nw_rec)
147   {
148 +        int             nall = 0;
149          RECINDEX        *rp;
150          char            *cp, *mend;
151          int             n;
# Line 149 | Line 154 | index_records(const MEMLOAD *mp, int nw_rec)
154                  return(NULL);
155          if (nw_rec <= 0)
156                  return(NULL);
157 <        rp = (RECINDEX *)malloc(sizeof(RECINDEX) + mp->len/(2*nw_rec)*sizeof(char *));
157 >        nall = 1000;
158 >        rp = (RECINDEX *)malloc(sizeof(RECINDEX) + nall*sizeof(char *));
159          if (rp == NULL)
160                  return(NULL);
161          rp->nw_rec = nw_rec;
# Line 161 | Line 167 | index_records(const MEMLOAD *mp, int nw_rec)
167                          ++cp;
168                  if (cp >= mend)
169                          break;
170 +                if (rp->nrecs >= nall) {
171 +                        nall += nall>>1;        /* get more record space */
172 +                        rp = (RECINDEX *)realloc(rp,
173 +                                        sizeof(RECINDEX) + nall*sizeof(char *));
174 +                        if (rp == NULL)
175 +                                return(NULL);
176 +                }
177                  rp->rec[rp->nrecs++] = cp;      /* point to first non-white */
178                  n = rp->nw_rec;
179                  while (++cp < mend)             /* find end of record */
# Line 356 | Line 369 | do_transpose(const MEMLOAD *mp)
369                          print_record(rp, j*ni_columns + i);
370                          putc(tabEOL[j >= no_columns-1], stdout);
371                  } else {                        /* binary output */
372 <                        fwrite((char *)mp->base +
373 <                                        (n_comp*comp_size)*(j*ni_columns + i),
374 <                                        n_comp*comp_size, 1, stdout);
372 >                        putbinary((char *)mp->base +
373 >                                (size_t)(n_comp*comp_size)*(j*ni_columns + i),
374 >                                        comp_size, n_comp, stdout);
375                  }
376              if (ferror(stdout)) {
377                  fprintf(stderr, "Error writing to stdout\n");
# Line 381 | Line 394 | do_resize(FILE *fp)
394          int     columns2go = no_columns;
395          char    word[256];
396                                                  /* sanity checks */
397 <        if (comp_size)
398 <                return(output_stream(fp));      /* binary data -- just copy */
397 >        if (comp_size || (no_columns == ni_columns) & (no_rows == ni_rows))
398 >                return(output_stream(fp));      /* no-op -- just copy */
399          if (no_columns <= 0) {
400                  fprintf(stderr, "Missing -oc specification\n");
401                  return(0);
# Line 435 | Line 448 | done:
448   static int
449   headline(char *s, void *p)
450   {
451 <        static char     fmt[32];
451 >        static char     fmt[MAXFMTLEN];
452          int             n;
453  
454          if (formatval(fmt, s)) {
# Line 572 | Line 585 | main(int argc, char *argv[])
585                  SET_FILE_BINARY(stdout);
586          }
587                                                  /* check for no-op */
588 <        if (!transpose & (i_header == o_header) && (comp_size ||
589 <                        (no_columns == ni_columns) & (no_rows == ni_rows))) {
588 >        if (!transpose & (i_header == o_header) &&
589 >                        (no_columns == ni_columns) & (no_rows == ni_rows)) {
590                  if (warnings)
591                          fprintf(stderr, "%s: no-op -- copying input verbatim\n",
592                                  argv[0]);
# Line 603 | Line 616 | main(int argc, char *argv[])
616                  fputc('\n', stdout);            /* finish new header */
617          }
618          if (transpose) {                        /* transposing rows & columns? */
619 <                MEMLOAD myMem;                  /* need to load into memory */
619 >                MEMLOAD myMem;                  /* need to map into memory */
620                  if (a == argc-1) {
621                          if (load_file(&myMem, stdin) <= 0) {
622                                  fprintf(stderr, "%s: error loading file into memory\n",
# Line 617 | Line 630 | main(int argc, char *argv[])
630                  }
631                  if (!do_transpose(&myMem))
632                          return(1);
633 <                /* free_load(&myMem); */
634 <        } else if (!do_resize(stdin))           /* just reshaping input */
633 >                /* free_load(&myMem);   about to exit, so don't bother */
634 >        } else if (!do_resize(stdin))           /* reshaping input */
635                  return(1);
636          return(0);
637   userr:

Diff Legend

– Removed lines
+ Added lines
< Changed lines
> Changed lines